当集群中有多个tracker server时，由于tracker之间是对等的关系，客户端在upload文件时可以任意选择一个tracker。
当选定group后，tracker会在group内选择一个storage server给客户端，支持如下选择storage的规则：
Round robin，在group内的所有storage间轮询；
First server ordered by ip，ip最小的storage；
First server ordered by priority，按优先级排序（优先级在storage上配置）
文件名规则：
storage_id（storage server ip），源storage server ID或IP地址；
timestamp（文件创建时间戳），是storage server创建文件的时间戳；
file_size（若原始值为32位则前面加入一个随机值填充，最终为64位）
crc32（文件内容的检验码）
随机数 （引入随机数的目的是防止生成重名文件）
timestamp，用于文件下载的时候，选择storage server；tracker里面会记录每个storage同步到的timestamp。
多个tracker是可以部署在同一台服务器上；实际生产环境肯定是每个tracker在一个机器上，只是学习fastdfs集群的话，可以部署到一台机器上；
多个storage一定要部署到不同的服务器上，在同一台server上改端口是没有用的。
对于client和storage，需要把所有的tracker都添加到conf文件中。
通过/usr/bin/fdfs_monitor /etc/fdfs/storage.conf查看集群状态
tracker中持久化storage的信息
storage每30秒向tracker报告一次状态；每个storage->tracker都有唯一的线程，连接2个tracker就有2个线程
是为了持久化一些信息，下次tracker启动可以加载该文件，获取storage信息；
storage中有唯一一份bin文件；bin文件记录storage的增删改操作；
mark文件可以有多份，group里面如果有N个storage，就有N-1个mark文件；每个storage的同步时独立的，都有一个单独的线程。
storage之间数据同步使用推送的方式，比如A上传了一个新文件，保存完更新binlog；A保存完后推送给B、C；
源、副本信息的操作对binlog的标记是不一样的；
比如大写标记源，要推送给其他storage；
小写标记副本，不用推送给其他storage。
\1. 只在本组内的storage server之间进行同步；
\2. 源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了; 源数据和备份数据区分是用binlog的操作类型来区分; 操作类型是大写字母，表示源数据，小写字母表示备份数据；
\3. 当新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器，即进行全量同步。
可以通过增加group，来扩展存储能力；
对于读多写少的场景，可以增加storage来加强读能力。
group中已存在storage A和storage B，新增加storage C的流程如下图：
storage A和storage B需要申请作为同步源，最终只有一个storage作为同步源，向C进行全量同步
storage\tracker_client_thread.c， tracker_sync_src_req
fastdfs\storage\storage_sync.c， storage_sync_copy_file
send、recv的error，一般出现在客户端；
对于linux系统，返回值都是-1， 错误码和原因如下表：
| 错误码 | send | recv |
|---|---|---|
| EGAIN或EWOULDBLOCK | TCP窗口太小，数据暂时发送不出去 | 当前内核缓冲区无数据可读 |
| EINTR | 被信号中断，需要重试 | 被信号中断，需要重试 |
| ------------------ | ||
| EGAIN或EWOULDBLOCK | TCP窗口太小，数据暂时发送不出去 | 当前内核缓冲区无数据可读 |
| EINTR | 被信号中断，需要重试 | 被信号中断，需要重试 |
| 其他错误 |
