FastDFS单机部署安装

FastDFS单机部署安装

---

---

前言

1. FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 2. FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

---

FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。=
FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

Tracker Server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。
Storage Server：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份。
Client：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。

1：服务器规划

跟踪服务器（Tracker Server）：ip01
存储服务器（Storage Server）：ip02
操作系统：CentOS7 
用户：root 
数据存储目录：
/fastdfs/tracker
/fastdfs/storage

2：安装包

1.FastDFS_v5.08.tar.gz：FastDFS源码 
2.libfastcommon-master.zip：（从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库） 
3.fastdfs-nginx-module-master.zip：storage节点http服务nginx模块 
4.nginx-1.10.0.tar.gz：Nginx安装包 
5.ngx_cache_purge-2.3.tar.gz：图片缓存清除Nginx模块（集群环境会用到）
 
链接：https://pan.baidu.com/s/1Se2lNGoIL5zUoPbTjHTlMw 
提取码：y2at 

下载完成后，将压缩包解压到/usr/local/src目录下

3：所有tracker和storage节点都执行如下操作

3.1：安装所需的依赖包

yum install make cmake gcc gcc-c++

3.2：安装libfatscommon

cd /usr/local/src
#安装unzip 命令： yum install -y unzip zip
unzip libfastcommon-master.zip    
cd libfastcommon-master
## 编译、安装
./make.sh
./make.sh install

3.3：安装FastDFS

cd /usr/local/src
tar -xzvf FastDFS_v5.08.tar.gz
cd FastDFS
./make.sh
./make.sh install
采用默认安装方式，相应的文件与目录检查如下：
1> 服务脚本：
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd
2> 配置文件（示例配置文件）：
 ll /etc/fdfs/
-rw-r--r-- 1 root root  1461 1月   4 14:34 client.conf.sample
-rw-r--r-- 1 root root  7927 1月   4 14:34 storage.conf.sample
-rw-r--r-- 1 root root  7200 1月   4 14:34 tracker.conf.sample
3> 命令行工具（/usr/bin目录下）
-rwxr-xr-x    1 root root     260584 1月   4 14:34 fdfs_appender_test
-rwxr-xr-x    1 root root     260281 1月   4 14:34 fdfs_appender_test1
-rwxr-xr-x    1 root root     250625 1月   4 14:34 fdfs_append_file
-rwxr-xr-x    1 root root     250045 1月   4 14:34 fdfs_crc32
-rwxr-xr-x    1 root root     250708 1月   4 14:34 fdfs_delete_file
-rwxr-xr-x    1 root root     251515 1月   4 14:34 fdfs_download_file
-rwxr-xr-x    1 root root     251273 1月   4 14:34 fdfs_file_info
-rwxr-xr-x    1 root root     266401 1月   4 14:34 fdfs_monitor
-rwxr-xr-x    1 root root     873233 1月   4 14:34 fdfs_storaged
-rwxr-xr-x    1 root root     266952 1月   4 14:34 fdfs_test
-rwxr-xr-x    1 root root     266153 1月   4 14:34 fdfs_test1
-rwxr-xr-x    1 root root     371336 1月   4 14:34 fdfs_trackerd
-rwxr-xr-x    1 root root     251651 1月   4 14:34 fdfs_upload_appender
-rwxr-xr-x    1 root root     252781 1月   4 14:34 fdfs_upload_file

4：配置tracker服务器

4.1：复制tracker样例配置文件，并重命名

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

4.2：修改tracker配置文件

vim /etc/fdfs/tracker.conf
# 修改的内容如下：
disabled=false              # 启用配置文件
port=22122                  # tracker服务器端口（默认22122）
base_path=/fastdfs/tracker  # 存储日志和数据的根目录

4.3：创建base_path指定的目录

mkdir -p /fastdfs/tracker

4.4：防火墙中打开tracker服务器端口（ 默认为 22122）

vi /etc/sysconfig/iptables 
附加：若/etc/sysconfig 目录下没有iptables文件可随便写一条iptables命令配置个防火墙规则：如：iptables -P OUTPUT ACCEPT
然后用命令：service iptables save 进行保存，默认就保存到 /etc/sysconfig/iptables 文件里。这时既有了这个文件。防火墙也可以启动了。接下来要写策略，也可以直接写在/etc/sysconfig/iptables 里了。
添加如下端口行： -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT 
重启防火墙：service iptables restart

4.5：启动tracker服务器

/etc/init.d/fdfs_trackerd start
初次启动，会在/fastdfs/tracker目录下生成logs、data两个目录。
drwxr-xr-x 2 root root 4096 1月   4 15:00 data
drwxr-xr-x 2 root root 4096 1月   4 14:38 logs
检查FastDFS Tracker Server是否启动成功：
ps -ef | grep fdfs_trackerd

5：配置storage服务器

5.1：复制storage样例配置文件，并重命名

 cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

5.2：编辑storage配置文件

vi /etc/fdfs/storage.conf

# 修改的内容如下:
disabled=false                      # 启用配置文件
port=23000                          # storage服务端口
base_path=/fastdfs/storage          # 数据和日志文件存储根目录
store_path0=/fastdfs/storage        # 第一个存储目录
tracker_server=ip01:22122  # tracker服务器IP和端口
http.server_port=8888               # http访问文件的端口

5.3：创建基础数据目录

mkdir -p /fastdfs/storage

5.4：防火墙中打开storage服务器端口（ 默认为 23000）

vi /etc/sysconfig/iptables

#添加如下端口行： 
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
重启防火墙
 service iptables restart

5.5：启动storage服务器

/etc/init.d/fdfs_storaged start
初次启动，会在/fastdfs/storage目录下生成logs、data两个目录。
drwxr-xr-x 259 root root 4096 Mar 31 06:22 data
drwxr-xr-x   2 root root 4096 Mar 31 06:22 logs
 
检查FastDFS Tracker Server是否启动成功：
[root@gyl-test-t9 ~]# ps -ef | grep fdfs_storaged
root      1336     1  3 06:22 ?        00:00:01 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root      1347   369  0 06:23 pts/0    00:00:00 grep fdfs_storaged

6：文件上传测试

6.1：修改Tracker服务器客户端配置文件

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
# 修改以下配置，其它保持默认
base_path=/fastdfs/tracker
tracker_server=ip01:22122

6.2：执行文件上传命令

#/usr/local/src/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png
返回文件ID号：group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png
（能返回以上文件ID，说明文件已经上传成功）

7：在所有storage节点安装fastdfs-nginx-module

7.1：fastdfs-nginx-module 作用说明

FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储,但是同组存储服务器之间需要进入 文件复制,有同步延迟的问题。
假设 Tracker 服务器将文件上传到了 ip01,上传成功后文件 ID 已经返回给客户端。
此时 FastDFS 存储集群机制会将这个文件同步到同组存储 ip02,在文件还 没有复制完成的情况下,客户端如果用这个文件 ID 在 ip02 上取文件,就会出现文件无法访问的 错误。
而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的 文件无法访问错误。(解压后的 fastdfs-nginx-module 在 nginx 安装时使用)

7.2：解压 fastdfs-nginx-module_v1.16.tar.gz

cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz

7.3：修改 fastdfs-nginx-module 的 config 配置文件

 cd fastdfs-nginx-module/src
 vi config
将
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" 
修改为:
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

7.4：安装Nginx

安装Nginx上传当前的稳定版本 Nginx(nginx-1.10.0.tar.gz)到/usr/local/src 目录

7.5：安装编译 Nginx 所需的依赖包

yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel

7.6：编译安装 Nginx (添加 fastdfs-nginx-module 模块)

cd /usr/local/src/
tar -zxvf nginx-1.10.0.tar.gz
cd nginx-1.10.0
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src 
make && make install

7.7：复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录,并修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/ 
vi /etc/fdfs/mod_fastdfs.conf

7.8：修改以下配置

connect_timeout=10
base_path=/tmp
tracker_server=ip01:22122
storage_server_port=23000
group_name=group1
url_have_group_name = true
store_path0=/fastdfs/storage

7.9：复制 FastDFS 的部分配置文件到/etc/fdfs 目录

cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/

7.10：在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

7.11：配置 Nginx

user nobody;
worker_processes 1;
events {
    worker_connections 1024;
}
http {
    include mime.types;
    default_type application/octet-stream;
    sendfile on;
    keepalive_timeout 65;
    server {
        listen 8888;
        server_name localhost;
        location ~/group([0-9])/M00 {
            ngx_fastdfs_module;
        }
        error_page 500 502 503 504 /50x.html;
 
        location = /50x.html {
            root html;
        }
    }
}
 A、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应, 因为 http.server_port 默认为 8888,如果想改成 80,则要对应修改过来。
 B、Storage 对应有多个 group 的情况下,访问路径带 group 名,如/group1/M00/00/00/xxx, 对应的 Nginx 配置为:
     location ~/group([0-9])/M00 {
         ngx_fastdfs_module;
}
C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。

7.12：防火墙中打开 Nginx 的 8888 端口

vi /etc/sysconfig/iptables
 添加:
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

#重启防火墙
service iptables restart
 启动 Nginx
 /usr/local/nginx/sbin/nginx
(重启 Nginx 的命令为:/usr/local/nginx/sbin/nginx -s reload)

8：验证：通过浏览器访问测试时上传的文件

http://ip:port/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png 
or 
http://ip/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png

总结

提示：关于fastDFS执行流程，请自行查阅相关文档，本文章重点介绍安装部署示例。安装部署有点漫长，按照本文章就可以实现fastDFS文件服务器部署。