一、背景
minio大量文件上传,通过console,web端控制台上传的话是可以的,但是文件量太大,效率很低,就想办法上传服务器,然后读取服务器文件的方式进行。
二、过程
2.1 安装rclone
直接执行如下命令,以安装rclone:
curl https://rclone.org/install.sh | sudo bash
[root@nb001 ~]
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 4707 100 4707 0 0 1992 0 0:00:02 0:00:02 --:--:-- 1991
Archive: rclone-current-linux-amd64.zip
creating: tmp_unzip_dir_for_rclone/rclone-v1.62.2-linux-amd64/
inflating: tmp_unzip_dir_for_rclone/rclone-v1.62.2-linux-amd64/rclone.1 [text]
inflating: tmp_unzip_dir_for_rclone/rclone-v1.62.2-linux-amd64/README.txt [text]
inflating: tmp_unzip_dir_for_rclone/rclone-v1.62.2-linux-amd64/README.html [text]
inflating: tmp_unzip_dir_for_rclone/rclone-v1.62.2-linux-amd64/git-log.txt [text]
inflating: tmp_unzip_dir_for_rclone/rclone-v1.62.2-linux-amd64/rclone [binary]
正在删除 /usr/share/man 里的旧数据库条目...
正在处理 /usr/share/man 下的手册页...
正在删除 /usr/share/man/zh_CN 里的旧数据库条目...
正在处理 /usr/share/man/zh_CN 下的手册页...
正在删除 /usr/share/man/tr 里的旧数据库条目...
正在处理 /usr/share/man/tr 下的手册页...
正在删除 /usr/share/man/pt_BR 里的旧数据库条目...
正在处理 /usr/share/man/pt_BR 下的手册页...
正在删除 /usr/share/man/pl 里的旧数据库条目...
正在处理 /usr/share/man/pl 下的手册页...
正在删除 /usr/share/man/id 里的旧数据库条目...
正在处理 /usr/share/man/id 下的手册页...
正在删除 /usr/share/man/fr 里的旧数据库条目...
正在处理 /usr/share/man/fr 下的手册页...
正在删除 /usr/share/man/da 里的旧数据库条目...
正在处理 /usr/share/man/da 下的手册页...
正在删除 /usr/share/man/it 里的旧数据库条目...
正在处理 /usr/share/man/it 下的手册页...
正在删除 /usr/share/man/nl 里的旧数据库条目...
正在处理 /usr/share/man/nl 下的手册页...
正在删除 /usr/share/man/sk 里的旧数据库条目...
正在处理 /usr/share/man/sk 下的手册页...
正在删除 /usr/share/man/hu 里的旧数据库条目...
正在处理 /usr/share/man/hu 下的手册页...
正在删除 /usr/share/man/zh_TW 里的旧数据库条目...
正在处理 /usr/share/man/zh_TW 下的手册页...
正在删除 /usr/share/man/es 里的旧数据库条目...
正在处理 /usr/share/man/es 下的手册页...
正在删除 /usr/share/man/sv 里的旧数据库条目...
正在处理 /usr/share/man/sv 下的手册页...
正在删除 /usr/share/man/ko 里的旧数据库条目...
正在处理 /usr/share/man/ko 下的手册页...
正在删除 /usr/share/man/de 里的旧数据库条目...
正在处理 /usr/share/man/de 下的手册页...
正在删除 /usr/share/man/ja 里的旧数据库条目...
正在处理 /usr/share/man/ja 下的手册页...
正在删除 /usr/share/man/ru 里的旧数据库条目...
正在处理 /usr/share/man/ru 下的手册页...
正在删除 /usr/share/man/cs 里的旧数据库条目...
正在处理 /usr/share/man/cs 下的手册页...
正在删除 /usr/share/man/pt 里的旧数据库条目...
正在处理 /usr/share/man/pt 下的手册页...
正在删除 /usr/local/share/man 里的旧数据库条目...
正在处理 /usr/local/share/man 下的手册页...
正在为路径 /usr/local/share/man/man1 更新索引缓存。请等待...完成。
正在 /usr/local/share/man 下查找流浪猫...
正在 /var/cache/man/local 下查找流浪猫...
1 man subdirectory contained newer manual pages.
1 manual page was added.
0 stray cats were added.
0 old database entries were purged.
rclone v1.62.2 has successfully installed.
Now run "rclone config" for setup. Check https://rclone.org/docs/ for more details.
如果服务器没有连外网,则可以本地安装,方式如下:
下载 https://downloads.rclone.org/rclone-current-linux-amd64.zip
unzip rclone-current-linux-amd64.zip
cd rclone-*-linux-amd64
sudo cp rclone /usr/bin/
sudo chown root:root /usr/bin/rclone
sudo chmod 755 /usr/bin/rclone
sudo mkdir -p /usr/local/share/man/man1
sudo cp rclone.1 /usr/local/share/man/man1/
sudo mandb
查看版本:rclone version
[root@nb001 ~]
rclone v1.62.2
- os/version: centos 7.8.2003 (64 bit)
- os/kernel: 3.10.0-1127.19.1.el7.x86_64 (x86_64)
- os/type: linux
- os/arch: amd64
- go/version: go1.20.2
- go/linking: static
- go/tags: none
2.2 rclone配置minio
点击这里可以找到配置示例
一般是在/root/.config/rclone
目录下创建配置文件rclone.conf
,内容如下:
[minio]
type = s3
provider = Minio
env_auth = false
access_key_id = 这里minio的用户名
secret_access_key = 这里minio的密码
region = 这里如没有可以为空
endpoint = http://192.168.1.106:9000
location_constraint =
server_side_encryption =
配置完成后,可以通过rclone config
命令查看配置结果:
[root@nb001 minio]# rclone config
Current remotes:
Name Type
==== ====
minio s3
e) Edit existing remote
n) New remote
d) Delete remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
e/n/d/r/c/s/q>
查看minio当前已经有的bucket,命令:rclone lsd minio:
[root@nb001 minio]
-1 2021-12-09 14:01:08 -1 wwdev
-1 2022-04-13 21:45:11 -1 wwprod
-1 2022-04-13 21:45:11 -1 wwtest
-1 2021-11-05 20:49:25 -1 ww_src
2.3 复制本机文件到minio
执行复制命令:rclone copy 本机文件全路径 minio:目标bucket/目标路径
rclone copy /data/dic1.zip minio:wwdev/vs
文件夹示例:会在bucket(wwdev)下,出现一个files文件夹,原理是将/data/files下的每个文件,都复制到指定目录下
rclone copy /data/files minio:wwdev/files
可以看到指定目录下已经有对应文件了:
使用minio映射路径访问下载测试,可以下载,并解压缩正常。
http://minio根地址/wwdev/vs/dic1.zip
END
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)