多线程压缩与解压缩

2023-05-16

Linux 下用得最普遍的两种压缩文件格式就是 .gz 和 .bz2 了,分别由 gzip 和 bzip2 命令创建。

说到压缩文件,除了压缩率之外,压缩和解压的速度也很关键,在创建或解压比较大的压缩文件时,如果时间过久,也挺郁闷的……

虽然多核 CPU 在这两年已经大面积普及了,但是标准的 gzip 和 bzip2 程序在压缩和解压的时候,只能用到 CPU 的其中一个核心,如果全部核心同时开动,一定可以大大加速压缩和解压的过程,于是,gzip 和 bzip2 的多核版: mgzip 和 pbzip2 就横空出世了~

     pbzip2的使用:

1、安装

进入 http://compression.ca/pbzip2/  ,可根据不同的操作系统下载安装pbzip2.

centos 安装

yum install pbzip2

2、使用pbzip2 进行多线程压缩.

多线程压缩文件,

pbzip2 myflie.txt

压缩后文件为myflie.txt.bz2

多线程解压缩文件

pbzip2 -dc myflie.txt.bz2

# pbzip2 -dc -m500 myflie.txt.bz2 其中-m指定内存使用大小。默认为100M ,此实例使用500M

3、结合tar 命令压缩文件夹

# tar -I pbzip2 -cvf 压缩后的文件名  带压缩的文件夹
tar -I pbzip2 -cvf tmp.tar.bz2  tmp

pigz 使用

1、结合tar 命令多线程压缩、解压缩使用

tar -I pigz -cvf tmp.tar.gz tmp
tar -I pigz -xvf tmp.tar.gz

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

多线程压缩与解压缩 的相关文章

随机推荐