程序员经验分享-hwhale

Linux使用split命令进行大文件分文件压缩与合并

2023-11-05
将out.log文件拆分成多个100M小文件
split -b 100M out.log out.log.

文件命名后缀为out.log.aa、out,log.ab、out.log.ac,......默认使用字母来标记分片

将一个文件制定拆分成n个小文件, 下面以n=5为例
split -n 5 -d out.log out.log.
对一个文件压缩并分片
tar -zcf - out.log | split -b 10M - out.log.tar.gz.
文件合并
cat out.log.* > out_merge.log
MD5校验
md5sum out.log
md5sum out_merge.log

对原始文件和合成后的文件进行校验，出现的结果一样则无损

参考链接：
https://www.cnblogs.com/shenyuanfeng/p/17269420.html

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

解决问题

Linux

服务器

运维

Linux使用split命令进行大文件分文件压缩与合并 的相关文章

  • vmsplice() 和 TCP

    在原来的vmsplice 执行 有人建议 http lwn net Articles 181169 如果您的用户态缓冲区是管道中可容纳的最大页面数的 2 倍 则缓冲区后半部分成功的 vmsplice 将保证内核使用缓冲区的前半部分完成 但事

  • ioctl 命令的用户权限检查

    我正在实现 char 驱动程序 Linux 并且我的驱动程序中有某些 IOCTL 命令仅需要由 ADMIN 执行 我的问题是如何在 ioctl 命令实现下检查用户权限并限制非特权用户访问 IOCTL 您可以使用bool capable in

  • Linux 中 m 标志和 o 标志将存储在哪里

    我想知道最近收到的路由器通告的 m 标志和 o 标志的值 从内核源代码中我知道存储了 m 标志和 o 标志 Remember the managed otherconf flags from most recently received R

  • 如何使用 JSch 将多行命令输出存储到变量中

    所以 我有一段很好的代码 我很难理解 它允许我向我的服务器发送命令 并获得一行响应 该代码有效 但我想从服务器返回多行 主要类是 JSch jSch new JSch MyUserInfo ui new MyUserInfo String

  • ALSA：snd_pcm_writei 调用时缓冲区不足

    当运行我最近从灰烬中带回来的旧程序时 我遇到了缓冲区不足的情况 该程序将原始声音文件完全加载到内存中 2100 字节长 525 帧 并准备 ALSA 进行输出 44 1khz 2 通道 有符号 16 位 if err snd pcm set

  • 调用 printf 系统子例程在汇编代码中输出整数错误[重复]

    这个问题在这里已经有答案了 来回 在windows7控制台窗口中运行gcc s2 asm 然后生成一个exe文件 运行a exe 然后崩溃 为什么 s2 asm 代码由以下源代码生成 int m m 1 iprint m s2 asm请参考

  • python获取上传/下载速度

    我想在我的计算机上监控上传和下载速度 一个名为 conky 的程序已经在 conky conf 中执行了以下操作 Connection quality alignr wireless link qual perc wlan0 downspe

  • linux-x64 二进制文件无法在 linuxmusl-x64 平台上使用错误

    我正在安装Sharp用于使用 package json 的 Nodejs 项目的 docker 映像上的映像压缩包 当我创建容器时 我收到有关 Sharp 包的以下错误 app node modules sharp lib libvips

  • 从 ttyUSB0 写入和读取，无法得到响应

    我对 Linux tty 不太有经验 我的环境是带有丰富 USB 串行的 Raspbian 什么有效 stty F dev ttyUSB0 38400 cu l dev ttyUSB0 s 38400 cu to dev ttyUSB0作品

  • 使用非规范地址检索内存数据会导致 SIGSEGV 而不是 SIGBUS

    我无法使用以下汇编代码产生 总线错误 这里我使用的内存地址不是合法的 规范地址 那么 我怎样才能触发该错误呢 我在带有 NASM 2 14 02 的 Ubuntu 20 04 LTS 下运行这段代码 但它会导致负载出现 SIGSEGV 分段

  • 如何根据标签将单个 XML 文件拆分为多个

    我有一个带有标签的 XML 文件 我想像这样分割文件

  • 使用循环在 C 中管道传输两个或多个 shell 命令

    我正在尝试执行ls wc l通过 C 语言程序 而不是使用命令行 这是我当前的工作代码 int main int pfds 2 pipe pfds pid t pid fork if pid 0 The child process clos

  • 使用 shell 脚本将行附加到 /etc/hosts 文件

    我有一个新的 Ubuntu 12 04 VPS 我正在尝试编写一个安装脚本来完成整个 LAMP 安装 我遇到问题的地方是在 etc hosts文件 我当前的主机文件如下所示 127 0 0 1 localhost Venus The fol

  • Bash - 在与当前终端分开的另一个终端中启动命令的新实例

    我有一个简单的 bash 脚本 test sh 设置如下 bin bash args if args 0 check capture then watch n 1 ls lag home user capture0 watch n 1 ls

  • 内核的panic()函数是否完全冻结所有其他进程？

    我想确认内核的panic 功能和其他类似kernel halt and machine halt 一旦触发 保证机器完全冻结 那么 所有的内核和用户进程都被冻结了吗 是panic 可以被调度程序中断吗 中断处理程序仍然可以执行吗 用例 如果

  • 与 pthread 的进程间互斥

    我想使用一个互斥体 它将用于同步对两个不同进程共享的内存中驻留的某些变量的访问 我怎样才能做到这一点 执行该操作的代码示例将非常感激 以下示例演示了 Pthread 进程间互斥体的创建 使用和销毁 将示例推广到多个进程作为读者的练习 inc

  • 在生产服务器上使用 Subversion 使文件生效的最佳方法是什么？

    目前我已经设置了 subversion 这样当我在 Eclipse PDT 中进行更改时 我可以提交更改 它们将保存在 home administrator 中项目文件 该文件具有 subversion 推荐的 branches tags

  • 绕过 dev/urandom|random 进行测试

    我想编写一个功能测试用例 用已知的随机数值来测试程序 我已经在单元测试期间用模拟对其进行了测试 但我也希望用于功能测试 当然不是全部 最简单的方法是什么 dev urandom仅覆盖一个进程 有没有办法做类似的事情chroot对于单个文件并

  • x86-64 AMD 上 CALL 指令的操作数生成

    以下是示例程序 objdump 的输出 080483b4

  • 使用自定义堆的类似 malloc 的函数

    如果我希望使用自定义预分配堆构造类似 malloc 的功能 那么 C 中最好的方法是什么 我的具体问题是 我有一个可映射 类似内存 的设备 已将其放入我的地址空间中 但我需要获得一种更灵活的方式来使用该内存来存储将随着时间的推移分配和释放的

随机推荐

  • Java HTTP方式请求ASP.NET（C#）WebService

    package com ideamov wap util import java io ByteArrayOutputStream import java io IOException import java io InputStream

  • mnist文件格式说明

    根据官网 http yann lecun com exdb mnist 的文件格式的定义 TRAINING SET LABEL FILE train labels idx1 ubyte offset type value descripti

  • System，Math，BigInteger 和 BigDecimal常用类的使用

    其他常用类的使用 1 System 2 Math 3 BigInteger 和 BigDecimal Test public void test1 String javaVersion System getProperty java ver

  • subprocess.CalledProcessError: Command ‘[‘which‘, ‘c++‘]‘ returned non-zero exit status 1.

    出现的错误 subprocess CalledProcessError Command which c returned non zero exit status 1 在网上搜了搜没看到有同样错误的解决办法 有的地方提到的什么gcc g 我

  • git中的origin

    origin 首先假设你自己在github上创建了一个Repository 叫做myRepository 假设你的Github ID是user1 这个时候指向你的代码库的链接是 https github com user1 myReposi

  • MATLAB时间序列2（ARIMA,季节性序列及其预报）------2019/8/14

    时间序列 时间序列模型只适合短时期预测 不适合长时期 平稳时间序列 1 平稳性检验及自协方差函数 自相关函数的估计 1 平稳性 Daniel 检验 x0 1 37 2 96 1 91 3 10 2 08 2 54 4 07 3 62 2 9

  • virtio-scsi和virtio-blk的理解

    virtio scsi和virtio blk的理解 virtio scsi和virtio blk都是磁盘的半虚拟化驱动 virtio scsi解决了virtio blk的一些限制 来看看官网的介绍 译文 virtio scsi hba取代v

  • TypeScript之泛型, 模块化, 命名空间, 装饰器(TypeScript完结)

    TypeScript TypeScript中的泛型 泛型的定义 2 泛型函数 3 泛型类 4 泛型接口 泛型 软件工程中 我们不仅要创建一致的定义良好的API 同时也要考虑可重用性 组件不仅能够支持当前的数据类型 同时也能支持未来的数据类型

  • ScriptManager控件

    3 ScriptManager控件 ScriptManager是Asp NET Ajax一个重要的控件 它用来处理页面上的所有Asp NET Ajax组件以及局部页面的更新 生成相关的客户端脚本 所有需要支持Asp NET Ajax的ASP

  • 《Android 开发艺术探索》笔记3--View事件体系

    View事件体系思维导图 View的事件体系 View的基础知识 View的位置参数 MotionEvent和TouchSlop VelocityTracker GestureDetector View的滑动 scrollTo scroll

  • 2013电赛总结【西电专用】

    电赛全称全国大学生电子设计竞赛 全国赛在每逢单数年的9月份举行 竞赛时间四天三夜 竞赛流程 政策可能有变 每一届竞赛流程可能都不一样 这里只是根据我的了解进行总结的 我们学校电赛差不多是从每年年初新学期开学时开始进行选拔 也有可能会在前一学

  • 四、小程序必备API

    4 1请求服务器数据API 4 1 1小程序 服务器架构 小程序和服务器通信的架构也可以称为C S架构 请求过程 1 小程序先向服务器发起网络请求 2 服务器收到请求后执行相关代码处理请求 3 处理完毕后服务器向小程序回复并返回数据 4 小

  • 2020-03-14

    matlab车牌识别 可做matlab数字图像 零定金做演示 诚信为本 点我想要私聊 图像检索 基于综合特征的图像检索设计 实现根据包括形状 颜色和纹理不同权重实现检索功能 也就是以图搜图 车牌识别 国内全国车牌识别 国外车牌识别 部分含设

  • 吴恩达机器学习（六）梯度下降

    梯度下降算法可以用在更一般的问题上 比如计算minimize J 0 n 用以优化代价函数 不断地改变 0和 1的值 直到代价函数J达到最小值 梯度下降法的一大特点就是 不同位置出发 得到的可能是局部最优解 而非整体最优解 repeat u

  • 【第21例】IPD 体系进阶：什么是产品包？什么是需求包？

    目录 目录 内容简介 内容详解 CSDN学院 作者简介 目录 第01例 CDCP 概念决策评审点

  • matlab练习程序（Arnold图像置乱）

    自从上次写了Hilbert图像置乱之后 就对图像置乱研究了一下 发现这里面也是有很多置乱算法的 Arnold也算一种比较主要的置乱算法 算法由以下变换公式产生 这里a和b是参数 n是迭代次数 N是图像的高或宽 有了正变换公式 我们还需要反变

  • Spring集成Elasticsearch

    依赖组件

  • jar包冲突cmd解决

    在项目根目录 执行 单个jar冲突 mvn dependency tree Dverbose Dincludes httpclient httpclient 是冲突的jar的artifactId 所有冲突查看 mvn dependency

  • 多媒体计算机技术基础及应用 pdf,多媒体计算机技术基础及应用 选择题题库.pdf...

    一 选择 1 多媒体计算机中的媒体信息是指 D 数字 文字 声音 图形 动画 视频 图像 A B C D 全部 2 多媒体技术的主要特性有 C 1 多样性 2 集成性 3 交互性 4 可扩充性 A 1 B 1 2 C 1 2 3 D 全部

  • Linux使用split命令进行大文件分文件压缩与合并

    将out log文件拆分成多个100M小文件 split b 100M out log out log 文件命名后缀为out log aa out log ab out log ac 默认使用字母来标记分片 将一个文件制定拆分成n个小文件

热门标签