连接文件夹中的大量文件时参数列表太长

2023-12-09

这是一个将多个相同模式文件连接成一个大文件的命令。在文件夹中我有 77k 个文件,我得到Argument list too long

示例文件名是每分钟:cartreset-2014-05-08-01-12.log

rm -f /tmp/temp.files
ls -1 /var/log/processing/*.log | \
    xargs -n1 basename > /tmp/temp.files
cat /tmp/temp.files | \
    sed -r "s~(.*)-[0-9]{4}(-[0-9]{2})+\.log~cat /var/log/processing/\1* >> /var/log/processing/\1$(date  +"-%Y-%m-%d-%H-%M").log~" | \
    uniq | \
    sh
cd /var/log/processing
xargs rm -rf < /tmp/temp.files
rm -f /tmp/temp.files

sh: /bin/ls: Argument list too long

我有什么选择?


您的完整代码是:

rm -f /tmp/temp.files
ls -1 /var/log/processing/*.log | xargs -n1 basename > /tmp/temp.files
cat /tmp/temp.files | sed -r "s~(.*)-[0-9]{4}(-[0-9]{2})+\.log~cat /var/log/processing/\1* >> /var/log/processing/\1$(date  +"-%Y-%m-%d-%H-%M").log~" | uniq | sh
cd /var/log/processing
xargs rm -rf < /tmp/temp.files
rm -f /tmp/temp.files

但问题就出在ls -1 /var/log/processing/*.log部分,所以我跳过其余部分。

扩展由/var/log/processing/*.log给出了如此多的结果ls它本身无法处理所有这些,因此会打印“参数列表太长”消息。

您可以使用find像这样的声明:

find /var/log/processing -name "*.log" -exec basename {} \; > /tmp/temp.files

看看我没有使用 ls 解析(读有趣为什么你不应该解析 ls 的输出).

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

连接文件夹中的大量文件时参数列表太长 的相关文章

  • Django管理命令是在单独的进程中执行的吗?

    Django 有很多管理命令 此外 我们还可以编写自己的命令 进行 shell 调用后会发生什么python manage py XXX 代码是否会在从 shell 启动的进程中执行 或者 shell 进程只是与执行命令的主 Django
  • 无需超级用户即可在 Linux 中打开 RAW 套接字

    我必须编写一个在 Linux 上运行的 ping 函数 语言是 C 所以 C 也可以 在网上搜索并查看源代码ping命令 事实证明我应该创建一个原始套接字 icmp sock socket AF INET SOCK RAW IPPROTO
  • 尽管 if 语句,Visual Studio 仍尝试包含 Linux 标头

    我正在尝试创建一个强大的头文件 无需更改即可在 Windows 和 Linux 上进行编译 为此 我的包含内容中有一个 if 语句 如下所示 if defined WINDOWS include
  • 如何根据标签将单个 XML 文件拆分为多个

    我有一个带有标签的 XML 文件 我想像这样分割文件
  • 使用 shell 脚本将行附加到 /etc/hosts 文件

    我有一个新的 Ubuntu 12 04 VPS 我正在尝试编写一个安装脚本来完成整个 LAMP 安装 我遇到问题的地方是在 etc hosts文件 我当前的主机文件如下所示 127 0 0 1 localhost Venus The fol
  • .net-core:ILDASM / ILASM 的等效项

    net core 是否有相当于 ILDASM ILASM 的功能 具体来说 我正在寻找在 Linux 上运行的东西 因此为什么是 net core ildasm 和 ilasm 工具都是使用此存储库中的 CoreCLR 构建的 https
  • 从 Xlib 转换为 xcb

    我目前正在将我的一个应用程序从 Xlib 移植到 libxcb 但在查找有关我有时使用的 XInput2 扩展的信息时遇到了一些麻烦 libxcb 中有 XInput2 实现吗 如果是的话 在哪里可以找到文档 目前我在使用此功能时遇到问题
  • 如何从 HTTP URL 下载文件?

    我知道如何使用wget从FTP下载但我无法使用wget从以下链接下载 如果您将其复制并粘贴到浏览器中 它将开始下载 但我想将它直接下载到我们的服务器 这样我就不需要将它从我的桌面移动到服务器 我该怎么做 Thanks 这就是我所做的 wge
  • 检查 Git 中是否需要 pull

    如何检查远程存储库是否已更改并且需要拉取 现在我使用这个简单的脚本 git pull dry run grep q v Already up to date changed 1 但它比较重 有没有更好的办法 理想的解决方案是检查所有远程分支
  • 每次重新运行终端时,我都必须输入 export PATH=~/anaconda/bin:"$PATH"

    我已经安装了 Anaconda for Mac 但出现了一些问题 当我输入命令时which conda or which ipython I get conda not found and ipython not find 然后我找到这个命
  • 如何查找哪个 Yocto 项目配方填充图像根文件系统上的特定文件

    我经常与 Yocto 项目合作 一个常见的挑战是确定文件为何 或来自什么配方 包含在 rootfs 中 这有望从构建系统的环境 日志和元数据中得出 理想情况下 一组命令将允许将文件链接回源 即配方 我通常的策略是对元数据执行搜索 例如gre
  • 绕过 dev/urandom|random 进行测试

    我想编写一个功能测试用例 用已知的随机数值来测试程序 我已经在单元测试期间用模拟对其进行了测试 但我也希望用于功能测试 当然不是全部 最简单的方法是什么 dev urandom仅覆盖一个进程 有没有办法做类似的事情chroot对于单个文件并
  • Linux 为一组进程保留一个处理器(动态)

    有没有办法将处理器排除在正常调度之外 也就是说 使用sched setaffinity我可以指示线程应该在哪个处理器上运行 但我正在寻找相反的情况 也就是说 我想从正常调度中排除给定的处理器 以便只有已明确调度的进程才能在那里运行 我还知道
  • 使用 gdb 调试 Linux 内核模块

    我想知道 API 在内核模块 中返回什么 从几种形式可以知道 这并不是那么简单 我们需要加载符号表来调试内核模块 所以我所做的就是 1 尝试找到内核模块的 text bss和 data段地址 2 在 gdb 中使用 add symbol f
  • Apache 访问 Linux 中的 NTFS 链接文件夹

    在 Debian jessie 中使用 Apache2 PHP 当我想在 Apache 的文档文件夹 var www 中创建一个新的小节时 我只需创建一个指向我的 php 文件所在的外部文件夹的链接 然后只需更改该文件夹的所有者和权限文件夹
  • 我什么时候应该编写 Linux 内核模块?

    有些人出于某种原因想要将 Linux 中的代码从用户空间移动到内核空间 很多时候 原因似乎是代码应该具有特别高的优先级 或者只是 内核空间更快 这对我来说似乎很奇怪 我什么时候应该考虑编写内核模块 有一套标准吗 我怎样才能激励将代码保存在
  • execv() 和 const 性

    我经常使用execv 函数在 C 中 但如果某些参数在 C 字符串中 则令我烦恼的是我无法执行此操作 const char args 4 args 0 usr bin whatever args 1 filename c str args
  • 如何使用 UNIX shell 脚本删除平面文件的页眉和页脚记录?

    我有一个平面文件 如下所示 如何使用 UNIX shell 脚本从文件中删除页眉和页脚并重写同一文件 9 20050427 HEADER RECORD 0000000 00000 000000000 123456 00 654321 DAT
  • x86-64 AMD 上 CALL 指令的操作数生成

    以下是示例程序 objdump 的输出 080483b4
  • ansible unarchive 模块如何查找 tar 二进制文件?

    我正在尝试执行一个 ansible 剧本 该剧本的任务是利用unarchive模块 因为我是在 OSX 上执行此操作 所以我需要使用它gnu tar 而不是bsd tar通常与 OSX 一起提供 因为BSD tar 不受官方支持 https

随机推荐

  • 以全屏模式查看 silverlight 应用程序 (F11)

    有没有办法直接在 F11 模式下加载我的 silverlight 应用程序 我用过 window open url self toolbar no status no location no menubar no resizable yes
  • R中两个数据帧的行之间的欧几里得距离

    计算欧氏距离R简单 可以找到一个很好的例子HERE 矢量化形式为 sqrt known data 1 unknown data 1 2 known data 2 unknown data 2 2 获得一个数据帧的每一行与另一个数据帧的所有行
  • 在任务管理器中更改程序进程名称?

    好吧 我一直在四处寻找 但在任何地方都找不到答案 我希望我的程序做的是每次运行它时 任务管理器中显示的名称都是随机的 有一个名为 Liberation 的程序 当您运行它时 它会将进程名称更改为一些随机字符 例如 AeB4B3wf52 tm
  • 使用 maxLines 选取框

    如何使用 MaxLines 而不是 SingleLine 来制作选取框 这是我的 TextView
  • MySQL:用户“user”@“IP_ADDRESS”的访问被拒绝 - 允许某些主机的远程访问对其他主机失败

    背景 我可以从某些子网访问 mysql 实例 但不能从其他子网访问 至少看起来是这样 网络上的机器10 0 21 xx能够连接到 MySQL 实例 但从10 0 7 xx I get 使用密码的用户访问被拒绝 有趣的是 MySQL 安装在与
  • 动态访问 PHP 数组

    我尝试访问 this gt arrDataName key 在带有键的元素上 key从数组 this gt arrDataName 但 PHP 解释错误 我尝试过 周围的 arrDataName to this gt arrDataName
  • 我可以强制报表顶部的图表始终可见吗

    我有以下报告 In Excel我会用一个叫做Freeze Pane在图表下方 这意味着当用户向下滚动时 表格将滚动 但图表将始终保持可见 是否可以在中实现此行为RS EDIT 注 图表和tablix使用不同Datasets 是的 您可以通过
  • 从设计角度应该如何对待 CouchDB 修订版?

    据我所知 CouchDB 修订版不应被视为文档版本控制这个词的意义 从其他帖子来看 它们似乎被视为暂时数据 直到粗粒度的数据出现为止 compact操作称为 我的问题是 如果我有兴趣使用 CouchDB 来维护文档以及这些文档的版本历史记录
  • 如何为history.pushState和replaceState设置“默认”值?

    对于使用的浏览器titleparam 我们应该使用什么值来告诉浏览器使用其默认值 In Safari 5 1 7 7534 57 2 if I put null or undefined as the title param it uses
  • Haskell:在不使用spawn的情况下分割管道(广播)

    这个问题有点代码高尔夫 而且很新鲜 我正在使用很棒的pipesHaskell 中的库 我想拆分一个管道以沿多个通道发送相同的数据 进行广播 这Pipes Concurrent教程建议使用spawn创建邮箱 利用Output的幺半群状态 例如
  • 查找视图依赖的所有表[重复]

    这个问题在这里已经有答案了 我有一个 Oracle 视图 我想找到我的视图所依赖的所有表 可能 我的视图依赖于其他视图 在这种情况下 我想递归地导航依赖项并访问表 这是我的架构的示例 CREATE TABLE T1 A NUMBER CRE
  • 如何获取当前页面中显示的所有项目?

    For the 官方示例多选时 如果设置每页显示 50 行并单击标题行中的全选复选框 则实际上表中的所有行都被选中 问题是我只想选择当前页面中的所有行 有什么方法可以实现吗 我不想手动单击每一行 我为你想要实现的目标创建了一个演示 http
  • 如何从字符串[]中删除非字母字符? [复制]

    这个问题在这里已经有答案了 这是代码 StringBuilder sb new StringBuilder Regex rgx new Regex a zA Z0 9 var words Regex Split textBox1 Text
  • SFENCE 是否会阻止存储缓冲区隐藏来自 MESI 的更改?

    如果 Core 进行写入 但其 L1 中不存在缓存行 则它会写入存储缓冲区 另一个 Core 请求该缓存行 MESI 无法看到存储缓冲区更新并返回未修改的缓存行 存储缓冲区不久后被刷新 但第二个核心已经使用旧值 我不明白如何SFENCE解决
  • 比较 DOM 节点与 DOM 元素

    我在解决这个问题时遇到了一些麻烦 我知道 DOM 中的所有内容都是一个节点 并且 DOM 元素也是一个节点 然而 我的问题是 我有一个 DOM 节点和一个 DOM 元素 我需要比较它们以查看它们是否引用相同的元素 这可能吗 我认为我的问题有
  • 保存领域关系并不会使它们持久化

    我有一个清单articles 这些文章是通过使用插入的realm copyToRealmOrUpdate 效果非常好 现在每篇文章都有一个不应该被持久化的authorId 相反 我想找到存储的作者 RealmObject并设置其与文章的关系
  • Android ViewPager 中心项目更大

    我想创建一个 ViewPager 选定的中心项目比其他项目大 上一个和下一个项目的部分始终可见 我在用viewPager setPageMargin 20 使上一个和下一个项目的一部分可见 但是 如何使选定的中心项目比其他项目稍大一些 您可
  • 有没有我可以使用的 Subversion Web 客户端

    我想在 Linux 首选 或 Windows 上安装 svn Web 客户端 我只需要只读功能 不需要提交 并且我希望能够使用 diff 来比较修订版本 我的 svn 服务器在另一台机器上 因此 Web 服务器需要通过 http 访问它 也
  • 链接到更高级别文件夹中的文件

    我在提供比我的根文件夹级别更高的文档时遇到问题 a href home folder document docx Proposal a 在浏览器中 上面的内容被解释为 http localhost home folder document
  • 连接文件夹中的大量文件时参数列表太长

    这是一个将多个相同模式文件连接成一个大文件的命令 在文件夹中我有 77k 个文件 我得到Argument list too long 示例文件名是每分钟 cartreset 2014 05 08 01 12 log rm f tmp tem