将 gsutil 输出传送到文件

2023-12-13

问候 StackOverflow,

我正在 Windows 上开发一个小项目,它需要读取 GSUTIL 复制函数的输出。问题是,复制功能的输出似乎无法通过标准输出工作。此外,GSUTIL 的行为不一致:管道输出不能与复制函数一起使用,但使用列表函数却可以。

当我在命令提示符中使用以下命令时,输出显示在命令提示符中,但不会重定向到文本文件。该命令无法正常工作:

C:\gsutil> python gsutil cp "file://C:/test_files/*" gs://gs_teststore/ > gsutil_cp.txt

另一方面,当我使用列表函数时(ls)输出确实通过标准输出工作,并在我希望的情况下工作:

C:\gsutil> python gsutil ls gs://gs_teststore/ > gsutil_ls.txt

有没有办法捕获 GSUTIL 复制函数的输出?


您可以使用 -L 选项生成所有已复制文件的清单文件。从文档:

-L 输出清单日志文件,其中包含有关所复制的每个项目的详细信息。该清单包含以下内容 每个项目的信息:

  • 源路径。
  • 目的地路径。
  • 源大小。
  • 传输的字节数。
  • MD5 哈希值。
  • UTC 日期和时间传输以 ISO 8601 格式开始。
  • UTC 日期和时间传输以 ISO 8601 格式完成。
  • 上传 ID(如果执行了可恢复上传)。
  • 尝试上传的最终结果,成功或失败。
  • 失败详细信息(如果有)。

一个具体的例子:

$ echo "hey" | gsutil cp -L manifest.txt - gs://mybucket/hey.txt
Copying from <STDIN> [Content-Type=application/octet-stream]...

$ cat manifest.txt 
Source,Destination,Start,End,Md5,UploadId,Source Size,Bytes Transferred,Result,Description
file://-,gs://mybucket/hey.txt,2013-05-29T21:29:31.847715Z,2013-05-29T21:29:32.115624Z,081ecc5e6dd6ba0d150fc4bc0e62ec50,,,0,OK,
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

将 gsutil 输出传送到文件 的相关文章

  • 运行包含 Pipes 的命令行并将结果显示到 STDOUT

    如何从 Python 调用包含管道的 shell 命令并捕获输出 假设命令类似于 cat file log tail 1 我想做的 Perl 等效项是这样的 my string cat file log tail 1 使用 subproce
  • 当输出重定向到文件时,xcodebuild 会损坏测试结果输出

    我将 Jenkins 与 Xcode 插件配置为通过将测试构建操作添加到自定义 xcodebuild 参数设置来运行单元测试 有关让 Jenkins 使用 Xcode 5 运行单元测试的更多信息 请参阅此question https sta
  • 无法在 Linux 中阻止从命名管道 (FIFO) 读取

    很奇怪 我似乎无法完成这项工作 这是我的架构 我有一个命名管道 它将在永远运行 root读取器进程和多个应用程序编写器进程 读者进程必须是blocking当作家们在nonblocking 因此 这就是我在阅读器进程中所做的 该进程将运行ro
  • Git 大文件存储与 Google 云存储

    我是该项目的一部分 我们使用 git 存储库托管在谷歌云源代码库 https cloud google com source repositories 现在我们使用谷歌云存储 https cloud google com storage 存
  • 将管道输入转储到文件的简单方法是什么? (Linux)

    我正在寻找一个小 shell 脚本 它可以将任何内容通过管道传输到其中 并将其转储到文件中 用于电子邮件调试目的 有任何想法吗 unix 命令 tee 可以做到这一点 man tee
  • 压缩保存在Google云存储中的文件

    是否可以压缩已保存在 Google 云存储中的文件 这些文件由 Google 数据流代码创建和填充 数据流无法写入压缩文件 但我的要求是将其保存为压缩格式 标准 TextIO Sink 不支持写入压缩文件 因为从压缩文件中读取的可扩展性较差
  • 将新文件添加到 Cloud Storage 时触发 Dataflow 作业

    我想在将新文件添加到存储桶时触发数据流作业 以便处理新数据并将其添加到 BigQuery 表中 我看到云函数可以被触发 https cloud google com functions calling google cloud storag
  • Pipe 和 Tap VS 使用 ngxs 订阅

    我正在玩管道并订阅 如果我使用带有水龙头的管道 则控制台中不会登录任何内容 如果我使用订阅 它就可以工作 那么我做错了什么 import Observable from rxjs import tap take from rxjs oper
  • 从重定向到日志文件的程序输出中删除进度条

    我正在运行一个程序 它会输出进度条 我是这样做的 python train py tee train log The train log看起来像下面这样 这是1号线 Training 这是2号线 000 valid 100 2630 263
  • 将 stdout 作为命令行 util 的文件名传递?

    我正在使用一个命令行实用程序 该实用程序需要传递文件名以将输出写入 例如 foo o output txt 它唯一写入的东西stdout是一条消息 表明它运行成功 我希望能够通过管道传输写入的所有内容output txt到另一个命令行实用程
  • 从其 BlobKey 获取 Google Cloud Storage 文件

    我编写了一个 Google App Engine 应用程序 它利用 Blobstore 来保存以编程方式生成的数据 为此 我使用了文件API https developers google com appengine docs java b
  • 通过管道连接到 findstr 的输入

    我有一个文本文件 其中包含宏名称列表 每行一个 我的最终目标是打印宏名称在当前目录的文件中出现的次数 宏的名称位于C temp macros txt type C temp macros txt在命令提示符下可以正常打印列表 现在我想将该输
  • 如何从@google-cloud/storage读取文件?

    我正在从我的存储桶中检索文件 我收到该文件并想要阅读其内容 但我不想将其下载到我的本地项目 我只想读取内容 获取数据并用它进行其他操作 我的代码 export const fileManager async gt try const sou
  • Python Popen 与 psexec 挂起 - 不良结果

    我对 subprocess Popen 和我认为是管道的问题有疑问 我有以下代码块 从 cli 运行时 100 都不会出现问题 p subprocess Popen psexec serverName get cmd c ver echo
  • 将 stdin/stdout 从执行进程重定向到 Perl 中的管道

    我试图让执行子进程中的 STDOUT STDERR 通过 Perl 中的管道返回到父进程 我见过的最接近我想做的事情是 http forums devshed com perl programming 6 exec and redirect
  • 如何使用 fprintf 并写入管道?

    我创建了一个管道 并使用 dup2 将流 1 和 2 stdout 和 stderr 覆盖到这些管道中 现在我希望使用 fprintf 写入流 1 或 2 但我的程序似乎没有在管道的另一端接收到任何内容 我尝试过使用 printf 但我不确
  • Python bash 管道

    我想将 python 脚本的输出通过管道传输到 bash 脚本 到目前为止我所做的是尝试使用os popen sys subprocess 并试图给出一个管道的例子 os popen echo P 1 1 591336 4927369 1
  • 当单词以“|”分隔时如何读取文件(埃因霍温)?

    在Python中 我有一个文件 其中的单词由 例如 city state zipcode 我的文件阅读器无法区分单词 另外 我希望我的文件阅读器从第 2 行而不是第 1 行开始 如何让我的文件阅读器分隔单词 import os import
  • 配置 Django 和 Google 云存储?

    I am not使用应用引擎 我有一个在虚拟机上运行的普通 Django 应用程序 我想使用 Google Cloud Storage 来提供静态文件 以及上传 提供媒体文件 我有一个水桶 如何将 Django 应用程序链接到我的存储桶 我
  • 如何获取管道对象的数量?我不想累积管道来缓冲

    假设我有一些 powershell 代码 function count pipe CmdletBinding param Parameter ValueFromPipeline true object inputObject process

随机推荐

  • 在 Application Insights 中查看 POST 请求正文

    是否可以在 Application Insights 中查看 POST 请求正文 我可以看到请求详细信息 但看不到应用程序见解中发布的有效负载 我必须用一些编码来跟踪这个吗 我正在构建 MVC core 1 1 Web Api 你可以简单地
  • 仅 while 循环的最后一次迭代保存

    我有这个代码 symbolslist 100 200 300 400 500 600 700 800 900 1000 1500 2000 3000 4000 5000 7000 10000 i 0 while i
  • OnHeapColumnVector putLong NullPointerException

    我正在使用spark sql v4 5 0 我必须读取 s3 文件 如下所示 val df sc parallelize Array 2019 01 01 546209022 2018 10 12 2020 05 19 02 17 59 2
  • 如何在一定数量的输出后终止脚本

    我有一个 bash 脚本 它执行一些处理 记录操作 并将其写入文件 它持续运行直到用户终止它 我想要做的是自动终止 连续运行此脚本 直到它将文件填充到用户指定的特定大小或行数 这可能吗 我想不出如何做到这一点 因为如果这个脚本是连续的 我就
  • 如何使用 pymongo 对 mongodb 进行排序

    我尝试在查询 mongoDB 时使用排序功能 但失败了 相同的查询在 MongoDB 控制台中有效 但在这里不行 代码如下 import pymongo from pymongo import Connection connection C
  • iOS canOpenURL 返回 true,但应用程序未安装(facebook)

    目前 我想检查我的应用程序是否安装了 Facebook 应用程序 我在做什么 UIApplication shared canOpenURL URL string fb enter code here 在 URL 方案中 我添加了 fb 所
  • C# 中的静态类有什么优点/缺点?

    我正在为我的学校作业编写一个小游戏 该游戏是一个简单的 2D 游戏 有怪物 物品和子弹 基本上你跑来跑去并试图收集所有的物品硬币 怪物试图阻止你 你可以用你收集的子弹击落它们 很简单 问题是 我已将怪物 物品 墙壁 玩家和子弹添加到名为 L
  • 底图上的“map.scatter”不显示标记

    我有一张德国地图和几个城市的坐标 plot正确显示点 我想用scatter相反 为了能够相对于其他变量对市场进行着色 然后显示colorbar 代码在控制台中运行 但是当我替换时 这些点不可见map plot with map scatte
  • 如何使用java生成azure blob存储SAS url?

    我想生成一个 SAS URL 我可以与用户共享该 URL 以连接到存储帐户并将文件上传到任何位置 我如何使用 java api 生成 SAS url 我找到了一份文档 但看起来所有 api 都已贬值https azuresdkdocs bl
  • 索引 grouped_df 对象

    尝试选择类对象的列grouped df按索引给出 错误 索引超出范围 例如 x lt mtcars gt group by am gear gt summarise each funs sum disp hp drat class x gr
  • 如何动态更改正在查看的网站的 CSS 样式表?

    我有一个网站 用户可以使用其中的向导生成自己的 Codeigniter 网站 用户将提供模块 字段和功能详细信息 根据用户输入 将生成一个网站并将其部署在我的网站上 并在用户下载之前向用户展示演示 一切正常 现在我计划允许用户在预览生成的网
  • 使用 SSIS 包中的 Python 脚本预测数据

    我知道 Microsoft 在其 SQL Server 机器学习服务中包含了 Python 但这仅适用于 SQL Server 2017 及更高版本 而我的服务器目前无法满足这一要求 在这种情况下 我想完全在 SSIS 中部署我的生成预测与
  • 如何在我的 Flask 应用程序中连接浏览器的麦克风?

    我正在使用语音识别模块通过语音识别搜索查询 然后打开显示查询结果的 google chrome 页面 基本上 它是谷歌语音搜索的替代品 但它是通过终端启动的 但我想把它做成一个网络应用程序 我创建了烧瓶应用程序 搜索 目录 search p
  • 如何在asp.net core项目中获取OleDb读取excel

    有没有办法读取excel数据ASP NET Core 基于 Net Core 构建 我无法参考OleDB in project json我的 net core 项目 还有其他方法可以做到这一点吗 今天你真的需要 OleDB 来读取 Exce
  • 在 Cocoa 中获取“下一个上午 7 点将会发生”的 NSDate 表示的最简单方法是什么?

    我想我可以通过使用来实现我想要的NSCalendar and NSDateComponents 但会运行如下所示的内容 得到 现在 创建一个NSDateComponents现在起 如果 现在 是上午 7 点之前 则使用今天的日期 If no
  • Angular UI Datepicker 限制每月天数

    我正在使用角度日期选择器 http angular ui github io bootstrap datepicker 目前它被硬编码为显示 42 天或 6 周 我想知道如何在 ui bootstrap 0 13 1 js 中覆盖 即角度装
  • init] 返回过去一小时的日期?

    当我打电话时 NSDate now NSDate alloc init 为了获取当前日期和时间 我使用以下命令进行检查 NSLog Date now now 输出的日期是过去一小时 2010 10 08 12 04 38 227 MiniB
  • ActionChip 标签上出现意外的灰色下划线

    在我的一个动作芯片上 我在标签上看到了这条灰色下划线 仅供参考 这是 Flutter Web 它似乎只发生在 Chrome Android 上 而不会发生在 iOS Safari 或桌面 Chrome 上 操作芯片充当过滤器按钮 单击该按钮
  • 如何让 Android BroadcastReceiver 与 AlarmManager 配合使用?

    我有以下代码来发布意图 alarmMgr AlarmManager getApplicationContext getSystemService Context ALARM SERVICE Intent intent new Intent
  • 将 gsutil 输出传送到文件

    问候 StackOverflow 我正在 Windows 上开发一个小项目 它需要读取 GSUTIL 复制函数的输出 问题是 复制功能的输出似乎无法通过标准输出工作 此外 GSUTIL 的行为不一致 管道输出不能与复制函数一起使用 但使用列