如何使用 Google Cloud Dataflow 将压缩文件写入 Google Cloud Storage?

2024-01-21

我正在尝试将 Gzipped 文件写入 Google Dataflow 程序中的 Google Cloud Storage 存储桶中。常见问题解答说

Does the TextIO source and sink support compressed files, such as GZip?
Yes. Cloud Dataflow can read files compressed with gzip and bzip2.

这是否意味着他们不支持 GZip 文件的写入?


是的,我们目前没有对写入 gzip 文件的内置支持。 但是,那用户自定义数据格式API https://cloud.google.com/dataflow/model/sources-and-sinks#creating-sinks, 尤其基于文件的接收器 https://cloud.google.com/dataflow/java-sdk/JavaDoc/com/google/cloud/dataflow/sdk/io/FileBasedSink,应该可以让您自己编写这样的接收器变得简单。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何使用 Google Cloud Dataflow 将压缩文件写入 Google Cloud Storage? 的相关文章

随机推荐