程序员经验分享-hwhale

将大型 CSV 加载到 Google BigQuery 时出错

2024-05-19

将大型 CSV 加载到 bigquery 时出现错误。我在网上阅读的所有地方都发现压缩文件有 5GB 大小限制，但 CSV 没有限制。

加载操作中的 BigQuery 错误：处理作业“bqjob_r3016bbfad3037f_0000015cea1a1eff_1”时出错：输入 CSV 文件不可拆分并且 至少有一个文件大于允许的最大大小。大小为：24686861596。允许的最大大小为：4294967296。


BigQuery 文档在此处列出了导入作业的各种限制：https://cloud.google.com/bigquery/quota-policy#load_jobs https://cloud.google.com/bigquery/quota-policy#load_jobs它特别指出，压缩的 CSV 文件的大小限制为 4 GB。

有关“不可分割”CSV 文件的错误消息可能在两种情况下出现：

  1. CSV 文件已压缩
  2. 其中一个字段中存在引号字符不匹配，这使得它看起来像very该字段中的长字符串，也使文件不可分割（这就是您的情况可能发生的情况）。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

csv

Cloud

googlebigquery

将大型 CSV 加载到 Google BigQuery 时出错 的相关文章

随机推荐

  • 在 swift3 中结合平移、alpha 和缩放动画

    我是 iOS Swift 开发的新手 我尝试将三个参数组合在一个动画中 但没有成功 我认为解决方案就在这里 Apple Dev Core 动画编程指南 https developer apple com library content do

  • Cocos2d - 将 GLImageProcessing 效果应用于 CCSprite

    苹果的oplenglGL图像处理 http developer apple com library ios samplecode GLImageProcessing Introduction Intro html加载图像并应用图像调整 亮度

  • 在 javascript 文件中设置 firebase-admin sdk

    我的最终目标是使用用户 ID 获取用户电子邮件 到目前为止 我发现我需要使用 firebase admin SDK 现在我有这个代码 var admin require firebase admin var serviceAccount r

  • Git difftool 未启动外部 DiffMerge 程序

    我一直遵循 戴夫的博客条目 http www davesquared net 2009 05 setting up git difftool on windows html 链接在此answer https stackoverflow co

  • Android - 处理 EditText 中的“Enter”

    I am wondering if there is a way to handle the user pressing Enter while typing in an EditText something like the onSubm

  • RMarkdown html_output 错误

    我正在尝试使用 RStudio 创建 RMarkdown 文档闪亮的服务器 如果输出是 pdf 它工作正常 但如果我想要它作为 html 我会在过程结束时收到以下错误 在 RMarkdown 控制台中 我可以看到它达到了 100 错误 ht

  • C++ 中带有可变参数签名的函数映射

    From Martin Reddy 的 C API 设计 第 3 章 第 3 3 3 节 可扩展工厂示例 我发现工厂模式的这种实现非常高效 它允许用户在运行时注册回调函数 本质上是派生类的构造函数 最终可以在创建该类型的对象时调用该回调函数

  • 同时调用多个 API，并在相应请求处理完成后立即更新 UI Android

    我需要跑6个API同时调用并且需要在相应的请求完成时更新每个用户界面 目前我正在使用kotlin 协程并行执行使用以下代码 suspend fun getAllData List

  • 竖线

    有没有办法在js图形库dygraph中制作垂直线 我正在加载数据 并希望像石墨那样放置垂直线来显示事件 是否有一些特殊的上下文可以添加垂直线 您现在可能已经弄清楚了这一点 或者不再关心 但实现此目的的方法是使用自定义底衬 请参阅http d

  • Android apkanalyzer，通过命令行调用，给出“NoClassDefFoundError”异常

    我正在尝试运行 Android SDK 提供的 apkanalyzer 工具 在 Sdk tool bin 下 但我无法使其工作 我知道我也可以通过AndroidStudio使用这个工具 但是我需要自动化apk分析以覆盖很多APK 所以 我

  • 自动保存笔记本（或mathematica中的其他类型文件）文件

    我现在有时会遇到这个问题 部分原因是 Microsoft Office 自动保存您正在使用版本和自动恢复处理的文件 很多时候 当我在mathematica中启动一个新笔记本来做一些测试或其他事情时 我经常忘记保存我正在做的事情 时不时地 根

  • ASP.Net 中的不同身份验证方式

    我正在为我的公司开发一个网站 该网站可以在我们的内部网络和互联网上访问 有人问我一些对我来说似乎不可能的问题 但我想在真正说之前问这个问题 我们公司有两种类型的用户 一种是实际在 Active Directory 中注册的用户 等等 拥有

  • 如何使用 Create-React-App 节点服务器定义 MIME 类型？

    我正在尝试处理这个 WebAssembly 注释 注意 要运行instantiateStreaming and compileStreaming 您需要您的网络服务器来提供 wasm 文件application wasmMIME 类型 ht

  • Java 8 lambda 和抽象类的接口扩展

    说我想宣布Spring的RowMapper 但不是创建动态类 而是实现一个实现 RowMapper 的抽象类 这是我的方法签名 SqlProcedure declareRowMapper RowMapper

  • 日志锻造强化修复

    我正在使用 Fortify SCA 来查找我的应用程序中的安全问题 作为大学作业 我遇到了一些无法解决的 日志锻造 问题 基本上 我记录一些来自 Web 界面的用户输入的值 logger warn current id not valid

  • 清洁琴弦的更好方法？

    我正在使用这种方法来清理字符串 public static string CleanString string dirtyString string removeChars lt gt string result dirtyString f

  • HTML 格式的 Google Apps 脚本

    是否可以在我的 HTML 中使用 google apps 脚本 我希望能够从外部框架 例如 Node js 以纯 Javascript 形式从表单写入电子表格 https developers google com apps script

  • 如何构建支持 C++0x 的 Boost？

    我不知道如何使用 C 0x 编译器构建 Boost 必须给 bjam 提供哪个选项 应该修改 user config 文件吗 有人可以帮助我吗 最好的 维森特 我已经找到答案了 我正在等待类似 std 的功能 并将其命名如下 bjam st

  • 如何在asp.net中的按钮单击事件调用之前和之后调用javascript函数

    我在 ASP NET 中创建了 ButtonClick 函数 如下所示

  • 将大型 CSV 加载到 Google BigQuery 时出错

    将大型 CSV 加载到 bigquery 时出现错误 我在网上阅读的所有地方都发现压缩文件有 5GB 大小限制 但 CSV 没有限制 加载操作中的 BigQuery 错误 处理作业 bqjob r3016bbfad3037f 0000015

热门标签