BigQuery 最大分区数达到 2000 而不是 2500

2024-01-11

根据BigQuery 文档 https://cloud.google.com/bigquery/quotas#partitioned_tables,分区表可以有2500个分区:

每个分区表的最大分区数 — 2,500

Yet:

$ bq query --destination_table grey-sort-challenge:partitioning_magic.nyc_taxi_trips_partitioned --time_partitioning_field pickup_datetime --use_legacy_sql=false "select * from \`grey-sort-challenge.partitioning_magic.nyc_taxi_trips\`"

查询字符串中的错误:处理作业'grey-sort-challenge:bqjob_r37b076ef0d3c4338_000001626c539e6a_1'时出错:查询生成的分区太多,允许2000个,查询生成至少2372个分区

是2000还是2500?


表中支持的最大分区数为 4000。
2000 是我们允许单个操作(在本例中为查询作业)生成的分区数。

配额和限制 - 分区表

  • 每个分区表的最大分区数 — 4,000

  • 单个作业修改的最大分区数 — 2,000

    每个作业操作(查询或加载)最多可以影响 2,000 个分区。任何影响超过 2,000 个分区的查询或加载作业都会被 Google BigQuery 拒绝。

  • 每个表每天的最大分区修改次数 — 5,000 对于分区表,每天最多只能进行 5,000 次分区修改。可以通过使用追加或覆盖分区中数据的操作来修改分区。修改分区的操作包括:加载作业、将结果写入分区的查询或修改分区中数据的 DML 语句(INSERT、DELETE、UPDATE 或 MERGE)。

    一项作业可能会影响多个分区。例如,DML 语句可以更新多个分区中的数据(对于摄取时间表和分区表)。查询作业和加载作业也可以写入多个分区,但仅限于分区表。在确定作业消耗多少配额时,Google BigQuery 使用受作业影响的分区数量。流式插入不会影响此配额。

  • 最大分区操作率 — 每 10 秒 50 次分区操作

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

BigQuery 最大分区数达到 2000 而不是 2500 的相关文章

随机推荐

  • Java 函数在并行 MATLAB 中的非线性性能

    最近 我在我的项目中实现了并行化MATLAB http en wikipedia org wiki MATLAB计划 很大程度上取决于中提供的建议MATLAB 中 xlsread 速度慢 https stackoverflow com qu
  • 需要运行 .exe,然后在约 10 秒后终止它并移至批处理文件中的下一个命令

    我正在尝试创建一个运行 exe 的批处理文件 但在大约 10 秒后 在完成之前 杀死所述 exe 然后继续执行文件中的下一个命令 任何帮助将不胜感激 你可以使用这个 start program exe ping 127 0 0 1 n 10
  • Android Intent.ACTION_VIEW 基本身份验证

    如何将 HTTP 基本身份验证信息传递给Intent ACTION VIEW 这就是我激发意图的地方 public class OutageListFragment extends ListFragment implements Loade
  • 如何更改反向引用的大小写?

    我正在尝试修改 PowerShell 中的反向引用 但运气不佳 这是我的例子 456 Jane Doe replace d 3 2 ToUpper 1 如果我运行它 我会得到这个 简 无名氏 456 456 但我真的很期待这个 简 多伊 4
  • 将字符串(逐个字符)插入到更大的字符串中

    我试图通过用新字符串 toInsert 替换 原始 字符串中的子字符串来插入字符串 start参数是我要替换的子字符串的起始位置 注意 这是一个更大程序的一部分 但我只是想让这个功能发挥作用 include
  • 如何强制 PyCharm 检查requirements.txt 文件并建议更新?

    如何强制 PyCharm 检查requirements txt 文件并建议更新 我似乎无法控制这种情况何时发生 谢谢 我尝试打开任何 py 文件 检查包要求文件字段 设置 工具 Python 集成工具 没有任何东西触发 Windows 上的
  • 自定义表达式中的 Spotfire IF 语句 [关闭]

    Closed 这个问题是无法重现或由拼写错误引起 help closed questions 目前不接受答案 If Len case SPEC gt 0 case SPEC case type 当我尝试上面的公式时 我收到错误 gt 作为无
  • 符号查找错误(linux - c++)

    我正在研究多代理系统 例如Robocup soccerrSim2d在 Gnu linux 上 我的 distb 是 Ubuntu 11 10 内核 3 2 gcc 4 6 我安装了librcsc http sourceforge jp pr
  • Spring中依赖资源发生变化时重新加载类

    您知道 Eclipse 如何在更新 Tomcat 所依赖的资源文件 例如 spring 上下文文件 时自动重新加载在 Tomcat 中运行的类 这样您就不必重新启动 Tomcat 了 如何使类依赖于资源文件 以便 Eclipse 在资源文件
  • 比较 2 个 Dictionary 实例

    我想比较两个的内容Dictionary
  • 从github下载最新代码到Android Studio

    How to sync我当地的安卓工作室项目上有最新的代码github 我想下载所有最新的更改但我不希望我的本地更改被覆盖 如果存在冲突 它应该要求我解决这些特定文件 有办法实现这一点吗 我想下载所有最新的更改 但我不想要我的本地 更改被覆
  • `forSome { val `? 的示例

    Scala 语言规范指定的语法存在主义类型 https scala lang org files archive spec 2 13 03 types html existential types as Type InfixType Exi
  • Blazor 格式化数字的输入类型

    有人知道如何将数字类型格式化为 100 10 吗 目前 如果该值为 100 10 它将显示为 100 1 尝试了 bind value format with C2 0 0 我是 Blazor 的新手 所以如果有人能指出我正确的方向 我将不
  • 为什么这个流不返回任何元素?

    我尝试将以下代码编写为流 AbstractDevice myDevice null for AbstractDevice device session getWorkplace getDevices if device getPluginc
  • R Shiny:从模块内更改选项卡

    我有一个带有多个选项卡的闪亮应用程序 我希望选项卡内有操作按钮 允许用户切换选项卡 我找到了以下页面 https www titanwolf org Network q e6b187b8 6cad 4ece ad16 7ec73ed2f75
  • Selenium 挂起实例化 FirefoxDriver

    我尝试开始使用 selenium 今天下载了当前版本 并复制了他们的示例 该示例打开浏览器并执行谷歌搜索 然而 程序永远挂在第一行WebDriver driver new FirefoxDriver 我安装了 Firefox 13 Thre
  • NSXMLParser 泄漏

    我有以下泄漏的代码 Instruments 表示 泄漏的是 rssParser 对象 我 刷新 了 XML 提要 它运行了该块 然后泄漏了 file h interface TestAppDelegate NSObject
  • 使用 pandas 从宽到长的数据集

    有很多类似标题的问题 但我无法解决我的数据集遇到的问题 Dataset ID Country Type Region Gender IA01 Raw IA01 Class1 IA01 Class2 IA02 Raw IA02 Class1
  • 如何在 Flutter 中获取图像的 RGB 值?

    我正在为我的对象检测服务器创建一个移动客户端 我已经有一个完美工作的 python 客户端 它将图像作为输入 通过 HTTP 请求将其发送到服务器 并接收预测作为 json 响应 我正在尝试在 Dart 中实现同样的目标 而我对 Dart
  • BigQuery 最大分区数达到 2000 而不是 2500

    根据BigQuery 文档 https cloud google com bigquery quotas partitioned tables 分区表可以有2500个分区 每个分区表的最大分区数 2 500 Yet bq query des