根据BigQuery 文档 https://cloud.google.com/bigquery/quotas#partitioned_tables,分区表可以有2500个分区:
每个分区表的最大分区数 — 2,500
Yet:
$ bq query --destination_table grey-sort-challenge:partitioning_magic.nyc_taxi_trips_partitioned --time_partitioning_field pickup_datetime --use_legacy_sql=false "select * from \`grey-sort-challenge.partitioning_magic.nyc_taxi_trips\`"
查询字符串中的错误:处理作业'grey-sort-challenge:bqjob_r37b076ef0d3c4338_000001626c539e6a_1'时出错:查询生成的分区太多,允许2000个,查询生成至少2372个分区
是2000还是2500?
表中支持的最大分区数为 4000。
2000 是我们允许单个操作(在本例中为查询作业)生成的分区数。
配额和限制 - 分区表
每个分区表的最大分区数 — 4,000
-
单个作业修改的最大分区数 — 2,000
每个作业操作(查询或加载)最多可以影响 2,000 个分区。任何影响超过 2,000 个分区的查询或加载作业都会被 Google BigQuery 拒绝。
-
每个表每天的最大分区修改次数 — 5,000
对于分区表,每天最多只能进行 5,000 次分区修改。可以通过使用追加或覆盖分区中数据的操作来修改分区。修改分区的操作包括:加载作业、将结果写入分区的查询或修改分区中数据的 DML 语句(INSERT、DELETE、UPDATE 或 MERGE)。
一项作业可能会影响多个分区。例如,DML 语句可以更新多个分区中的数据(对于摄取时间表和分区表)。查询作业和加载作业也可以写入多个分区,但仅限于分区表。在确定作业消耗多少配额时,Google BigQuery 使用受作业影响的分区数量。流式插入不会影响此配额。
最大分区操作率 — 每 10 秒 50 次分区操作
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)