我正在使用 Bigquery python 库将 Bigquery 表中的数据以 csv 格式导出到 GCS 中。
我给出了通配符模式，假设某些表可以超过 1 GB
有时，即使表只有几 MB，它也会创建多个文件，有时只创建 1 个文件。
这背后有逻辑吗？
我的导出工作流程如下：
project = bq_project dataset_id = bq_dataset_id table_id = bq_table_id
bucket_name =bq_bucket_name workflow_name=workflow_nm
csv_file_nm=workflow_nm+"/"+csv_file_prefix_in_gcs+'*'client =
bigquery.Client() destination_uri = "gs://{}/{}".format(bucket_name,
csv_file_nm) dataset_ref = client.dataset(dataset_id, project=project)
table_ref = dataset_ref.table(table_id) destination_table =
client.get_table(dataset_ref.table(table_id)) configuration =
bigquery.job.ExtractJobConfig() configuration.destination_format='CSV' –
csv_file_nm=workflow_nm+"/"+csv_file_prefix_in_gcs
我认为这是出口的有意行为。这Bigquery 导出 https://cloud.google.com/bigquery/docs/exporting-data文档指定以下内容：
当您将数据导出到多个文件时，文件的大小将
各不相同。
这与您在导出中看到的行为相对应。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
