无法在 BigQuery 中使用 DML 语句在作业中设置目标表

2024-01-04

我正在编写 Python 代码以使用 bigquery.Client.query 执行 BigQuery sql 命令。我正进入(状态无法在具有 DML 语句的作业中设置目标表例外。

下面是我正在使用的Python代码

if query_file_name:
    with open(query_file_name, mode="r") as query_file:
        query = query_file.read()

job_config = bigquery.QueryJobConfig()
job_config.use_legacy_sql = use_legacy_sql

if destination:
    if destination.partitioned_field:
        job_config.time_partitioning = TimePartitioning(type_=TimePartitioningType.DAY, 
                                         field=destination.partitioned_field)
google_bq_table = self.fetch_table_reference(destination)
job_config.destination = google_bq_table

job_config.write_disposition = WriteDisposition.WRITE_APPEND

query_job = self.google_client.query(query, job_config=job_config)  # API request - starts the query asynchronously

我的 query_file 如下所示 BigQuery sql

INSERT mydataset.target_table
        (col1, col2, col3, created_date)
WITH T AS (SELECT col1, col2, col3, CURRENT_DATE() as created_date
            from mydataset.temp_table
           )
SELECT col1, col2, col3, created_date FROM T

提前感谢您的帮助

Thanks,

拉古纳特。


无法在具有 DML 语句的作业中设置目标表

正如 BigQuery 错误消息中的 stat 所示,运行插入命令时无法在 Python 代码目标对象中进行设置。

删除此行

if destination:
    if destination.partitioned_field:
        job_config.time_partitioning = TimePartitioning(type_=TimePartitioningType.DAY, 
                                         field=destination.partitioned_field)
google_bq_table = self.fetch_table_reference(destination)
job_config.destination = google_bq_table

从你的代码将解决你的问题

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

无法在 BigQuery 中使用 DML 语句在作业中设置目标表 的相关文章

随机推荐

  • 反转位图颜色

    我有以下问题 我有一个图表程序 它的设计是黑色的 但图表 我从服务器作为图像获得 是浅色的 它实际上只使用 5 种颜色 红色 绿色 白色 黑色和灰色 为了配合设计反转做得很好 唯一的问题是红色和绿色也颠倒了 绿色 gt 粉色 红色 gt 绿
  • 如何逐行执行bash脚本?

    如果我输入bash x http tldp org LDP Bash Beginners Guide html sect 02 03 html选项 它将显示所有行 但脚本会正常执行 如何逐行执行 我可以看看它是否做正确的事情 或者我中止并修
  • 非应用程序用户的图片在 Facebook Open Graph v2.0 中是否仍然可用?

    在Graph API v1 0中 我可以获取以下人员的个人资料图片any具有以下调用的用户 graph facebook com uid picture fb doc https developers facebook com docs g
  • WHERE 子句中的 case 语句中存在语法错误“缺少关键字”

    我的 case 语句中有一些语法错误 我正在检查以下条件 RAP10B CLMSRC 2 RAP01 EFFDT 3 years lt RAP10 LOSSDT lt RAP01 EFFDT OR RAP10B CLMSRC lt gt 2
  • vulkan VkPipelineLayoutCreateInfo 的多个 setLayoutCount 的目的是什么?

    我想知道为什么可以在 VkPipelineLayoutCreateInfo 中指定多个描述符集布局 因为单个描述符集布局已经包含所有绑定 描述符集布局描述单个描述符集的布局 但管道可以有multiple描述符集 这就是layout set
  • 如何从 WPF 中的 app.config 获取 List 值集合?

    以下示例填充项目控制与列表备份目录我从代码中得到的 如何更改此设置以便从 app config 文件中获取相同的信息 XAML
  • Ruby 上类似 Django 的框架?

    Django 作为一个框架是一个简洁的小包 文件很少 与 Rails 相比 并且结构干净 事实上 您可以在不同项目之间插入和拔出应用程序 这是一个非常漂亮的功能 同时 Ruby的黑客能力是无与伦比的 它完全的面向对象特性使其更具表现力和乐趣
  • 使用 BeautifulSoup 抓取包含 JavaScript 的网页

    伙计们 我再次向您提出申请 我可以用标签抓取简单的网站 但最近我遇到了一个带有 JavaScript 的相当复杂的网站 因此 我想以表格 csv 的格式获得页面底部的所有估计值 如 用户 收入估算 每股收益估算 我希望自己能解决这个问题 但
  • 自动发现在 settins.py 中注册的 Django 应用程序小部件

    标题可能有点令人困惑 但我不知道还能怎么称呼它 我想创建一个包含大量应用程序的 Django 项目 您可以使用任意打开或关闭INSTALLED APPSsettings py 中的选项 显然您还需要编辑 urls py 并运行syncdb
  • 如何对编码任务进行非常快速(且肮脏)的估计? [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 所以你刚刚被老板置于困境 您有 15 分钟的时间对添加一些新功能进行粗略估算 您的老板 幸运的是 认识到您无法在那段时间提供准确的估计 因此期望
  • 什么是摘要认证?

    除了以纯文本形式发送凭据之外 摘要式身份验证与基本身份验证有何不同 主要区别在于它不需要以明文形式通过网络发送用户名和密码 它也不受重放攻击的影响 因为它使用来自服务器的一次性号码 服务器向客户端提供一次性使用编号 随机数 该编号与用户名
  • 比较 JavaScript 中的时间

    我需要创建一个函数来根据时间过滤数据 我有一个相关行中包含出发时间的航班表 我需要的是 我将时间过滤器字段添加到我的表单中 以隐藏选定时间之前和之后的航班 换句话说 所选时间间隔之间的航班将可见 我从表和输入中获取时间信息没有问题 但我现在
  • JKS 与 PKCS12 在代码签名方面有何优点?

    购买代码签名证书时 从 PKCS12 开始与 JKS 证书相比有何优点 一些vendors http help godaddy com article 4780提供有关从 JKS 或 PKCS12 证书签名请求开始的说明 我们希望在使用购买
  • 如何在 Docker Swarm 中设置 Hadoop?

    我希望能够在 Docker 中启动 Hadoop 集群 将 Hadoop 节点分布到不同的物理节点 使用swarm https docs docker com engine swarm 我找到了sequenceiq 映像 它可以让我在doc
  • Python pyppeteer 拦截/捕获网络请求

    您好 我正在尝试使用 pyppeteer 拦截给定 url 的所有网络调用 my code import asyncio from pyppeteer import launch import pickle async def interc
  • 从服务器上的 SignalR hub 设置 cookie

    无论如何 我可以从 SignalR 集线器内部设置 cookie 特别是OnConnected方法 我想发送一个带有会话 ID 的 cookie 我尝试了这个 但它似乎不起作用 它也看起来很尴尬 因为我不确定为什么我需要提供字符串和 coo
  • 是否可以阻止 Jekyll 为每个帖子生成一个页面

    我正在将 Jekyll 用于博客 作品集网站 我有几篇文章是作品集条目 还有几篇是博客条目 我可以使用作品集条目帖子来构建作品集页面 www alexmarchant com portfolio 但 Jekyll 仍然为每个作品集条目生成一
  • iPhone 上的凹凸贴图

    在iPhone上使用OpenGL ES 是否可以进行凹凸贴图 使用法线扰动贴图 从我的谷歌搜索来看 支持它的 OpenGL ES 扩展似乎不允许凹凸贴图 根据this guy http www kevindoolan net blog po
  • 分布式事务中的MongoDB和MySQL事务

    我有一个用例 我们需要在分布式事务中同时使用 MySQL 和 MongoDB 即如果 MySQL 或 MongoDB 中的任何一个失败 MySQL 和 MongoDB 都必须失败 即 如果任何数据库中的任何一个发生 MongDB 和 MyS
  • 无法在 BigQuery 中使用 DML 语句在作业中设置目标表

    我正在编写 Python 代码以使用 bigquery Client query 执行 BigQuery sql 命令 我正进入 状态无法在具有 DML 语句的作业中设置目标表例外 下面是我正在使用的Python代码 if query fi