Spark 中的错误“未解析的运算符 InsertIntoStatement LogicalRDD”是什么意思?

2024-01-02

当尝试在一些测试中运行相当简单的插入语句时,我收到以下错误:

E               pyspark.sql.utils.AnalysisException: unresolved operator 'InsertIntoStatement LogicalRDD [name#0, run_timestamp#1], false, false, false;
E               'InsertIntoStatement LogicalRDD [name#0, run_timestamp#1], false, false, false
E               +- LocalRelation [col1#6, col2#7]

这是什么意思?我已经在 python 笔记本中检查了我的 SQL,它工作得很好。

self.spark.sql(f'''
        INSERT INTO migrations
        VALUES ("{job_name}", now())
'''

我试过放置一个breakpoint()并做一个describe表名上显示它存在。


在我们的例子中,这是因为migrations实际上是一个view而不是一个table因此插入显然失败了(如果错误消息更好的话!)。

我们的测试装置设置不正确(createOrReplaceTempView正在使用)。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Spark 中的错误“未解析的运算符 InsertIntoStatement LogicalRDD”是什么意思? 的相关文章

随机推荐

  • Rails——创造再创造!方法,FoR 3 教程

    所以我知道 bang 感叹号 和非 bang 方法之间的区别通常是该方法是否会修改对象本身或返回一个单独的修改对象而保持原始对象不变 然后 在本书第 6 章构建用户模型时 我遇到了User create方法 该方法创建一个新模型并将其保存到
  • 从谷歌选择器选择文件后立即下载文件

    我只是想实现 Google Drive Picker API 以便下载用户通过 Google Drive Picker 提交的文件 在后台 我使用了 Google 选择器 效果很好 但后来我无法下载该文件 首先从单个文件开始 这是我的代码
  • 为什么径向树布局绘图算法会产生交叉边?

    根据 Andy Pavlo 先生的出版物 我正在实施径向布局绘图算法 第18页 问题是 我的结果包含交叉边 这是令人无法接受的 我找到了一些解决方案 类似的问题link https stackoverflow com questions 3
  • Koa.js - 提供静态文件和 REST API

    我是 koa js 库的新手 我需要一些帮助 我正在尝试使用 koa 制作简单的 REST 应用程序 我有一个静态 html 和 javascript 文件 我想在路线上提供服务 和 REST API 访问 api 这是我的项目目录树 pr
  • 启动 Windows 服务并启动 cmd

    我是否需要启用交互式桌面才能工作 启动 EXE 或 cmd 窗口的正确代码是什么 即使我已启用该服务与桌面交互 我仍然无法启动该服务 我将使用聊天引擎 这样作为 Windows 服务更容易管理 我的代码有什么问题吗 using System
  • 调试发布构建类型而不生成签名的 APK

    我有一个具有两种构建类型的项目设置 debug and release 在我的应用程序模块中 我有三个不同的目录 debug release and main 我想做的是测试中的代码release目录 但我似乎能做到这一点的唯一方法是生成一
  • Android ContentProvider openFile:需要提供“修改后的”文件

    我想通过以下方式提供保存在 外部存储 上的图像文件ContentProvider 这些图像文件被 破坏 前 50 个字节与某个任意值进行异或 我想在里面做 demangle ContentProvider以便其他应用程序不需要做特殊处理 我
  • 在 Chrome 中引用页内 SVG

    对某人来说很有趣的问题 我正在尝试使用以下标记将 SVG 过滤器应用于页面中加载的图像 img src http upload wikimedia org wikipedia commons thumb 6 6b Bitmap VS SVG
  • Django 通用外键 - 考虑到 SQL 性能是好是坏?

    我有一个模型A其中包含一个通用外键关系 限制对 3 个其他模型的选择 将它们视为B C and D 在同一个应用程序中 我知道我们无法使用通用外键的局限性filter or get或任何其他查询集操作 所以为了实现这样的目标 A objec
  • iTunes 中 iPhone 应用程序支持的语言列表由什么控制?

    是什么控制着 iPhone 应用程序的 iTunes 页面 右侧 描述 下方 语言 下 显示的受支持语言 从 iTunes Connect 开发者指南来看 这似乎不是您在提交过程中选择的内容 我认为这是捆绑包中的东西 我利用一次技术支持事件
  • 按列值的 LIKE 分组

    给定一个假设的查询 如下所示 SELECT COUNT FROM subscriptions GROUP by plan type 还有一张类似于下面的表格 id plan type customer id 1 gold 2017 523
  • ZF2 从模块加载服务配置

    我仍在努力从 Zend Framework 之外的 ZF2 模块 在空白的 php 中 实例化服务 我想实现 通过使用 ServiceManager 和可能的 DI 从 ZF 外部实例化并调用 ZF2 服务方法 我现在拥有的 2013 年
  • java 中的 setOpaque()

    谁能解释为什么 Nimbius 对待 setOpaque 的方式与其他 java LaF 不同 它破坏了我的代码 因为通常透明的组件不再是透明的 编辑 问题似乎只涉及 JTextAreas 这是我需要的 或类似的组件 编辑编辑 这是实际应用
  • IOS - 工具栏没有出现在顶部

    我问过这个问题here https stackoverflow com questions 22427974 ios toolbar not showing 22429314 noredirect 1 22429314另外 但我没有得到任何
  • 将 Javascript 对象保存在 sessionStorage 中

    SessionStorage 和 LocalStorage 允许在 Web 浏览器中保存键 值对 该值必须是字符串 并且保存 js 对象并不简单 var user name John sessionStorage setItem user
  • 具有复杂输入的 Spyne 服务器

    我正在尝试使用 Spyne 编写一个简单的 python 服务器 我已经过了hello world示例 现在尝试做一些更复杂的事情 可悲的是 几乎没有任何例子 或者至少 我找不到任何有用的东西 我将以下 XML 发送到服务器
  • Python 列表/字典与 numpy 数组:性能与内存控制

    我必须迭代读取数据文件并将数据存储到 numpy 数组中 我选择将数据存储到 数据字段 的字典中 field1 array1 field2 array2 案例1 列表 Using lists or collections deque 对于
  • jquery ajax同步调用beforeSend

    我有一个函数叫做 function callAjax url data ajax url url same domain data data cache false async false use sync results beforeSe
  • 如何在 Firefox Android 上安装我的 .xpi

    我使用 JPM 开发 Firefox 插件 我想将其安装在我的 Android 手机上 我已运行 jpm xpi 并将 xpi 复制到我的 SD 卡上 当我在 android firefox 中浏览到 file path to my xpi
  • Spark 中的错误“未解析的运算符 InsertIntoStatement LogicalRDD”是什么意思?

    当尝试在一些测试中运行相当简单的插入语句时 我收到以下错误 E pyspark sql utils AnalysisException unresolved operator InsertIntoStatement LogicalRDD n