程序员经验分享-hwhale

在 Spark 中使用 Hive 上下文时出错：对象 hive 不是包 org.apache.spark.sql 的成员

2024-01-14

我正在尝试构建一个继承自 SQLContext 的 Hive Context 。

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

我收到以下错误：

error: object hive is not a member of package org.apache.spark.sql
       val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

从自动补全中我可以清楚地看到 hive 不存在。 关于如何解决这个问题有什么想法吗？这是可用的 Spark SQL 文档中的示例。

谢谢


使用sbt：

您必须在依赖项中包含 Spark-Hive。

为此，请在 .sbt 文件中添加以下行：

libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.0"

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

apachesparksql

在 Spark 中使用 Hive 上下文时出错：对象 hive 不是包 org.apache.spark.sql 的成员 的相关文章

  • PySpark 中别名方法的用途是什么？

    在用 Python 学习 Spark 时 我很难理解其目的alias方法及其用途 这文档 http spark apache org docs latest api python pyspark sql html显示它被用来创建现有的副本D

  • 将 Scala Dataframe 写入 CSV 文件时应用 UTF8 编码

    在 Spark2 Scala 中将数据帧写入 CSV 文件时如何正确应用 UTF8 编码 我正在使用这个 df repartition 1 write mode SaveMode Overwrite format csv option he

  • Spark-获取RDD中的文件名

    我正在尝试处理每天都在增长的 4 个文本文件目录 我需要做的是 如果有人试图搜索发票号码 我应该给他们包含该发票号码的文件列表 我能够通过将文本文件加载为 RDD 来映射和减少文本文件中的值 但是如何获取文件名和其他文件属性呢 从 Spar

  • scala/spark 代码不允许在 hive 中添加列

    如果源数据有新列 我尝试在 Hive 表中添加一列 所有新列的检测都运行良好 但是 当我尝试将列添加到目标表时 我收到此错误 for f lt df schema fields if f name chk spark sqlContext

  • 如何抑制spark输出控制台中的“Stage 2===>”？

    我有数据帧并试图获取不同的计数并且能够成功获取不同的计数 但是每当 scala 程序执行时我都会收到此消息 Stage 2 gt 1 1 2 我如何在控制台中抑制特定的此消息 val countID dataDF select substr

  • Spark SQL如何读取压缩的csv文件？

    我尝试过使用apispark read csv读取带有扩展名的压缩 csv 文件bz or gzip 有效 但在源代码中我没有找到任何可以声明的选项参数codec type 即使在这个link https github com databr

  • 使用 scala 从 Spark 中的数组数组中的结构中提取值

    我正在使用 scala 将 json 数据读入 Spark 数据帧 架构如下 root metadata array nullable true element struct containsNull true playerId strin

  • 任务和分区之间有什么关系？

    我能说 么 Spark任务的数量等于Spark分区的数量吗 执行器运行一次 执行器内部的批处理 等于一个任务吗 每个任务只产生一个分区 1 的重复 并行度或可以同时运行的任务数量由以下公式设置 Executor实例的数量 配置 每个执行器的

  • 使用多行选项和编码选项读取 CSV

    在 azure Databricks 中 当我使用以下命令读取 CSV 文件时multiline true and encoding SJIS 似乎编码选项被忽略了 如果我使用multiline选项 Spark 使用默认值encoding那

  • 在 Spark 2.1.0 中启用 _metadata 文件

    Spark 2 1 0 中保存空 Parquet 文件似乎已损坏 因为无法再次读入它们 由于模式推断错误 我发现从 Spark 2 0 开始 写入 parquet 文件时默认禁用写入 metadata 文件 但我找不到重新启用此功能的配置设

  • Spark Scala 将列从一个数据帧复制到另一个数据帧

    我有一个原始数据框的修改版本 我在其上进行了聚类 现在我想将预测列恢复为原始 DF 索引没问题 因此匹配 我该怎么做 使用这段代码我得到一个错误 println Predicted dfWithOutput show println Ori

  • 如何在Spark结构化流中指定批处理间隔？

    我正在使用 Spark 结构化流并遇到问题 在 StreamingContext DStreams 中 我们可以定义批处理间隔 如下所示 from pyspark streaming import StreamingContext ssc

  • Spark：Shuffle Write、Shuffle 溢出（内存）、Shuffle 溢出（磁盘）之间的区别？

    我有以下 Spark 工作 试图将所有内容保留在内存中 val myOutRDD myInRDD flatMap fp gt val tuple2List ListBuffer String myClass ListBuffer tuple

  • 如何在spark Streaming中定期更新rdd

    我的代码是这样的 sc SparkContext ssc StreamingContext sc 30 initRDD sc parallelize path to data lines ssc socketTextStream local

  • 在 IntelliJ 中运行 Spark 字数统计

    我花了几个小时浏览 You Tube 视频和教程 试图了解如何在 Scala 中运行 Spark 字数统计程序 并将其转换为 jar 文件 我现在完全糊涂了 我运行了 Hello World 并且了解了如何在 Apache spark sp

  • Spark 执行器登录 YARN

    我正在 Cloudera 集群上以 YARN 客户端模式启动分布式 Spark 应用程序 一段时间后 我在 Cloudera Manager 上看到一些错误 一些执行者会断开连接 并且这种情况会系统性地发生 我想调试该问题 但 YARN 未

  • Spark EC2 SSH连接错误SSH返回代码255

    每次我尝试通过 Spark ec2 spark ec2 py 文件在 AWS 上启动 Spark 集群时 都会收到 SSH 连接错误 最终解决了 但是浪费了很多时间 在您将其标记为重复之前 我知道有很多类似的问题被问到 但有两个关键区别 a

  • 如何从spark中的hbase表中获取所有数据

    我在 hbase 中有一个大表 名称为 UserAction 它具有三个列族 歌曲 专辑 歌手 我需要从 歌曲 列族中获取所有数据作为 JavaRDD 对象 我尝试了这段代码 但效率不高 有更好的解决方案来做到这一点吗 static Spa

  • 如何并行运行多个Spark作业？

    一个 Spark 有一个 Oracle 查询 所以我必须并行运行多个作业 以便所有查询同时触发 如何并行运行多个作业 引用官方文档作业调度 http spark apache org docs latest job scheduling h

  • PySpark 使用统计信息写入 Parquet 二进制列（signed-min-max.enabled）

    我找到了这张 apache parquet 票https issues apache org jira browse PARQUET 686 https issues apache org jira browse PARQUET 686被标

随机推荐

  • 为什么最好将 script 标签放在 body 标签的末尾？

    有两个与浏览器网页初始化相关的事件 DOMContentReady document object 解析 HTML 文档并构建 DOM 树 load window object HTML 文档的所有元素都被渲染 显示 根据我的理解 浏览器无

  • 无法找到捆绑的 Java 版本。 MacBook Air M1

    我在配备 intel 的 MacBook Pro 上使用 flutter 一切正常 现在我改用配备 M1 芯片的 MacBook Air 我收到错误无法找到捆绑的 Java 版本 请问我该如何解决它 扑动医生 v Flutter 频道稳定

  • 在 Apps 脚本中设置数据验证显示样式

    是否可以在应用程序脚本中设置下拉列表显示样式 检查文档后发现 API 只允许您在 箭头 和 纯文本 之间进行选择 应用程序脚本文档 https developers google com apps script reference spre

  • 无法以编程方式在 C:\inetpub\wwwroot 中创建文件

    我在 ASP NET 网页的代码后面有一个函数 它创建一个文件 然后使用 JavaScript 命令打开它 这在 IDE 中有效 它会创建文件 询问我要在哪里保存文件 我可以保存它 等等 但是当我安装网站并测试它时 我在尝试创建网站时收到

  • Internet Explorer 8 原型和 XMLHttpRequest

    这部分是对解决方法的请求 部分是试图表明 Internet Explorer 的原型实现仍然有缺陷 以下代码在 Internet Explorer 上不起作用 XMLHttpRequest prototype old XMLHttpRequ

  • 如何关闭 Safari 的预取功能？

    Safari 有一个 功能 可以在您输入网址时预加载页面 现在对于大多数用户来说 这确实是一个功能 可以加快页面加载速度 但对于 Web 开发人员来说 它可能会带来麻烦 特别是当它自动加载您之前使用过但当前无意运行的脚本 例如导入程序或后台

  • 根据 Celery 任务状态更新 Django 模型字段

    在我的模型中 我有一个status默认值为 处理 的字段 在 Django 管理界面中 用户单击 保存 按钮后 表单输入将传递给仅休眠 30 秒的 celery 任务 30 秒后 我该如何 判断celery任务是否成功 更新模型的statu

  • 如果浏览器不是 Internet Explorer 9 或更高版本，则显示一条消息

    我想向我的用户展示一个如下所示的栏 如果 浏览器不是IE 或者 浏览器为 IE 但版本为 8 或更早 请注意 屏幕截图仅用于说明 IE 9is支持我的网站 我发现了这个不错的 jQuery 插件 但我不想使用弹出窗口 http jrejec

  • x 轴刻度日期格式和位置

    我尝试使用 matplotlib 复制最初使用 flotr2 创建的绘图图以进行 pdf 输出 我必须说 flotr 更容易使用 但除此之外 我目前一直在尝试将 x 轴上的日期 时间格式化为所需的格式 即小时 分钟 每 2 小时间隔一次 如

  • 如何恢复 .condarc 中 env_prompt 参数的默认行为？

    如果你创建一个python环境conda with prefix标记并激活它 激活后环境将通过其整个路径显示 这可能是一条很长的路 因此conda 文档 https docs conda io projects conda en lates

  • Spark 中的任务不可序列化

    我有这样的转变 JavaRDD

  • WPF 本机 Windows 10 Toast

    使用 NET WPF和Windows 10 有没有办法使用c 将本地toast通知推送到操作中心 我只看到人们为此制作自定义对话框 但必须有一种方法可以通过 os 您可以使用NotifyIcon from System Windows Fo

  • 使用 YAML 和过滤器登录 python

    想要使用 YAML 设置带有过滤器的记录器 YAML 配置文件config yaml如下 version 1 formatters simple format asctime s name s message s extended form

  • swift 中的默认初始化器

    我创建了一个带有字符串选项 字符串 的 swift 类 并在另一个 swift 文件中实例化了该类 但出现了编译错误 当我在同一文件中实例化该类时 没有错误 我做错了什么吗 我仔细检查了该行为 并且该行为即使与 swift 文档中给出的类定

  • 无法在android中调用REST API

    我正在尝试从手机调用 REST Web 服务 我正在使用以下代码来完成此操作 我只有一项具有按钮和文本视图的活动 每当我单击按钮时 它都会出现以下错误logcat AndroidRuntime at android os Handler d

  • 当我尝试运行 Yesod 书中的第一个示例时，出现“无法找到模块‘Yesod’”

    我知道这似乎重复找不到模块 Yesod https stackoverflow com questions 14589358 could not find module yesod 但与该用户不同的是 ghc pkg list不显示Yeso

  • 根据另一列的聚合将非聚合列添加到聚合数据集中

    是否可以使用聚合函数从原始数据框中添加另一列 而不实际使用该列来聚合数据 这是一个非常简化的数据版本 将有助于说明我的问题 我们称之为数据 name result 1 result 2 replicate day data for mean

  • Url.Action 如何在我不设置路由值的情况下就知道它们？

    我正在对 MVC 操作执行 jquery post 操作 该操作返回一个 json 结果 例如 Id 123 代码仍处于早期阶段 但我非常惊讶地发现 Url Action action controller 正在构建一个完整的 url我从

  • 如何使用 Google Sheets API 将文本格式设置为数字？

    我有一个 Google 表格 其中 C 列中的信息是一个以字符串形式填充的数字 Example 单元格值为 35135 22 在浏览器中 我可以突出显示 C 列并选择格式 gt 数字 gt 0 它会将字符串转换为数字 然后对其进行格式化 示

  • 在 Spark 中使用 Hive 上下文时出错：对象 hive 不是包 org.apache.spark.sql 的成员

    我正在尝试构建一个继承自 SQLContext 的 Hive Context val sqlContext new org apache spark sql hive HiveContext sc 我收到以下错误 error object

热门标签