程序员经验分享-hwhale

Spark 从 oracle 导入数据 - java.lang.ClassNotFoundException: oracle.jdbc.driver.OracleDriver

2024-01-10

在尝试在 AWS EMR 上使用 Spark 从 Oracle 数据库读取数据时， 我收到此错误消息：

java.lang.ClassNotFoundException：oracle.jdbc.driver.OracleDriver。

有人可以告诉我是否有人遇到过这个问题以及他们是如何解决的吗？

pyspark --driver-class-path /home/hadoop/ojdbc7.jar --jars   /home/hadoop/ojdbc7.jar

from pyspark import SparkContext, HiveContext, SparkConf

from pyspark.sql import SQLContext

sqlContext = SQLContext(sc)

df = sqlContext.read.format("jdbc").options(url="jdbc:oracle:thin:user/pass@//10.200.100.142:1521/BMD", driver = "oracle.jdbc.driver.OracleDriver", 
dbtable="S_0COORDER_TEXT_D").load()

虽然您没有提到您正在使用哪个版本的 Spark...您可以在下面尝试...

将 jar 导入到驱动程序和执行程序中。所以，你需要编辑conf/spark-defaults.conf添加下面两行。

spark.driver.extraClassPath /home/hadoop/ojdbc7.jar
spark.executor.extraClassPath /home/hadoop/ojdbc7.jar

or
您可以在提交作业时尝试通过，如下例所示：

--conf spark.driver.extraClassPath /home/hadoop/ojdbc7.jar
--conf spark.executor.extraClassPath /home/hadoop/ojdbc7.jar
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

Oracle

Hadoop

apachespark

PySpark

Spark 从 oracle 导入数据 - java.lang.ClassNotFoundException: oracle.jdbc.driver.OracleDriver 的相关文章

  • Django：按钮链接

    我是一名 Django 新手用户 尝试创建一个按钮 单击该按钮会链接到我网站中的另一个页面 我尝试了一些不同的例子 但似乎没有一个对我有用 举个例子 为什么这不起作用

  • 为什么我的执行程序核心构建指定了 OOM？

    我有一个正在运行的构建DRIVER MEMORY LARGE NUM EXECUTORS 64 and EXECUTOR CORES LARGE 为什么这没有足够的资源来防止我的工作因执行者损失而失败OOM https stackoverf

  • 如何使用Conda下载python包并随后离线安装？

    我知道通过 pip 我可以使用以下命令下载 Python 包 但 pip install 破坏了我的内部包依赖关系 当我做 pip download

  • 从字符串中删除识别的日期

    作为输入 我有几个包含不同格式日期的字符串 例如 彼得在16 45 我的生日是1990年7月8日 On 7 月 11 日星期六我会回家 I use dateutil parser parse识别字符串中的日期 在下一步中 我想从字符串中删除

  • python 相当于 R 中的 get() （= 使用字符串检索符号的值）

    在 R 中 get s 函数检索名称存储在字符变量 向量 中的符号的值s e g X lt 10 r lt XVI s lt substr r 1 1 X get s 10 取罗马数字的第一个符号r并将其转换为其等效整数 尽管花了一些时间翻

  • 是否可以忽略一行的pyright检查？

    我需要忽略一行的pyright 检查 有什么特别的评论吗 def create slog group SLogGroup data Optional dict None SLog insert one SLog group group da

  • SQLALchemy .query：类“Car”的未解析属性引用“query”

    我有一个这里已经提到的问题https youtrack jetbrains com issue PY 44557 https youtrack jetbrains com issue PY 44557 但我还没有找到解决方案 我使用 Pyt

  • 基于代理的模拟：性能问题：Python vs NetLogo & Repast

    我正在 Python 3 中复制一小段 Sugarscape 代理模拟模型 我发现我的代码的性能比 NetLogo 慢约 3 倍 这可能是我的代码的问题 还是Python的固有限制 显然 这只是代码的一个片段 但 Python 却花费了三分

  • Python pickle：腌制对象不等于源对象

    我认为这是预期的行为 但想检查一下 也许找出原因 因为我所做的研究结果是空白 我有一个函数可以提取数据 创建自定义类的新实例 然后将其附加到列表中 该类仅包含变量 然后 我使用协议 2 作为二进制文件将该列表腌制到文件中 稍后我重新运行脚本

  • Spark 1.3.1 上的 Apache Phoenix（4.3.1 和 4.4.0-HBase-0.98）ClassNotFoundException

    我正在尝试通过 Spark 连接到 Phoenix 并且在通过 JDBC 驱动程序打开连接时不断收到以下异常 为简洁起见 下面是完整的堆栈跟踪 Caused by java lang ClassNotFoundException org a

  • 如何使用 OpencV 从 Firebase 读取图像？

    有没有使用 OpenCV 从 Firebase 读取图像的想法 或者我必须先下载图片 然后从本地文件夹执行 cv imread 功能 有什么办法我可以使用cv imread link of picture from firebase 您可以

  • 如何在ipywidget按钮中显示全文？

    我正在创建一个ipywidget带有一些文本的按钮 但按钮中未显示全文 我使用的代码如下 import ipywidgets as widgets from IPython display import display button wid

  • LiveSQL 不断向我显示：ORA-00933：SQL 命令未正确结束[重复]

    这个问题在这里已经有答案了 INSERT INTO Countries Country Capital Cities VALUES Philippines Manila 122 USA Washington 19495 Brazil Bra

  • Flask如何获取请求的HTTP_ORIGIN

    我想用我自己设置的 Access Control Allow Origin 标头做出响应 而弄清楚请求中的 HTTP ORIGIN 参数在哪里似乎很混乱 我在用着烧瓶 0 10 1 以及HTTP ORIGIN似乎是这个的特点之一object

  • python获取上传/下载速度

    我想在我的计算机上监控上传和下载速度 一个名为 conky 的程序已经在 conky conf 中执行了以下操作 Connection quality alignr wireless link qual perc wlan0 downspe

  • 无法在 Python 3 中导入 cProfile

    我试图将 cProfile 模块导入 Python 3 3 0 但出现以下错误 Traceback most recent call last File

  • 每个 X 具有多个 Y 值的 Python 散点图

    我正在尝试使用 Python 创建一个散点图 其中包含两个 X 类别 cat1 cat2 每个类别都有多个 Y 值 如果每个 X 值的 Y 值的数量相同 我可以使用以下代码使其工作 import numpy as np import mat

  • Delphi 5 中的 Oracle 数据库连接

    我正在使用 Delphi 5 版本 我想连接到 Oracle 数据库 我有 TDatabase 组件 我不知道如何通过 Delphi 连接到数据库 请提供连接数据库的步骤 谢谢 The TDatabase http docwiki emba

  • Python：如何将列表列表的元素转换为无向图？

    我有一个程序 可以检索 PubMed 出版物列表 并希望构建一个共同作者图 这意味着对于每篇文章 我想将每个作者 如果尚未存在 添加为顶点 并添加无向边 或增加每个合著者之间的权重 我设法编写了第一个程序 该程序检索每个出版物的作者列表 并

  • 导入错误：没有名为 site 的模块 - mac

    我已经有这个问题几个月了 每次我想获取一个新的 python 包并使用它时 我都会在终端中收到此错误 ImportError No module named site 我不知道为什么会出现这个错误 实际上 我无法使用任何新软件包 因为每次我

随机推荐

  • 在 iPhone 应用程序中显示 HTML

    如何在 iPhone 的 textview 中打开 url 是否可以显示数据links photos和所有html entities 您可以使用 UIWebView 从文件加载静态包含 html 照片 css javascript NSSt

  • 将大字符串写入文件的最佳方法

    在 C 中 我正在读取中等大小的文件 100 KB 1 MB 修改部分内容 最后写入不同的文件 所有内容均为文字 修改是作为字符串对象和字符串操作完成的 我目前的做法是 使用以下命令读取原始文件中的每一行StreamReader Open

  • Firefox 拖动 div 就像拖动图像一样

    我正在使用以下 HTML CSS 和 Javascript 代码 如果您想测试的话 可以将其放在一个文档中

  • 从数据框中删除控制字符空格

    我有一个数据框 df 通过它我可以使用它来获取列表列表 data list map str n tolist for n in df values 之后我从这样的数据中替换特定的控制字符 data e replace u xa0 u for

  • SignalR WebSockets 在本地工作但不在服务器上工作

    我正在尝试让 Web Sockets 作为使用 SignalR 2 4 2 的 ASP NET 4 8 Framework 应用程序的协议 它可以在本地主机上运行 Windows 10 Pro 的 Visual Studio 2019 上正

  • 将点投影到平面上的投影矩阵

    如何确定 4x4S矩阵 以便 P 在 XZ Y 0 平面上投影到 Q 中 Q S P 射线有坐标r t L t P L 这是组件形式 r x L x t P x L x r y L y t P y L y r z L z t P z L z

  • Get-TfsItemHistory 版本参数

    我想要一种方法来从特定日期的 TFS 中查找一组不同的更改文件 通过谷歌搜索我找到了这篇文章 http blog hackedbrain com 2009 04 01 getting a distinct list of changed f

  • 我们如何使用opencart事件？

    我搜索了很多有关 opencart 触发器的信息 但没有找到合适的示例 在 opencart 2 0 中 有一些触发器 开发人员可以挂钩函数并执行一些事情 就像我猜的 wordpress 操作和过滤器一样 例如在 catalog model

  • vuetify.js 如何获取 v-container 的全宽

    我是新来的vuetify js并开始摆弄它 这是我的代码 管理面板 vue

  • 使用回形针的文件类型的自定义缩略图

    我使用 Paperclip 和 Ruby on Rails 将资产附加到模型 这些资产可以是任何文件类型 并且当前仅当资产是图像时才会生成缩略图 我希望能够为其他文件显示不同的默认图像 可以通过在上传时生成文件的缩略图 或者使用 defau

  • 为 AppStore 构建时，Parse SDK 会导致权利资源错误

    看起来 XCode6 没有对 Parse SDK 中的资源进行签名 我使用的是最新版本 1 4 1 实际的存档 构建工作正常 事实上 我还可以通过这个过程分发 AdHoc beta 版本 而且我的测试人员可以从 HockeyApp 安装 直

  • AppEngine 数据存储区中的不平等过滤器

    据我所知 Google AppEngine 仅支持每个查询一个不等式过滤器 针对此限制有哪些解决方法 有没有任何解决方案可以提供类似的效果 实际上GAE支持多个不等式过滤器 只要它们是在同一财产上 https developers goog

  • Javascript递归超时调用

    这是我尝试编写一个动态 onmouseout 事件 当鼠标离开 div 时缓慢改变不透明度 由于某种原因 递归和超时似乎没有工作属性 并且不透明度的更改是立即完成的 问题 有没有什么原因setTimeout 不适用于递归 有没有更好的方法来

  • 类构造函数中异常处理的行为

    我有这个程序 其中派生类的构造函数抛出异常 该程序只是一个示例程序 我只是想了解异常处理的概念 class A public A A std cout lt lt DTOR called A lt lt std endl class B p

  • 更改所有 QLabel 对象 PyQt5 的字体大小

    我使用 PyQt5 编写了一个 gui 最近我想将所有 QLabel 的字体大小增加到特定大小 我可以单独浏览整个代码并更改 qfont 但这效率不高 我想我可以覆盖该类并将所有 QLabel 字体大小设置为所需的大小 但是 我需要了解用

  • 错误CS0234：命名空间“System.Web”中不存在类型或命名空间名称“Script”

    我正在尝试使用JavaScriptSerializer在我的应用程序中 我最初收到 找不到 JavaScriptSerializer 我通过添加解决了这个问题 using System Web Script Serialization 但接

  • 检索“时间”字段时的时区错误？

    手册指定 https getstream io docs uniqueness这种独特性是基于foreign id and time fields 我有一个用户参加特定活动的活动 该事件有自己的开始日期 我想在时间线中显示它 因此我将其作为

  • C++ 类对非类型模板参数的部分特化

    我不确定我的术语是否正确 但我认为我有一个包含类型和非类型模板参数的类模板 并且我想部分专门研究非类型参数 template

  • 未绑定图形模块

    Running open Graphics OCaml 中返回一个错误 表示它是一个未绑定的模块 在终端 ocaml 中运行它会返回相同的结果 这是否意味着我的图形模块未随 OCaml 软件包一起安装 如果是这样 我该如何安装该模块 在费多

  • Spark 从 oracle 导入数据 - java.lang.ClassNotFoundException: oracle.jdbc.driver.OracleDriver

    在尝试在 AWS EMR 上使用 Spark 从 Oracle 数据库读取数据时 我收到此错误消息 java lang ClassNotFoundException oracle jdbc driver OracleDriver 有人可以告

热门标签