为什么 Spark Cassandra 连接器会失败并出现 NoHostAvailableException?

2023-11-22

我在让 Spark Cassandra Connector 在 Scala 中工作时遇到问题。

我正在使用这些版本:

  • 斯卡拉2.10.4
  • 火花核心 1.0.2
  • cassandra-thrift 2.1.0(我安装的cassandra是v2.1.0)
  • 卡桑德拉-clientutil 2.1.0
  • cassandra-driver-core 2.0.4(推荐用于连接器?)
  • 火花卡桑德拉连接器 1.0.0

我可以连接 Cassandra(不带 Spark)并与其交谈,也可以与 Spark(不带 Cassandra)交谈,但连接器为我提供:

com.datastax.driver.core.exceptions.NoHostAvailableException:尝试查询的所有主机均失败(尝试过:/10.0.0.194:9042 (com.datastax.driver.core.TransportException: [/10.0.0.194:9042] 无法连接))

我缺少什么? Cassandra 是默认安装(根据 cassandra.yaml,cql 的端口 9042)。我正在尝试本地连接(“本地”)。

My code:

val conf = new SparkConf().setAppName("Simple Application").setMaster("local")
val sc = new SparkContext("local","test",conf)
val rdd = sc.cassandraTable("myks","users")
val rr = rdd.first
println(s"Result: $rr")

在此上下文中,本地指的是指定 Spark 主节点(告诉它以本地模式运行)而不是 Cassandra 连接主机。

要设置 Cassandra 连接主机,您必须在 Spark 配置中设置不同的属性

import org.apache.spark._

val conf = new SparkConf(true)
        .set("spark.cassandra.connection.host", "IP Cassandra Is Listening On")
        .set("spark.cassandra.username", "cassandra") //Optional            
        .set("spark.cassandra.password", "cassandra") //Optional

val sc = new SparkContext("spark://Spark Master IP:7077", "test", conf)

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/1_connecting.md

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

为什么 Spark Cassandra 连接器会失败并出现 NoHostAvailableException? 的相关文章

  • 如何在 apache Spark 作业中执行阻塞 IO?

    如果当我遍历 RDD 时 我需要通过调用外部 阻塞 服务来计算数据集中的值怎么办 您认为如何才能实现这一目标 值 Future RDD Double Future sequence tasks 我尝试创建一个 Futures 列表 但由于
  • Cassandra 已死但 pid 文件存在

    我是 cassandra 新手 尝试在 centos 7 0 上安装 cassandra 2 1 2 完成安装后 执行 cqlsh 命令并创建一些键空间和列族 乍一看 我觉得它工作得很好 但后来我意识到以下问题 1 当我执行 service
  • Spark 执行器登录 YARN

    我正在 Cloudera 集群上以 YARN 客户端模式启动分布式 Spark 应用程序 一段时间后 我在 Cloudera Manager 上看到一些错误 一些执行者会断开连接 并且这种情况会系统性地发生 我想调试该问题 但 YARN 未
  • Spark EC2 SSH连接错误SSH返回代码255

    每次我尝试通过 Spark ec2 spark ec2 py 文件在 AWS 上启动 Spark 集群时 都会收到 SSH 连接错误 最终解决了 但是浪费了很多时间 在您将其标记为重复之前 我知道有很多类似的问题被问到 但有两个关键区别 a
  • Spark中如何获取map任务的ID?

    Spark中有没有办法获取map任务的ID 例如 如果每个映射任务都调用用户定义的函数 我可以从该用户定义的函数中获取该映射任务的 ID 吗 我不确定您所说的地图任务 ID 是什么意思 但您可以使用以下方式访问任务信息TaskContext
  • 带有 Play 框架的 cassandra

    我正在尝试开发一个由两部分组成的应用程序 Web 服务和 Android 应用程序 我计划使用 java play 框架和 cassandra noSQL 数据库来实现我的 Web 服务 我已经找了两天了 我还是不知道该怎么做 我需要集成一
  • 必须包含 log4J,但它会导致 Apache Spark shell 中出现错误。如何避免错误?

    由于我必须将 jar 包含到 Spark 代码中 因此我想请求帮助找出解决此问题而不删除 log4j 导入的方法 简单代码如下 cp symjar log4j 1 2 17 jar import org apache spark rdd v
  • Scala sbt 项目给出 NullPointerException?

    当我运行命令时sbt clean compile run在我的 sbt 项目中 它给出了空指针异常 这是控制台输出 info Loading project definition from home dnilesh workspace wi
  • Spark-submit,客户端无法通过以下方式进行身份验证:[TOKEN,KERBEROS];

    我使用 kerberos 设置了 hadoop 集群 但是当我运行 Spark Submit 时 它抛出异常 17 10 19 08 46 53 WARN scheduler TaskSetManager Lost task 0 0 in
  • 如何传递架构以从现有数据帧创建新数据帧?

    要将 schema 传递到 json 文件 我们这样做 from pyspark sql types import StructField StringType StructType IntegerType data schema Stru
  • 如何在Slick 3.0.0中使用StaticQuery?

    在 Slick 2 1 中 我使用以下代码从文件执行 sql 查询 def fetchResult T sql String implicit getResult GetResult T List T val query Q queryNA
  • 如何将函数应用于元组?

    这应该是一件容易的事 如何将函数应用于 Scala 中的元组 即 scala gt def f i Int j Int i j f Int Int Int scala gt val p 3 4 p Int Int 3 4 scala gt
  • 在案例类中重载 unapply 方法:scala

    考虑下面的代码 case class User id Int name String object User def unapply str String Some User 0 str Scala 抱怨 错误 无法解析重载未应用 案例类
  • Spark Scala 相当于 SKEW 连接提示

    Spark SQL 有一个可用的倾斜提示 请参阅here https docs databricks com spark latest spark sql skew join html relation columns and skew v
  • Scala:如何转义文字中的反引号?

    Scala 中的文字允许将标识符定义为这样answer https stackoverflow com a 6576663 5826349描述 有没有办法在文字中转义反引号 做类似的事情 val hello world hello worl
  • S3并行读写性能?

    考虑 Spark 或任何其他 Hadoop 框架 从 S3 读取大型 例如 1 TB 文件的场景 多个spark执行器如何从S3并行读取非常大的文件 在 HDFS 中 这个非常大的文件将分布在多个节点上 每个节点都有一个数据块 在对象存储中
  • 为什么 Scala 选项的 foreach 比 get 更好?

    为什么使用foreach map flatMap等被认为比使用更好get对于 Scala 选项 如果我使用isEmpty我可以打电话get安全 好吧 这又回到了 告诉 不要问 考虑这两行 if opt isDefined println o
  • Scala:解决“非法循环引用”

    我正在尝试实现一个基于 HashMap 的树 它支持给定根键的 O 1 子树查找 为了实现这个目标 我正在努力做到以下几点 scala gt type Q HashMap Char Q
  • 将 DStream 转换为 JavaDStream

    我知道我们有一个选择RDD JavaRDD
  • 理解无形状的“单态”示例

    The 无形特征概述 https github com milessabin shapeless wiki Feature overview 3a shapeless 2 0 0显示以下示例 import poly choose is a

随机推荐

  • 在具有非静态片段的布局上有效使用布局编辑器

    凭借所有 Android 开发工具的强大功能 尤其是从版本 21 开始 图形布局编辑器是一个功能强大的工具 可以通过针对每个配置和区域设置的片段对布局进行可视化控制 我知道一个典型的Activity的布局 XML 将包含 staticfra
  • 如何禁用 Delphi 2010 中的格式化程序

    Delphi 2010 中的格式化程序对我来说确实是一件烦人的事情 我更喜欢手动格式化我的代码 我相信我会做得更好 我怎样才能禁用它 注意 关于我为什么不首先使用它的答案将不会被接受 我需要将其关闭 不多不少 Install DDev扩展来
  • pdo-odbc 不适用于绑定值,nvarchar 和文本在等于运算符中不兼容

    有一个专栏url nvarchar 200 not null
  • 使用 NLTK 提取关系

    这是一个我的问题的后续行动 我正在使用 nltk 来解析人 组织及其关系 使用这个例子 我能够创造出大量的人和组织 但是 我在 nltk sem extract rel 命令中收到错误 AttributeError Tree object
  • 如何在 Linux 上从 python 调用 Wine dll?

    我正在 Linux 中编写 python 脚本 需要调用 Wine 中可用的一些 Windows 函数 具体来说 AllocateAndInitializeSid and LookupAccountSidW 以确定谁登录到远程 Window
  • 在 ASP.NET MVC 中将 .html 文件呈现为视图

    我希望在我的 ASP NET MVC 项目中将 html 文件与其他 cshtml 视图一起用作视图 这样做的主要原因是 在我的操作中 html 文件受到与其他视图所遵守的相同的自定义安全规则的约束 我不想使用 cshtml 或 aspx
  • 我可以告诉编译器考虑关于返回值的控制路径关闭吗?

    假设我有以下功能 Thingy getThingy int id for int i 0 i lt something i normal execution guarantees that the Thingy we re looking
  • 具有复杂键的 Spring @Cacheable 仍然执行

    我对 spring 3 1 中 Cacheable 的使用有以下内容 spring
  • 你能在一条语句中访问MySQL中的自动增量值吗?

    我有一个 MySQL 数据库 其中包含一个用户表 表的主键是 userid 设置为自增字段 我想做的是 当我将新用户插入表中时 使用自动增量在不同字段 default assignment 的 userid 字段中创建的相同值 e g 我想
  • C++:声明一个全局类并从其他类访问它?

    我有一个类应该从 main 全局声明并从程序中的其他声明的类访问 我该怎么做 class A int i int value return i class B global A a or extern int calc return a v
  • Python 中 Tesseract OCR 的 UnicodeDecodeError

    我正在尝试使用 Python 中的 Tesseract OCR 从图像文件中提取文本 但我遇到了一个错误 我可以弄清楚如何处理它 我的所有环境都很好 因为我用 python 中的 ocr 测试了一些示例图像 这是代码 from PIL im
  • 更改 MySQL 错误消息语言

    我的 MySQL 错误语言有问题 当查询出现错误时 该错误不是英文的 就像下面的消息 Le champ id ne peut tre vide null 我已经运行此查询来更改语言 但仍然出现相同的错误 SET lc messages en
  • 本地 ffmpeg 输出到 S3 Bucket

    这是我的设置 我有一台运行 ffmpeg 的本地 PC 输出配置为 h 264 和 aac 以及在AWS创建的S3存储桶 我需要做的是 使用 ffmpeg local 输出将文件直接上传到 s3 存储桶 附 计划将 s3 存储桶与 clou
  • DOM/Javascript:获取标签后的文本

    如何获取 html 文档中标签后面的文本 there p a hello a there p 我发现有一种方法可以用 xpath 做到这一点 从下一个标签获取文本 但我没有使用 xpath 并且希望不必为此而开始 我意识到我可以获取 p 标
  • 如何在Java.time中将LocalDateTime的精度设置为纳秒?

    根据java time 文档 java time应该能够以纳秒精度呈现 LocalDateTime 或 LocalTime 但是当我运行时LocalDateTime now 打印出来 只显示3位数字 而不是9位 像这样 2016 08 11
  • 怎么去掉这些点啊!

    我正在 VS2008 的一个项目上编码 我试图按 CTR R E 将字段封装为属性 resharper 的功能 但我摸索着 现在我到处都是点 我有空格 我不知道如何摆脱它 例如 using System Namespace EgNamesp
  • C++ 从 hBitmap 获取 RGB

    使用位图对我来说是非常陌生的 所以我一直在努力阅读我读过的在线教程和策略 基本上我的目标是扫描屏幕以获取特定的 RGB 值 我相信执行此操作的步骤是在 hBitmap 中捕获屏幕 然后从中生成一个我可以扫描的 RGB 值数组 我最初从 Ge
  • 空基类优化

    引用 C 标准第 1 8 节中的两句话 对象是一个存储区域 基类子对象的大小可能为零 我不认为存储区域的大小可以为零 这意味着某些基类子对象实际上并不是对象 这些说法如何共存 对于 区域 的定义进行哲学争论是没有必要的 1 8 5 说 除非
  • 使一个条形的边框比其他条形更暗

    我在 ggplot2 中创建了一个条形图 其中 3 个条代表做出 3 个选择中的 1 个的概率 我想添加一个bolded显示正确响应的条形周围的边框 我还没有找到办法做到这一点 我可以改变所有条形的颜色 但不仅仅是一个 所附图像显示了我生成
  • 为什么 Spark Cassandra 连接器会失败并出现 NoHostAvailableException?

    我在让 Spark Cassandra Connector 在 Scala 中工作时遇到问题 我正在使用这些版本 斯卡拉2 10 4 火花核心 1 0 2 cassandra thrift 2 1 0 我安装的cassandra是v2 1