Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
如何在cassandra中保存spark流数据
构建 sbt以下是build sbt文件中包含的内容 val sparkVersion 1 6 3 scalaVersion 2 10 5 resolvers Spark Packages Repo at https dl bintray
scala
apachespark
cassandra
SparkStreaming
sparkcassandraconnector
Spark Scala Cassandra 连接器删除所有行失败,并出现 IllegalArgumentException 要求失败异常
创建表 CREATE TABLE test word groups group text word text count int PRIMARY KEY group word 插入数据 INSERT INTO test word group
DataFrame
apachespark
cassandra
RDD
sparkcassandraconnector
将数据作为 RDD 保存回 Cassandra
我试图从 Kafka 读取消息 处理数据 然后将数据添加到 cassandra 中 就像它是 RDD 一样 我的麻烦是将数据保存回 cassandra 中 from future import print function from pys
python
apachespark
cassandra
PySpark
sparkcassandraconnector
如何从 Spark UI 检索输出大小和写入记录等指标?
如何在任务或作业完成后立即在控制台 Spark Shell 或 Spark 提交作业 上收集这些指标 我们使用 Spark 将数据从 Mysql 加载到 Cassandra 数据非常庞大 例如 200 GB 和 600M 行 当任务完成后
如何在 AWS Glue 中使用 Spark 包?
我想使用 DatastaxSpark Cassandra 连接器 https mvnrepository com artifact com datastax spark spark cassandra connector 2 12 2 5
scala.ScalaReflectionException:
不是一个术语
我在 Spark 中有以下代码 rdd map processFunction saveToCassandra keyspace tableName Where def processFunction src String Seq Any
scala
apachespark
cassandra
sparkcassandraconnector
Kafka 和 Spark 之间的 SSL
我们正在使用 Kafka Spark Streaming 并将数据加载到 Cassandra 需要在运行kafka的节点和运行spark的节点之间实现安全层 有关如何在 kafka 和 Spark 节点之间实施 SSL 的任何指导吗 谢谢
ApacheKafka
cassandra
sparkcassandraconnector
PySpark + Cassandra:获取分区键的不同值
我正在尝试获取 pyspark 中 cassandra 表的分区键的不同值 然而 pyspark似乎不理解我并完全迭代所有数据 很多 而不是查询索引 这是我使用的代码 对我来说看起来非常简单 from pyspark sql import
apachespark
cassandra
PySpark
sparkcassandraconnector
Spark Dataframe.cache() 更改源的行为
我的用例 从 cassandra 表创建数据框 通过过滤列并修改该列的值来创建输出数据框 将输出数据帧写入带有 TTL 设置的 cassandra 因此所有修改的记录会在短时间内 2 秒 后被删除 将输出数据帧返回给调用者 在一段时间后将其
将columnNames动态传递给cassandraTable().select()
我在运行时读取文件的查询并在 SPark Cassandra 环境中执行它 我正在执行 sparkContext cassandraTable keyspaceName colFamilyName select col1 col2 col3
scala
apachespark
cassandra
sparkcassandraconnector
Cassandra/Spark 显示大表的条目计数不正确
我正在尝试使用 Spark 处理大型 cassandra 表 约 4 02 亿条目和 84 列 但得到的结果不一致 最初的要求是将一些列从该表复制到另一个表 复制数据后 我注意到新表中的一些条目丢失了 为了验证我是否对大型源表进行了计数 但
apachespark
cassandra
PySpark
sparkcassandraconnector
Spark Cassandra 连接器使用 IN 子句进行过滤
我在 java 的 Spark cassandra 连接器过滤方面面临一些问题 Cassandra 允许使用 IN 子句按分区键的最后一列进行过滤 例如 create table cf text a varchar b varchar c
Java
cassandra
apachespark
cql
sparkcassandraconnector
Spark-cassandra-connector 如何确定在 Cassandra 上查询的范围?
我有一个三节点 Cassandra 集群 每个节点上都运行 Spark 执行程序 据我所知 要扫描 Cassandra 数据库 SCC Spark Cassandra Connector 使用范围查询将标记放入 where 子句中 在不同节
apachespark
cassandra
sparkcassandraconnector
Spark 将每个操作执行两次
我创建了一个简单的 Java 应用程序 它使用 Apache Spark 从 Cassandra 检索数据 对其进行一些转换并将其保存在另一个 Cassandra 表中 我正在使用 Apache Spark 1 4 1 它配置为独立集群模式
Java
apachespark
cassandra
sparkcassandraconnector
仅从某些 Cassandra 分区检索数据时,Spark (Scala) 中的 DataFrames 是否有 joinWithCassandraTable 的替代方案?
当使用 RDD 从大型 C 表中提取少量分区时 我们可以使用 val rdd rdd including partition data val data rdd repartitionByCassandraReplica keyspace
scala
apachespark
cassandra
sparkcassandraconnector
Spark-将 JavaRDD 保存到 Cassandra
This link http www datastax com dev blog accessing cassandra from spark in java显示了一种保存方法JavaRDD to Cassandra这样 import st
Java
apachespark
cassandra
RDD
sparkcassandraconnector
Apache Spark SQL 需要很长时间才能计算 Cassandra 中的十亿行吗?
我有以下代码 我按如下方式调用 Spark Shell spark shell conf spark cassandra connection host 170 99 99 134 executor memory 15G executor
apachespark
apachesparksql
cassandra
sparkcassandraconnector
Spark-Cassandra:repartitionByCassandraReplica 或将数据集转换为 JavaRDD 并返回不维护分区数量?
因此 我有一个 16 节点集群 其中每个节点都安装了 Spark 和 Cassandra 复制因子为 3 spark sql shuffle partitions 为 96 我正在使用 Spark Cassandra Connector 3
apachespark
cassandra
sparkcassandraconnector
来自 Kafka 主题的 PySpark 结构化流的 Cassandra 接收器
我想使用 PySpark 结构化流 API 将结构流数据写入 Cassandra 我的数据流如下 REST API gt Kafka gt Spark 结构化流 PySpark gt Cassandra 来源和版本如下 火花版本 2 4 3
apachespark
PySpark
ApacheKafka
cassandra
sparkcassandraconnector
如何在spark 2.0中使用Cassandra Context
在 Spark 的早期版本 如 1 6 1 中 我使用 Spark Context 创建 Cassandra Context import org apache spark Logging SparkContext SparkConf co
apachespark
cassandra
apachesparksql
sparkcassandraconnector
1
2
»