这是关于我从 Apache Spark 查询 Cassandra 时遇到的问题。
Spark 的正常查询工作正常,没有任何问题,但是当我使用关键条件进行查询时,出现以下错误。
最初,我尝试查询复合键列族,它也给出了与下面相同的问题。
“由以下原因引起:InvalidRequestException(为什么:empid 如果包含 Equal,则不能被多个关系限制)”
列族:
CREATE TABLE emp (
empID int,
deptID int,
first_name varchar,
last_name varchar,
PRIMARY KEY (empID));
列族内容:
empID, deptID, first_name, last_name
104, 15, 'jane', 'smith'
SCALA 代码示例:
val job=new Job()
job.setInputFormatClass(classOf[CqlPagingInputFormat])
val host: String = "localhost"
val port: String = "9160"
ConfigHelper.setInputInitialAddress(job.getConfiguration(), host)
ConfigHelper.setInputRpcPort(job.getConfiguration(), port)
ConfigHelper.setInputColumnFamily(job.getConfiguration(), "demodb", "emp")
ConfigHelper.setInputPartitioner(job.getConfiguration(), "Murmur3Partitioner")
CqlConfigHelper.setInputColumns(job.getConfiguration(), "empid,deptid,first_name,last_name")
//CqlConfigHelper.setInputCQLPageRowSize(job.getConfiguration(), limit.toString)
CqlConfigHelper.setInputWhereClauses(job.getConfiguration(),"empid='104'")
// Make a new Hadoop RDD
val casRdd = sc.newAPIHadoopRDD(job.getConfiguration(),
classOf[CqlPagingInputFormat],
classOf[Map[String, ByteBuffer]],
classOf[Map[String, ByteBuffer]])
我恳请您告诉我是否有针对这种情况的解决方法,因为过去几天我一直在努力克服这个问题。
Thanks