从 csv 文件复制 cassandra 表

我正在我的 Mac（带有 Oracle jdk1.7.0_55 的 Mac OS X Yosemite）上为 Cassandra、Apache Spark 和 Flume 设置演示环境。该景观应作为新分析平台的概念证明，因此我需要在我的 cassandra 数据库中提供一些测试数据。我正在使用卡桑德拉2.0.8。

我在 Excel 中创建了一些演示数据并将其导出为 CSV 文件。结构是这样的：

ProcessUUID;ProcessID;ProcessNumber;ProcessName;ProcessStartTime;ProcessStartTimeUUID;ProcessEndTime;ProcessEndTimeUUID;ProcessStatus;Orderer;VorgangsNummer;VehicleID;FIN;Reference;ReferenceType
0F0D1498-D149-4FCC-87C9-F12783FDF769;AbmeldungKl‰rfall;1;Abmeldung Kl‰rfall;2011-02-03 04:05+0000;;2011-02-17 04:05+0000;;Finished;SIXT;4278;A-XA 1;WAU2345CX67890876;KLA-BR4278;internal

然后，我使用以下命令在 cqlsh 中创建了一个键空间和一个列族：

CREATE KEYSPACE dadcargate 
WITH REPLICATAION  = { 'class' : 'SimpleStrategy', 'replication_factor' : '1' };

use dadcargate;

CREATE COLUMNFAMILY Process (
  ProcessUUID uuid, ProcessID varchar, ProcessNumber bigint, ProcessName varchar, 
  ProcessStartTime timestamp, ProcessStartTimeUUID timeuuid, ProcessEndTime timestamp, 
  ProcessEndTimeUUID timeuuid, ProcessStatus varchar, Orderer varchar,
  VorgangsNummer varchar, VehicleID varchar, FIN varchar, Reference varchar,
  ReferenceType varchar, 
PRIMARY KEY (ProcessUUID))
WITH COMMENT='A process is like a bracket around multiple process steps';

列族名称和其中的所有列都是用全小写创建的 - 有一天也必须对此进行调查，但目前并不那么相关。

现在，我获取 CSV 文件，其中包含大约 1600 个条目，并希望将其导入到名为process像这样：

cqlsh:dadcargate> COPY process (processuuid, processid, processnumber, processname, 
processstarttime, processendtime, processstatus, orderer, vorgangsnummer, vehicleid,
fin, reference, referencetype) 
FROM 'Process_BulkData.csv' WITH DELIMITER = ';' AND HEADER = TRUE;

它给出以下错误：

Record #0 (line 1) has the wrong number of fields (15 instead of 13).
0 rows imported in 0.050 seconds.

这基本上是正确的，因为我的 cvs-export 中没有 timeUUID 字段。

如果我在没有像这样的显式列名的情况下尝试 COPY 命令（事实上，我实际上确实错过了两个字段）：

cqlsh:dadcargate> COPY process from 'Process_BulkData.csv' 
WITH DELIMITER = ';' AND HEADER = TRUE;

我最终遇到了另一个错误：

Bad Request: Input length = 1
Aborting import at record #0 (line 1). Previously-inserted values still present.
0 rows imported in 0.009 seconds.

嗯。有点奇怪，但还好。也许 COPY 命令不喜欢缺少两个字段的事实。我仍然认为这很奇怪，因为缺失的字段当然存在（从结构的角度来看），但只是空的。

我还有另一个镜头：我删除了 excel 中丢失的列，再次将文件导出为 cvs 并尝试在我的 csv 中导入没有标题行但明确的列名称，如下所示：

cqlsh:dadcargate> COPY process (processuuid, processid, processnumber, processname, 
processstarttime, processendtime, processstatus, orderer, vorgangsnummer, vehicleid, 
fin, reference, referencetype) 
FROM 'Process_BulkData-2.csv' WITH DELIMITER = ';' AND HEADER = TRUE;

我收到此错误：

Bad Request: Input length = 1
Aborting import at record #0 (line 1). Previously-inserted values still present.
0 rows imported in 0.034 seconds.

谁能告诉我我在这里做错了什么？根据复制命令的文档 http://www.datastax.com/documentation/cql/3.0/cql/cql_reference/copy_r.html，我设置命令的方式，应该至少适用于其中两个。或者说我是这么认为的。

但是不，我显然在这里遗漏了一些重要的东西。

cqlsh's COPY命令可能很敏感。然而，在COPY文档 http://www.datastax.com/documentation/cql/3.1/cql/cql_reference/copy_r.html是这一行：

CSV 输入中的列数与 Cassandra 表元数据中的列数相同。

记住这一点，我确实设法让您的数据通过COPY FROM，通过命名空字段（processstarttimeuuid and processendtimeuuid， 分别）：

aploetz@cqlsh:stackoverflow> COPY process (processuuid, processid, processnumber, 
processname, processstarttime, processstarttimeuuid, processendtime, 
processendtimeuuid, processstatus, orderer, vorgangsnummer, vehicleid, fin, reference, 
referencetype) FROM 'Process_BulkData.csv' WITH DELIMITER = ';' AND HEADER = TRUE;

1 rows imported in 0.018 seconds.
aploetz@cqlsh:stackoverflow> SELECT * FROM process ;

 processuuid                          | fin               | orderer | processendtime            | processendtimeuuid | processid         | processname        | processnumber | processstarttime          | processstarttimeuuid | processstatus | reference  | referencetype | vehicleid | vorgangsnummer
--------------------------------------+-------------------+---------+---------------------------+--------------------+-------------------+--------------------+---------------+---------------------------+----------------------+---------------+------------+---------------+-----------+----------------
 0f0d1498-d149-4fcc-87c9-f12783fdf769 | WAU2345CX67890876 |    SIXT | 2011-02-16 22:05:00+-0600 |               null | AbmeldungKl‰rfall | Abmeldung Kl‰rfall |             1 | 2011-02-02 22:05:00+-0600 |                 null |      Finished | KLA-BR4278 |      internal |    A-XA 1 |           4278

(1 rows)