在 PIG 中加载文件时如何忽略“（双引号）？

我的文件中有以下数据

"a","b","1","2"
"a","b","4","3"
"a","b","3","1"

我正在使用以下命令读取此文件

File1 = LOAD '/path' using PigStorage (',') as (f1:chararray,f2:chararray,f3:int,f4:int)

但这里忽略了字段3和4的数据

如何正确读取该文件或任何使 PIG 跳过的方法'"'

其他信息我正在使用 Apache Pig 版本 0.10.0

您可以使用REPLACE http://pig.apache.org/docs/r0.10.0/func.html#replace函数（不过它不会一次性完成）：

file1 = load 'your.csv' using PigStorage(',');
data = foreach file1 generate $0 as (f1:chararray), $1 as (f2:chararray), REPLACE($2, '\\"', '') as (f3:int), REPLACE($3, '\\"', '') as (f4:int);

您还可以使用正则表达式REGEX_EXTRACT http://pig.apache.org/docs/r0.10.0/func.html#regex-extract :

file1 = load 'your.csv' using PigStorage(',');
data = foreach file1 generate $0, $1, REGEX_EXTRACT($2, '([0-9]+)', 1), REGEX_EXTRACT($3, '([0-9]+)', 1);

当然，你可以删除"对于 f1 和 f2 以同样的方式。