使用 Apache Pig 的数据透视表

我想知道是否可以在 Apache Pig 中一次性旋转一张表。

Input:

Id    Column1 Column2 Column3
1      Row11    Row12   Row13
2      Row21    Row22   Row23

Output:

Id    Name     Value
1     Column1  Row11
1     Column2  Row12
1     Column3  Row13
2     Column1  Row21
2     Column2  Row22
2     Column3  Row23

真实数据有几十列。

我可以使用 awk 一次性完成此操作，然后使用 Hadoop Streaming 运行它。但我的大部分代码都是 Apache Pig，所以我想知道是否可以在 Pig 中有效地完成它。

您可以通过两种方式做到这一点： 1. 编写一个返回一包元组的 UDF。这将是最灵活的解决方案，但需要 Java 代码； 2. 编写一个严格的脚本，如下所示：

inpt = load '/pig_fun/input/pivot.txt' as (Id, Column1, Column2, Column3);
bagged = foreach inpt generate Id, TOBAG(TOTUPLE('Column1', Column1), TOTUPLE('Column2', Column2), TOTUPLE('Column3', Column3)) as toPivot;
pivoted_1 = foreach bagged generate Id, FLATTEN(toPivot) as t_value;
pivoted = foreach pivoted_1 generate Id, FLATTEN(t_value);
dump pivoted;

运行这个脚本得到了以下结果：

(1,Column1,11)
(1,Column2,12)
(1,Column3,13)
(2,Column1,21)
(2,Column2,22)
(2,Column3,23)
(3,Column1,31)
(3,Column2,32)
(3,Column3,33)