如何使用 Hive 查询结构体数组（get_json_object）？

我将以下 JSON 对象存储在 Hive 表中：

{
  "main_id": "qwert",
  "features": [
    {
      "scope": "scope1",
      "name": "foo",
      "value": "ab12345",
      "age": 50,
      "somelist": ["abcde","fghij"]
    },
    {
      "scope": "scope2",
      "name": "bar",
      "value": "cd67890"
    },
    {
      "scope": "scope3",
      "name": "baz",
      "value": [
        "A",
        "B",
        "C"
      ]
    }
  ]
}

“features”是一个不同长度的数组，即所有对象都是可选的。这些对象具有任意元素，但它们都包含“范围”、“名称”和“值”。

这是我创建的 Hive 表：

CREATE TABLE tbl(
main_id STRING,features array<struct<scope:STRING,name:STRING,value:array<STRING>,age:INT,somelist:array<STRING>>>
)

我需要一个返回 main_id 和名为“baz”的结构值的 Hive 查询，即

main_id baz_value
qwert ["A","B","C"]

我的问题是 Hive UDF“获取json对象 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-get_json_object" 仅支持 JSONPath 的有限版本。它不支持类似的路径get_json_object(features, '$.features[?(@.name='baz')]').

如何用Hive查询想要的结果？使用另一个 Hive 表结构可能更容易吗？

我找到了一个解决方案：

Use the Hive 爆炸 UDTF https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-explode分解结构数组，即创建第二个（临时）表，其中数组“features”中的每个结构都有一条记录。

CREATE TABLE tbl_exploded as
select main_id, 
f.name as f_name,
f.value as f_value
from tbl
LATERAL VIEW explode(features) exploded_table as f
-- optionally filter here instead of in 2nd query:
-- where f.name = 'baz'; 

结果是：

qwert, foo, ab12345
qwert, bar, cd67890
qwert, baz, ["A","B","C"]

现在您可以像这样选择 main_id 和值：

select main_id, f_value from tbl_exploded where f_name = 'baz';