您好，我有一个场景，传入的消息是一个 Json，其标题为表名，数据部分包含表列数据。现在我想将其写入镶木地板到单独的文件夹/emp and /dept。我可以通过根据表名聚合行来在常规流式传输中实现此目的。但在结构化流媒体中我无法分割它。我怎样才能在结构化流媒体中实现这一点。
{"tableName":"employee","data":{"empid":1","empname":"john","dept":"CS"}
{"tableName":"employee","data":{"empid":2","empname":"james","dept":"CS"}
{“tableName”：“部门”，“数据”：{“部门”：“1”，“部门名称”：“CS”，“desc”：“计算机
科学部”}
我通过循环遍历预期表的列表和每个然后来完成这项工作
从数据帧中过滤记录并应用特定于表的模式和编码器，然后写入接收器。因此，读取仅发生一次，并且对于每个表 writeStream 将被调用并且其工作正常。感谢所有的帮助
这也负责基于表的 parquet 输出文件夹的动态分区。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
