如何配置 AWS Athena 结果的文件格式

2024-01-09

目前,Athena 查询结果在 S3 中为 tsv 格式。有没有办法配置 Athena 查询以返回 Parquet 格式的结果。


Answer

目前无法直接与 Athena 进行此操作。在配置 Athena 查询结果时,您只能设置查询结果位置和加密配置。

解决方法

1) 从10月份开始Athena支持CTAS查询,您可以尝试使用该功能。

https://docs.aws.amazon.com/athena/latest/ug/ctas.html https://docs.aws.amazon.com/athena/latest/ug/ctas.html

https://docs.aws.amazon.com/athena/latest/ug/ctas-examples.html https://docs.aws.amazon.com/athena/latest/ug/ctas-examples.html

我认为示例 4 或 5 可能会让您感兴趣。

2)您可以创建Python脚本并使用Boto3框架。这是示例,您可以根据您的要求调整此脚本并将保存查询结果添加为 parquet 格式。

https://gist.github.com/schledererj/b2e2a800998d61af2bbdd1cd50e08b76 https://gist.github.com/schledererj/b2e2a800998d61af2bbdd1cd50e08b76

3) 如果您想转换数据,您应该使用 AWS EMR 或 AWS Glue 等服务。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何配置 AWS Athena 结果的文件格式 的相关文章

随机推荐