我们可以不使用Python的Snowflake内部阶段直接将数据写入雪花表吗???
先在stage中写入,然后对其进行转换,然后将其加载到表中,这似乎是辅助任务。是否可以像RDBMS中的JDBC连接一样一步完成?
将数据加载到 Snowflake 的绝对最快方法是从内部或外部阶段的文件。时期。所有连接器都能够使用标准插入命令插入数据,但这效果不佳。也就是说,许多 Snowflake 驱动程序现在透明地使用 PUT/COPY 命令通过内部阶段将大数据加载到 Snowflake。如果这就是您所追求的,那么您可以利用 pandaswrite_pandas
命令用于通过单个命令将数据从 pandas 数据帧加载到 Snowflake。在幕后,它将为您执行 PUT 和 COPY INTO。
https://docs.snowflake.com/en/user-guide/python-connector-api.html#label-python-connector-api-write-pandas https://docs.snowflake.com/en/user-guide/python-connector-api.html#label-python-connector-api-write-pandas
我强烈推荐在任何驱动程序中使用此模式而不是 INSERT 命令。我还建议在加载到 Snowflake 之后而不是之前完成转换。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)