如何从 Mysql 数据库获取数据到 Snowflake

2024-02-05

有什么聪明的方法可以将我的数据从 mysql 数据库导入到雪花中吗? 到目前为止我发现了两种可能的方法:

选项 1:将 Snowpipe 放在 mysql 数据库之上,管道会自动转换数据。 选项 2:我手动将表转换为 csv 并将其存储在本地,然后通过暂存将其加载到雪花中。

对我来说,首先将每个表转换为 csv 似乎很奇怪。我不能只将 sql 转储文件推送到雪花吗?我还可以在雪花中安排一些重新加载任务,以便自动触发选项 1 或选项 2 吗?

最好的 镍铍C24


我在这里找到了一些关于 MySQL-Snowflake-migrations 的非常好的信息:https://hevodata.com/blog/mysql-to-snowflake-data-migration-steps/ https://hevodata.com/blog/mysql-to-snowflake-data-migration-steps/

上面网页的主要步骤是:

  1. 从 MySQL 导出数据
  2. 注意数据类型
  3. 将您的文件暂存到 Snowflake 中(内部/外部阶段)
  4. 将暂存文件复制到表中

如果 SQL 转储只是 ANSI 中的“.sql 文件”,是的,当然,您可以将其复制并粘贴到 Snowflake 工作表中并在那里执行。

关于调度:是的,在 Snowflake 中有一个称为任务的功能:https://docs.snowflake.com/en/user-guide/tasks-intro.html https://docs.snowflake.com/en/user-guide/tasks-intro.html您可以使用它们来安排您的 COPY INTO 命令。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何从 Mysql 数据库获取数据到 Snowflake 的相关文章

随机推荐