我在（本地）网络上的 MySQL 数据库中有 500 万行（连接速度非常快，而不是在互联网上）。
与数据库的连接工作正常，但如果我尝试这样做
f = pd.read_sql_query('SELECT * FROM mytable', engine, index_col = 'ID')
这需要一个really很久。甚至分块chunksize会很慢。此外，我真的不知道它只是挂在那里还是确实在检索信息。
我想问，对于那些在数据库上处理大数据的人来说，他们如何检索 Pandas 会话的数据？
例如，运行查询、返回包含结果的 csv 文件并加载会更“智能”吗？that变成熊猫？听起来比实际需要的要复杂得多。
最佳装载方式all从任何 SQL 数据库的表到 pandas 的数据是：
- 使用以下命令将数据从数据库中转储出来COPY http://www.postgresql.org/docs/9.1/static/sql-copy.html对于 PostgreSQL，选择到概要文件中 https://dev.mysql.com/doc/refman/5.1/en/select-into.html对于 MySQL 或类似的其他方言。
- 使用 pandas 读取 csv 文件the pandas.read_csv功能 http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html
连接器仅用于读取几行。 SQL 数据库的强大之处在于它能够基于索引提供小块数据。
交付整个表是您对转储所做的事情。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
