将数据从 Postgres 流式传输到 Python

我正在寻找有关将数据从 Postgres 表增量传输到 Python 的有效方法的建议。我正在实现在线学习算法，我想将数据库表中的批量训练示例读取到内存中进行处理。关于最大化吞吐量的好方法有什么想法吗？感谢您的建议。

如果您使用 psycopg2，那么您将需要使用命名游标，否则它将尝试立即将整个查询数据读入内存。

cursor = conn.cursor("some_unique_name")
cursor.execute("SELECT aid FROM pgbench_accounts")
for record in cursor:
    something(record)

这将从服务器中批量获取 2000 条记录（默认值为itersize），然后将它们一次一个地分配到循环中。