使用 pandas dataframe 的内存泄漏

2023-12-21

我在用pandas.DataFrame在多线程代码中(实际上是DataFrame called Sound)。我注意到我有内存泄漏,因为我的程序的内存使用量逐渐增加超过 1000 万,最终达到计算机内存的 100% 并崩溃。

I used objgraph http://mg.pov.lt/objgraph/尝试跟踪此泄漏,并发现实例数MyDataFrame一直在上升,而它不应该上升:其中的每个线程run方法创建一个实例,进行一些计算,将结果保存在文件中并退出......因此不应保留任何引用。

Using objgraph我发现内存中的所有数据帧都有类似的参考图:

我不知道这是否正常......看起来这就是将我的对象保留在内存中的原因。有什么想法、建议、见解吗?


确认索引基础设施中存在某种内存泄漏。它是not由上述参考图引起。让我们将讨论移至 GitHub(SO 用于问答):

https://github.com/pydata/pandas/issues/2659 https://github.com/pydata/pandas/issues/2659

编辑:这实际上看起来根本不是内存泄漏,但可能与操作系统内存分配问题有关。请查看 github 问题以获取更多信息

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 pandas dataframe 的内存泄漏 的相关文章

随机推荐