我正在使用 elementtree.ElementTree.iterparse 来解析一个大的 (371 MB) xml 文件。
我的代码基本上是这样的：
outf = open('out.txt', 'w')
context = iterparse('copyright.xml')
context = iter(context)
dummy, root = context.next()
for event, elem in context:
if elem.tag == 'foo':
author = elem.text
elif elem.tag == 'bar':
if elem.text is not None and 'bat' in elem.text.lower():
outf.write(elem.text + '\n')
elem.clear() #line A
root.clear() #line B
我的问题有两个：
首先 - 我是否需要 A 和 B（请参阅代码片段注释）？有人告诉我 root.clear() 会清除不必要的子项，因此内存不会被吞噬，但这是我的观察结果：使用 B 而不是 A 与不使用两者在内存消耗方面是相同的（用任务管理器绘制）。仅使用 A 似乎与同时使用 A 相同。
第二 - 为什么这仍然消耗这么多内存？程序运行时，接近尾声时会使用大约 100 MB 的 RAM。
我认为这与 outf 有关，但为什么呢？不就是写入磁盘吗？如果它在 outf 关闭之前存储该数据，我该如何避免这种情况？
其他信息：
我在 Windows 上使用 Python 2.7.3。
（发布的代码（第二行缩进）不应运行。）http://bugs.python.org/issue14762是一个类似的问题，答案是您应该清除每个元素（A 行）。如果不知道 outf 是什么（或创建它的代码），就很难回答第二个问题。如果它是一个 StringIO 对象，答案就很明显了。您可以查看跟踪器问题的第二条消息中链接的教程：
http://eli.thegreenplace.net/2012/03/15/processing-xml-in-python-with-elementtree/
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
