我正在处理可能巨大的 XML 文件,其中包含来自我的项目的复杂跟踪信息。
我想为这些 XML 文件建立索引,以便可以快速找到 XML 文档的子部分,而不必将其全部加载到内存中。
如果我创建了一个“搁置”索引,其中可能包含诸如“作者 Joe 的书籍”之类的信息,其偏移量为 [22322, 35446, 54545],那么我可以像常规文本文件一样打开 xml 文件并查找这些偏移量,然后将其交给接受文件或字符串的 DOM 解析器之一。
我还没有弄清楚的部分是如何快速解析 XML 并创建这样的索引。
所以我需要一个快速的 SAX 解析器,它允许我找到文件中标签的起始偏移量以及起始事件。因此,我可以将 XML 的一小部分连同起始点一起解析到文档中,提取关键信息并将关键和偏移量存储在搁置索引中。
由于定位器返回行号和列号来代替偏移量,因此您需要一些换行来跟踪行尾——一个简化的示例(可能有一些offbyones;-)...:
import cStringIO
import re
from xml import sax
from xml.sax import handler
relinend = re.compile(r'\n')
txt = '''<foo>
<tit>Bar</tit>
<baz>whatever</baz>
</foo>'''
stm = cStringIO.StringIO(txt)
class LocatingWrapper(object):
def __init__(self, f):
self.f = f
self.linelocs = []
self.curoffs = 0
def read(self, *a):
data = self.f.read(*a)
linends = (m.start() for m in relinend.finditer(data))
self.linelocs.extend(x + self.curoffs for x in linends)
self.curoffs += len(data)
return data
def where(self, loc):
return self.linelocs[loc.getLineNumber() - 1] + loc.getColumnNumber()
locstm = LocatingWrapper(stm)
class Handler(handler.ContentHandler):
def setDocumentLocator(self, loc):
self.loc = loc
def startElement(self, name, attrs):
print '%s@%s:%s (%s)' % (name,
self.loc.getLineNumber(),
self.loc.getColumnNumber(),
locstm.where(self.loc))
sax.parse(locstm, Handler())
当然,您不需要保留所有的 linelocs - 为了节省内存,您可以删除“旧”的(在查询的最新行锁下方),但是您需要将 linelocs 设为字典,等等。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)