以下问题基于此接受的答案question https://stackoverflow.com/questions/22748303/get-all-names-from-xml-conduit。已接受答案的作者表示,流式处理助手 APIxml-conduit
多年未更新(来源:SO问题的接受答案 https://stackoverflow.com/questions/21367423/streaming-xml-conduit-parse-results),他推荐Cursor
界面。
基于第一个问题的解决方案,我编写了以下 haskell 代码,该代码使用Cursor
的接口xml-conduit
包裹。
import Text.XML as XML (readFile, def)
import Text.XML.Cursor (Cursor, ($/), (&/), ($//), (>=>),
fromDocument, element, content)
import Data.Monoid (mconcat)
import Filesystem.Path (FilePath)
import Filesystem.Path.CurrentOS (fromText)
data Page = Page
{ title :: Text
} deriving (Show)
parse :: FilePath -> IO ()
parse path = do
doc <- XML.readFile def path
let cursor = fromDocument doc
let pages = cursor $// element "page" >=> parseTitle
writeFile "output.txt" ""
mapM_ ((appendFile "output.txt") . (\x -> x ++ "\n") . show) pages
parseTitle :: Cursor -> [Page]
parseTitle c = do
let titleText = c $/ element "title" &/ content
[Page (mconcat titleText)]
main :: IO ()
main = parse (fromText "input.xml")
此代码适用于小型 XML 文件。但是,当代码在 30G XML 文件上运行时,执行会被操作系统终止。
如何使该代码在非常大的 XML 文件上运行?
The Cursor
模块要求整个内容都在内存中,这在这种情况下似乎是不可能的。如果要处理那么大的文件,则需要使用流接口。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)