我需要在 python 中将文件从 latin1 转换为 utf-8 的最快方法。文件很大~2G。 (我正在移动数据库数据)。到目前为止我已经
import codecs
infile = codecs.open(tmpfile, 'r', encoding='latin1')
outfile = codecs.open(tmpfile1, 'w', encoding='utf-8')
for line in infile:
outfile.write(line)
infile.close()
outfile.close()
但仍然很慢。该转换需要整个迁移时间的四分之一。
如果 Linux 命令行实用程序比本机 Python 代码更快,我也可以使用它。
我会和iconv http://www.gnu.org/software/libiconv/documentation/libiconv/iconv.1.html和一个系统调用。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)