读取带有转义字符的 csv

我有一个 csv 文件，其中包含一些文本。我想对这段文本进行标记（拆分为单词列表），但我遇到了如何处理的问题pd.read_csv解释转义字符。

我的 csv 文件如下所示：

text, number
one line\nother line, 12

代码如下：

df = pd.read_csv('test.csv')
word_tokenize(df.iloc[0,0])

输出是：

['one', 'line\\nother', 'line']

而我想要的是：

['one', 'line', 'other', 'line']

问题是pd.read_csv()不解释\n作为换行符但作为两个字符 (\ and n).

我尝试过设置escapechar论证'\' and to '\\'但两者都只是从字符串中删除斜杠，而不对换行符进行任何解释，即字符串变成on one linenon other line.

如果我明确设置df.iloc[0,0] = 'one line\nother line', word_tokenize工作得很好，因为\n这次实际上被解释为换行符。

理想情况下，我会简单地改变方式来做到这一点pd.read_csv()解释该文件，但其他解决方案也可以。

这个问题的措辞有点不好。我猜pandas逃离\字符串中很混乱nltk.word_tokenize. pandas.read_csv只能使用一个分隔符（或正则表达式，但我怀疑你想要这样），所以它总是将文本列读取为"one line\nother line"，并转义反斜杠以保留它。如果你想进一步解析和格式化它，你可以使用转换器。这是一个例子：

import pandas as pd
import re

df = pd.read_csv(
         "file.csv", converters={"text":lambda s: re.split("\\\\n| ", s)}
)

以上结果为：

                       text   number
0  [one, line, other, line]       12

Edit:如果您需要使用nltk要进行拆分（假设拆分取决于语言模型），您需要在传递到之前对字符串进行转义word_tokenize;尝试这样的事情：

lambda s: word_tokenize(s.encode('utf-8').decode('unicode_escape')

Note:查询中的匹配列表非常棘手，因此您可能需要通过更改 lambda 将它们转换为元组，如下所示：

lambda s: tuple(re.split("\\\\n| ", s))