在Python中分割句子

我正在尝试将句子分成单词。

words = content.lower().split()

这给了我这样的单词列表

'evening,', 'and', 'there', 'was', 'morning--the', 'first', 'day.'

并使用以下代码：

def clean_up_list(word_list):
    clean_word_list = []
    for word in word_list:
        symbols = "~!@#$%^&*()_+`{}|\"?><`-=\][';/.,']"
        for i in range(0, len(symbols)):
            word = word.replace(symbols[i], "")
        if len(word) > 0:
            clean_word_list.append(word)

我得到类似的东西：

'evening', 'and', 'there', 'was', 'morningthe', 'first', 'day'

如果您在列表中看到“morningthe”一词，它过去在单词之间有“--”。现在，有什么办法可以将它们分成两个词，例如"morning","the"??

我建议一个基于正则表达式的解决方案：

import re

def to_words(text):
    return re.findall(r'\w+', text)

这会查找所有单词 - 字母字符组，忽略符号、分隔符和空格。

>>> to_words("The morning-the evening")
['The', 'morning', 'the', 'evening']

请注意，如果您要循环单词，请使用re.finditer返回生成器对象可能更好，因为您不必一次存储整个单词列表。