Porter Stemmer 算法未返回预期输出？当修改为def时

我正在使用PorterStemmer http://tartarus.org/martin/PorterStemmer/ Python 端口 http://tartarus.org/martin/PorterStemmer/python.txt

波特词干算法（或“波特词干分析器”）是一种从英语单词中删除常见形态和屈折词尾的过程。它的主要用途是作为术语标准化过程的一部分，通常在设置信息检索系统时完成。

对于以下..

您需要做的另一件事是将每个单词简化为其词干。例如，这些词sing, sings, singing都有相同的茎，即sing。有一种合理接受的方法可以做到这一点，称为波特法 算法。您可以从以下位置下载执行该操作的程序http://tartarus.org/martin/PorterStemmer/ http://tartarus.org/martin/PorterStemmer/.

而且我已经修改了代码..

if __name__ == '__main__':
    p = PorterStemmer()
    if len(sys.argv) > 1:
        for f in sys.argv[1:]:
            infile = open(f, 'r')
            while 1:
                output = ''
                word = ''
                line = infile.readline()
                if line == '':
                    break
                for c in line:
                    if c.isalpha():
                        word += c.lower()
                    else:
                        if word:
                            output += p.stem(word, 0,len(word)-1)
                            word = ''
                        output += c.lower()
                print output,
            infile.close()

读取input而不是来自预处理字符串的文件并返回输出。

def algorithm(input):
    p = PorterStemmer()
    while 1:
        output = ''
        word = ''
        if input == '':
            break
        for c in input:
            if c.isalpha():
                word += c.lower()
            else:
                if word:
                    output += p.stem(word, 0,len(word)-1)
                    word = ''
                output += c.lower()
        return output

请注意我是否定位我的return output到相同的缩进while 1:它变成了infinite loop.

用法（示例）

import PorterStemmer as ps
ps.algorithm("Michael is Singing");

Output

迈克尔是

预期输出

迈克尔正在唱歌

我究竟做错了什么？

所以看起来罪魁祸首是它当前没有将输入的最后部分写入output（例如，尝试“Michael is Singing stuff”——它应该正确地写下所有内容并省略“stuff”）。可能有一种更优雅的方法来处理这个问题，但是您可以尝试的一件事是添加一个else条款至for环形。由于问题是最终的词没有被包含在output， 我们可以用else确保在完成后添加最后一个词for loop:

def algorithm(input):
    print input
    p = PorterStemmer()
    while 1:
        output = ''
        word = ''
        if input == '':
            break
        for c in input:
            if c.isalpha():
                word += c.lower()
            elif word:
                output += p.stem(word, 0,len(word)-1)
                word = ''
                output += c.lower()
        else:
            output += p.stem(word, 0, len(word)-1)  
        print output
        return output

这已经通过两个测试用例进行了广泛的测试，因此显然它是无懈可击的:)可能有一些边缘案例在那里爬行，但希望它能帮助您开始。