python:正向最大匹配法分词（以藏文为例）

​ 前段时间研究了如何用分词工具进行分词，但是分词中涉及的一些算法，不太了解，所以，准备这段时间专攻分词算法原理，大家有补充，或者建议，欢迎留言。

1. 最大匹配法(Maximum Matching)

​ 最大匹配法是指以词典为依据，取词典中最长词长度作为第一次取字数量的长度，在词典中进行扫描。例如：词典中最长词为“中华人民共和国”共7个汉字，则最大匹配起始字数为7个汉字。然后逐字递减，在对应的词典中进行查找。

​ 最大匹配法主要包括正向最大匹配法（FMM，Forward Maximum Matching）、反向最大匹配法（BMM, Backward Maximum Matching）和双向最大匹配法，均是基于词典的。

缺点：

需要给定词典，如果词典中记录不全，比如新词没在字典中，可能就识别不出来；
矛盾之处：词典中的词少的话，会影响准确率，词典中词多的话，会影响运行效率；
优化：

​ 为提升扫描效率，还可以跟据字数多少设计多个字典，然后根据字数分别从不同字典中进行扫描。
1.1 正向最大匹配法
​ 正向即从左往右取词，取词最大长度为词典中长词的长度，每次右边减一个字，直到词典中存在或剩下1个单字。
比如：ཁྱོད་སློབ་མ་སློབ་ཁང་ནང་དུ་སློབ་ཁྲིད་བྱས།

import copy
tibetdict = {'སློབ་མ', 'སློབ་ཁང', 'ནང་དུ', 'སློབ་ཁྲིད'}
s = 'ཁྱོད་སློབ་མ་སློབ་ཁང་ནང་དུ་སློབ་ཁྲིད་བྱས'


# print(s[:len(s)-1])
def TibetSplit(tibet):
    # print(tibet)
    temp = ''
    result = ''
    # return
    while len(tibet) > 0:
        tibet = tibet.strip('་')
        temp = copy.deepcopy(tibet)
        # print(tibet)

        while len(temp) > 0:
            if temp in tibetdict:
                result += temp + '/'
                tibet = tibet[len(temp):]
                # print(tibet,123)
                temp = ''
            else:

                if '་' not in temp:
                    result += temp + '/'
                    tibet = tibet[len(temp):]
                    temp = ''
                else:
                    temp = temp[:len(temp) - 1]
    print(result)
TibetSplit(s)