Python库之自然语言处理和文本挖掘

来源地址：

http://www.python88.com/topic/37015

https://mp.weixin.qq.com/s/sPAomFg-5JZigFUG_CtnaQ

自然语言处理和文本挖掘库主要用于以自然语言文本为对象的数据处理和建模。

1. nltk
类型：第三方库
描述：NLTK是一个Python自然语言处理工具，它用于对自然语言进行分类、解析和语义理解。目前已经有超过50种语料库和词汇资源
推荐度：★★★

2. pattern
类型：第三方库
描述：Pattern是一个网络数据挖掘Python工具包，提供了用于网络挖掘（如网络服务、网络爬虫等）、自然语言处理（如词性标注、情感分析等）、机器学习（如向量空间模型、分类模型等）、图形化的网络分析模型
推荐度：★★★

3. gensim
类型：第三方库
描述：Gensim是一个专业的主题模型（发掘文字中隐含主题的一种统计建模方法）Python工具包，用来提供可扩展统计语义、分析纯文本语义结构以及检索语义上相似的文档
推荐度：★★★

4. 结巴分词
类型：第三方库
描述：结巴分词是国内流行的Python文本处理工具包，分词模式分为三种模式：精确模式、全模式和搜索引擎模式，支持繁体分词、自定义词典等，是非常好的Python中文分词解决方案，可以实现分词、词典管理、关键字抽取、词性标注等
推荐度：★★★

5. SnowNLP
类型：第三方库
描述：SnowNLP是一个Python写的类库，可以方便的处理中文文本内容。该库是受到了TextBlob的启发而针对中文处理写的类库，和TextBlob不同的是这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典
推荐度：★★

6. smallseg
类型：第三方库
描述：Smallseg是一个开源的、基于DFA的轻量级的中文分词工具包。可自定义词典、切割后返回登录词列表和未登录词列表、有一定的新词识别能力
推荐度：★★

7. spaCy
类型：第三方库
描述：spaCy是一个Python自然语言处理工具包，它结合Python和Cython使得自然语言处理能力达到了工业强度
推荐度：★★★

8. TextBlob
类型：第三方库
描述：TextBlob 是一个处理文本数据的Python库，可用来做词性标注、情感分析、文本翻译、名词短语抽取、文本分类等
推荐度：★★

9. PyNLPI
类型：第三方库
描述：PyNLPI是一个适合各种自然语言处理任务的集合库，可用于中文文本分词、关键字分析等，尤其重要的是其支持中英文映射，支持UTF-8和GBK编码的字符串等
推荐度：★★★

10. synonyms
类型：第三方库
描述：中文近义词工具包，可用于自然语言理解的很多任务：文本对齐，推荐算法，相似度计算，语义偏移，关键字提取，概念提取，自动摘要，搜索引擎等。
推荐度：★★★