python文本分类器

㈠ 如何将文本分类成积极和消极的 python

导入文件很简单，如果路径是中文，需要注意，在Windows上需要用Unicode(path,'utf8')转换路径名称

文件中出现大量连续空格、换行符，所以使用正则匹配方法将之替换成一个空格

数字（这里暂且认为数字没有用处），中文英文标点符号，都没有用，过滤掉

也可以将他们写入停用词，然后全部一并过滤掉

用jieba分词，遇到空格也会作为一个单词，分完词后，将空格全部过滤掉

㈡ 最受欢迎的 15 大 Python 库有哪些

1、Pandas：是一个Python包，旨在通过“标记”和“关系”数据进行工作，简单直观。它设计用于快速简单的数据操作、聚合和可视化，是数据整理的完美工具。
2、Numpy：是专门为Python中科学计算而设计的软件集合，它为Python中的n维数组和矩阵的操作提供了大量有用的功能。该库提供了NumPy数组类型的数学运算向量化，可以改善性能，从而加快执行速度。
3、SciPy：是一个工程和科学软件库，包含线性代数，优化，集成和统计的模块。SciPy库的主要功能是建立在NumPy上，通过其特定子模块提供有效的数值例程，并作为数字积分、优化和其他例程。
4、Matplotlib：为轻松生成简单而强大的可视化而量身定制，它使Python成为像MatLab或Mathematica这样的科学工具的竞争对手。
5、Seaborn：主要关注统计模型的可视化(包括热图)，Seaborn高度依赖于Matplotlib。
6、Bokeh：独立于Matplotlib，主要焦点是交互性，它通过现代浏览器以数据驱动文档的风格呈现。
7、Plotly：是一个基于Web用于构建可视化的工具箱，提供API给一些编程语言(Python在内)。
8、Scikits：是Scikits
Stack额外的软件包，专为像图像处理和机器学习辅助等特定功能而设计。它建立在SciPy之上，中集成了有质量的代码和良好的文档、简单易用并且十分高效，是使用Python进行机器学习的实际行业标准。
9、Theano：是一个Python软件包，它定义了与NumPy类似的多维数组，以及数学运算和表达式。此库是被编译的，可实现在所有架构上的高效运行。
10、TensorFlow：是数据流图计算的开源库，旨在满足谷歌对训练神经网络的高需求，并且是基于神经网络的机器学习系统DistBelief的继任者，可以在大型数据集上快速训练神经网络。
11、Keras：是一个用Python编写的开源的库，用于在高层的接口上构建神经网络。它简单易懂，具有高级可扩展性。
12、NLTK：主要用于符号学和统计学自然语言处理(NLP) 的常见任务，旨在促进NLP及相关领域(语言学，认知科学人工智能等)的教学和研究。
13、Gensim：是一个用于Python的开源库，为有向量空间模型和主题模型的工作提供了使用工具。这个库是为了高效处理大量文本而设计，不仅可以进行内存处理，还可以通过广泛使用NumPy数据结构和SciPy操作来获得更高的效率。

㈢ 用python找文献，并从文本中分析情绪，做一个数据分析

到你的系统“终端”(macOS, Linux)或者“命令提示符”(Windows)下，进入我们的工作目录demo，执行以下命令。
pip install snownlppip install -U textblobpython -m textblob.download_corpora

好了，至此你的情感分析运行环境已经配置完毕。
在终端或者命令提示符下键入：
jupyter notebook

你会看到目录里之前的那些文件，忽略他们就好。

㈣ 中文短句相似度匹配方法

一、原始落后的VSM
网上搜索关键词“短文本 相似度”，出来的结果基本上都是以BOW（Bag of words）的VSM方案，大致流程如下：

分词 —> 提取关键词 —> 计算tf或if-idf，以向量的形式替换原文本 —> 文本相似度的问题转变为计算向量相似度
一开始这样的一个思路，很清晰明了，而且网上相应的资料也很多，然后就开搞吧。

1、把所有短文本去掉标点符号，用jieba分词分好词，去除停用词，得到分好的文本；

2、按一定规则抽取特征词汇，作为后期向量的每一维；

3、用sklearn库中的原生方法CountVectorizer、TfidfVectorizer等得到矩阵；

4、每个短文本计算对应得到的向量，采用K-Means聚类的方法进行非监督学习。

文本分类的大致思路基本上就如上所述，具体的细节调整就视实际情况而定。然而，想法是美好的，现实是残酷的，全部分好词的文本，抽取的特征词较多，即向量的维度较大，且向量是稀疏的，在使用K-Means时，会出现有个别cluster下的文本数量特别大；

㈤ Python文本处理工具都有哪些

1、 NLTK — Natural Language Toolkit

搞自然语言处理的同学应该没有人不知道NLTK吧，这儿也就不多说了。不过引荐两本书籍给刚刚触摸NLTK或许需求具体了解NLTK的同学: 一个是官方的《Natural Language Processing with Python》，以介绍NLTK里的功用用法为主，一起附带一些Python常识，一起国内陈涛同学友情翻译了一个中文版，这儿可以看到：引荐《用Python进行自然语言处理》中文翻译-NLTK配套书;另外一本是《Python Text Processing with NLTK 2.0 Cookbook》，这本书要深入一些，会涉及到NLTK的代码结构，一起会介绍怎么定制自己的语料和模型等，相当不错。

2、 Pattern

Pattern由比利时安特卫普大学CLiPS实验室出品，客观的说，Pattern不仅仅是一套文本处理东西，它更是一套web数据挖掘东西，囊括了数据抓取模块(包含Google, Twitter, 维基网络的API，以及爬虫和HTML剖析器)，文本处理模块(词性标示，情感剖析等)，机器学习模块(VSM, 聚类，SVM)以及可视化模块等，可以说，Pattern的这一整套逻辑也是这篇文章的组织逻辑，不过这儿我们暂时把Pattern放到文本处理部分。我个人首要使用的是它的英文处理模块Pattern.en, 有许多很不错的文本处理功用，包含基础的tokenize, 词性标示，语句切分，语法检查，拼写纠错，情感剖析，句法剖析等，相当不错。

3、 TextBlob: Simplified Text Processing

TextBlob是一个很有意思的Python文本处理东西包，它其实是根据上面两个Python东西包NLKT和Pattern做了封装(TextBlob stands on the giant shoulders of NLTK and pattern, and plays nicely with both)，一起供给了许多文本处理功用的接口，包含词性标示，名词短语提取，情感剖析，文本分类，拼写检查等，甚至包含翻译和语言检测，不过这个是根据Google的API的，有调用次数约束。

4、 MBSP for Python

MBSP与Pattern同源，同出自比利时安特卫普大学CLiPS实验室，供给了Word Tokenization, 语句切分，词性标示，Chunking, Lemmatization，句法剖析等根本的文本处理功用，感兴趣的同学可以重视。

关于 Python文本处理工具都有哪些，环球青藤小编就和大家分享到这里了，学习是永无止境的，学习一项技能更是受益终身，所以，只要肯努力学，什么时候开始都不晚。如果您还想继续了解关于python编程的学习方法及素材等内容，可以点击本站其他文章学习。