python文本相似度

‘壹’ python难还是ruby难

一、异同对比选择

1、Python和ruby的相同点：

·都强调语法简单，都具有更一般的表达方式。python是缩进，ruby是类basic的表达。都大量减少了符号。

·都是动态数据类型。都是有丰富的数据结构。

·都具有C语言扩展能力，都具有可移植性，比perl的可移植性更好。也都可以作为嵌入语言。

·都是面向对象的语言，都可以作为大项目的开发工具。

·都有丰富的库支持。

·也有最宽松的版权许可，除了一些工具属于GNU世界。

·都有lisp特色的eval函数，也都能把函数作为参数。

·也有图形界面的ruby的专门编辑器。

·都获得了广泛的c库的支持。如qt、gtk、tk、SDL、FOX等，ruby计划实现SWIG接口。

·都有完善的文档。

相关推荐：《Python视频教程》

2、和python相比ruby的优点：

·具有正则表达式和嵌入html的功能。python也有正则表达式，但没有ruby的应用方便和广泛。python的嵌入html项目才刚起步。ruby还有apache的mod模块。ruby本身也实现和很多unix工具，如racc，doctools。比python更亲近linux。

·比python功能更完整的面向对象的语法。

·ruby的整个库都是具有类继承的结构。

·他的基本的数据类型和运算符都是可以重载的。

·ruby主要的功能都是通过对象的方法调用来实现的，而不是函数。python也在向这方面发展，但没有ruby做的彻底。

·ruby的类是更规范的单继承，还有接口等概念的实现。

·python可以实现在列表内的条件语句、循环语句，而ruby用“块”的方式来实现这个功能，比python的更灵活，更具有通用性。

·ruby具有类似lisp的彻底的函数方式的条件语句、循环语句等。语句的表达能力更强。

·附带一些unix工具，如racc等。

3、和python相比ruby的不足：

·最大的不足正是因为ruby的强大所引起的。它没有python的简单性好。比较复杂的面向对象语法、“块”语法的引入、正则表达式的引入、一些简写标记都增加了语言的复杂性。

·python的缩进表达方式比ruby的basic的表达方式更让人悦目，ruby程序的满眼的end让人不舒服。当然，ruby认为end的方式比python更先进。

·ruby还没有python的“自省”的能力，没有从程序文件中生成文档的能力。

·ruby没有国际化的支持。国际化支持在ruby的计划中。这是因为ruby的历史比python要短造成的。

·ruby没有类似jython的东西。

4、python和ruby的语言的选择：

从简单的就是好的来说，选python是没错的。python适合寻找简单语言的人，这很可能造成python更流行，因此也有更多的支持。但如果要追求更强大的语法功能，则ruby是好的选择。因为ruby和python的哲学有很多相似的地方，先从python入手，尽量用python，如果python的能力不足了，可以在找ruby。

ruby和python的比较，就像五笔和拼音输入法的比较。拼音作为入门的输入法和长久使用的输入法都没有问题。五笔适合更高要求的情况。如果追求性能的不妨学学ruby。对编程语言感兴趣，想了解各种编程概念的学ruby也会很兴奋。

二、两者各有特点：

1、Python从语法上来说更质朴一些，而Ruby更性感一些

Python的语法相对其他脚本语言来说，没有太多花巧的地方，显得比较死板一点，其实从Python强制代码缩进也可以看出来Guido设计语言的取向。语法死板的一面就是不容易玩出来更性感的东西，比方说Rails这样的框架，另外Python也无法做DSL这样的事情，但是语法死板的另一面就是比较规范，相对来说，更加适应软件开发的工程性要求，更容易组织大规模的团队进行开发。

Ruby的语法非常灵活，Matz设计ruby的出发点也是为了coding for fun，因此可以用ruby玩出来很多花样，运用足够的技巧，可以用Ruby写出来逼近自然语言的DSL，对于程序员来说，玩ruby确实充满了乐趣。Rails能在ruby社区诞生，而不是Python社区诞生绝对和编程语言有直接的关系。不过ruby语法灵活的另一面就是编程实现风格的多样性，这对于大规模团队的协作和管理是一个挑战。

2、Python的解析器实现更成熟，第三方库质量高

Ruby1.9解析器尽管已经有了很大的性能提升和很多新的功能，但是从源代码实现的角度来说，基本上是通过在Ruby1.8源代码上打patch来增加功能的。从源代码的结构来说，Ruby的实现太古老了，Ruby扩展起来比较困难，只能不断打patch。这也是为什么现在Ruby社区涌现出来那么多新的Ruby解析器实现的原因。从很大程度上来说，这制约了Ruby的发展速度。相对而言，Python解析器更成熟，也比较稳定。

在第三方类库的数量上来说，Ruby并不比Python少，但是高性能高质量久经考验的第三方类库Python要明显比Ruby多，事实上很多Ruby的第三方类库都不太成熟，因此这也很大程度上制约了Ruby的发展。

3、Python的应用领域非常广泛，而Ruby目前主要局限在在Web领域

Python应用的领域非常广泛，除了web开发以外，还被广泛用在服务器后端的高性能服务器实现，服务器后端的各种密集运算，全文检索，各种文本处理，系统管理等等，另外桌面应用领域wxPython也是一个很成熟的跨平台GUI框架。对于某些特殊的应用，比方说调用操作系统内核API，Python也可以完成的很好，比方说大量小文件的实时同步方案，就是用Python直接调用linuxKernel的inotify特性来实现的。所以可以说Python是软件开发领域的瑞士军刀，什么事情都可以做。

正是由于Ruby解析器和Ruby类库的制约，Ruby的应用主要局限在Web开发领域，目前Ruby的应用还无法延伸到web开发领域以外的很多地方。据说豆瓣早期就考虑过Ruby on Rails，但是因为Ruby不能做其他事情，而Python可以大包大揽，最后放弃Ruby选择了Python。

4、在Web领域Ruby是王者

随着互联网应用更进一步渗透到软件开发的各个领域，其实web开发占整个软件行业开发的比重也是越来越大。尽管Ruby在其他领域很受制约，但是在Web开发领域就是绝对的王者了。Rails框架的领先程度已经远远甩开了任何一个潜在的竞争对手十万八千里。因此尽管Ruby可能有这样那样的问题，但是说到Web开发，Rails几乎就是无可争议的唯一选择。

而Python尽管十分全面，却偏偏在web开发领域不彰，web框架虽然众多，却没有一个真正可以挑大梁，Django虽然在Python社区比较流行，但很多方面也有缺陷。现在的互联网应用往往都是多种语言混合编程，Ruby在Web以外的缺陷也可以用其他语言来弥补。

5、Python的包管理不如Ruby

尽管Python的第三方类库更高质量更成熟，但是Python社区缺乏Ruby Gem这样一个良好的包管理软件和包发布的网站。因此应用的构建显得不如Ruby那么方便，那么人性化。特别是在类库的版本升级上，就会遇到很多麻烦，不如Ruby Gem那么简单。

不过总的来说，Python和Ruby还是相似度极高的两种编程语言，即使两种编程语言都学习一下也不会浪费太多时间。如果我个人选择的话，会首选用Rails来构建web应用，再根据情况选择Python或者java处理一些服务器后端的运算。总之，未来还是一个混合编程的时代，我们需要多了解一些编程工具，然后根据需要看菜吃饭才行。

‘贰’ python数据分析需要哪些库

1.Numpy库
是Python开源的数值计算扩展工具，提供了Python对多维数组的支持，能够支持高级的维度数组与矩阵运算。此外，针对数组运算也提供了大量的数学函数库，Numpy是大部分Python科学计算的基础，具有很多功能。
2.Pandas库
是一个基于Numpy的数据分析包，为了解决数据分析任务而创建的。Pandas中纳入了大量库和标准的数据模型，提供了高效地操作大型数据集所需要的函数和方法，使用户能快速便捷地处理数据。
3.Matplotlib库
是一个用在Python中绘制数组的2D图形库，虽然它起源于模仿MATLAB图形命令，但它独立于MATLAB，可以通过Pythonic和面向对象的方式使用，是Python中Z出色的绘图库。主要用纯Python语言编写的，它大量使用Numpy和其他扩展代码，即使对大型数组也能提供良好的性能。
4.Seaborn库
是Python中基于Matplotlib的数据可视化工具，提供了很多高层封装的函数，帮助数据分析人员快速绘制美观的数据图形，从而避免了许多额外的参数配置问题。
5.NLTK库
被称为使用Python进行教学和计算语言学工作的Z佳工具，以及用自然语言进行游戏的神奇图书馆。NLTK是一个领先的平台，用于构建使用人类语言数据的Python程序，它为超过50个语料库和词汇资源提供了易于使用的接口，还提供了一套文本处理库，用于分类、标记化、词干化、解析和语义推理、NLP库的包装器和一个活跃的讨论社区。

‘叁’ python怎么将本地一个文件夹的所有文本读进内存中

列出文件，把各个文件打开读到bytes字节串里面.
比如
f=open("a.txt","rb")
a={}
a["a.txt"]=f.read()
f=open("b.txt","rb") #写成对列表的循环
a["b.txt"]=f.read()
f=open("c.txt","rb") #写成对列表的循环
a["c.txt"]=f.read()

‘肆’ 最受欢迎的 15 大 Python 库有哪些

1、Pandas：是一个Python包，旨在通过“标记”和“关系”数据进行工作，简单直观。它设计用于快速简单的数据操作、聚合和可视化，是数据整理的完美工具。
2、Numpy：是专门为Python中科学计算而设计的软件集合，它为Python中的n维数组和矩阵的操作提供了大量有用的功能。该库提供了NumPy数组类型的数学运算向量化，可以改善性能，从而加快执行速度。
3、SciPy：是一个工程和科学软件库，包含线性代数，优化，集成和统计的模块。SciPy库的主要功能是建立在NumPy上，通过其特定子模块提供有效的数值例程，并作为数字积分、优化和其他例程。
4、Matplotlib：为轻松生成简单而强大的可视化而量身定制，它使Python成为像MatLab或Mathematica这样的科学工具的竞争对手。
5、Seaborn：主要关注统计模型的可视化(包括热图)，Seaborn高度依赖于Matplotlib。
6、Bokeh：独立于Matplotlib，主要焦点是交互性，它通过现代浏览器以数据驱动文档的风格呈现。
7、Plotly：是一个基于Web用于构建可视化的工具箱，提供API给一些编程语言(Python在内)。
8、Scikits：是Scikits
Stack额外的软件包，专为像图像处理和机器学习辅助等特定功能而设计。它建立在SciPy之上，中集成了有质量的代码和良好的文档、简单易用并且十分高效，是使用Python进行机器学习的实际行业标准。
9、Theano：是一个Python软件包，它定义了与NumPy类似的多维数组，以及数学运算和表达式。此库是被编译的，可实现在所有架构上的高效运行。
10、TensorFlow：是数据流图计算的开源库，旨在满足谷歌对训练神经网络的高需求，并且是基于神经网络的机器学习系统DistBelief的继任者，可以在大型数据集上快速训练神经网络。
11、Keras：是一个用Python编写的开源的库，用于在高层的接口上构建神经网络。它简单易懂，具有高级可扩展性。
12、NLTK：主要用于符号学和统计学自然语言处理(NLP) 的常见任务，旨在促进NLP及相关领域(语言学，认知科学人工智能等)的教学和研究。
13、Gensim：是一个用于Python的开源库，为有向量空间模型和主题模型的工作提供了使用工具。这个库是为了高效处理大量文本而设计，不仅可以进行内存处理，还可以通过广泛使用NumPy数据结构和SciPy操作来获得更高的效率。
…………

‘伍’ python difflib比较，生成html发现错位比较，导致差异过多

github搜diff有很多工具，选点赞多的测试
不要局限python的，可以用命令行掉三方工具也行

‘陆’ 如何用Python玩转TF-IDF之寻找相似文章并生成摘要

应用1：关键词自动生成

核心思想是对于某个文档中的某个词，计算其在这个文档中的标准化TF值，然后计算这个词在整个语料库中的标准化IDF值。在这里，标准化是说对原始的计算公式进行了一些变换以取得更好的衡量效果，并避免某些极端情况的出现。这个词的TF-IDF值便等于TF*IDF。对于这个文档中的所有词计算它们的TF-IDF值，并按照由高到低的顺序进行排序，由此我们便可以提取我们想要的数量的关键词。

TF-IDF的优点是快捷迅速，结果相对来说比较符合实际情况。缺点是当一篇文档中的两个词的IDF值相同的时候，出现次数少的那个词有可能更为重要。再者，TF-IDF算法无法体现我词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。存在的解决办法是对文章的第一段和每段的第一句话给予比较大的权重。

应用2：计算文本相似度

明白了对于每个词，如何计算它的TF-IDF值。那么计算文本相似度也轻而易举。我们已经计算了文章中每个词的TF-IDF值，那么我们便可以将文章表征为词的TF-IDF数值向量。要计算两个文本的相似度，只需要计算余弦即可，余弦值越大，两个文本便越相似。

应用3：自动摘要

2007年，美国学者的论文<A Survey on Automatic Text Summarization>总结了目前的自动摘要算法，其中很重要的一种就是词频统计。这种方法最早出自1958年IBM公司一位科学家的论文<The Automatic Creation of Literature Abstracts>。这位科学家认为，文章的信息都包含在句子中，有的句子包含的信息多，有的句子包含的信息少。自动摘要就是找出那些包含信息最多的句子。那么句子的信息量怎么衡量呢？论文中采用了关键词来衡量。如果包含的关键词越多，就说明这个句子越重要，这位科学家提出用Cluster的来表示关键词的聚集。所谓簇，就是包含多个关键词的句子片段。

以第一个图为例，其中的cluster一共有7个词，其中4个是关键词。因此它的重要性分值就等于(4*4)/7=2.3。然后，找出包含cluster重要性分值最高的句子（比如5句），把它们合在一起，就构成了这篇文章的自动摘要。具体实现可以参见<Mining the Social Web: Analyzing Data from Facebook, Twitter, LinkedIn, and Other Social Media Sites>（O'Reilly, 2011）一书的第8章，Python代码见github。这种算法后来被简化，不再区分cluster，只考虑句子包含的关键词。伪代码如下。

Summarizer(originalText,maxSummarySize):
//计算文本的词频，生成一个列表，比如[(10,'the'),(3,'language'),(8,'code')...]
wordFrequences=getWordCounts(originalText)
//过滤掉停用词，列表变成[(3,'language'),(8,'code')...]
contentWordFrequences=filtStopWords(wordFrequences)
//按照词频的大小进行排序，形成的列表为['code','language'...]
contentWordsSortbyFreq=sortByFreqThenDropFreq(contentWordFrequences)
//将文章分成句子
sentences=getSentences(originalText)
//选择关键词首先出现的句子
setSummarySentences={}
:
firstMatchingSentence=search(sentences,word)
setSummarySentences.add(firstMatchingSentence)
ifsetSummarySentences.size()=maxSummarySize:
break
//将选中的句子按照出现顺序，组成摘要
summary=""
foreachsentenceinsentences:
:
summary=summary+""+sentence
returnsummary

类似的算法已经被写成了工具，比如基于Java的Classifier4J库的SimpleSummariser模块、基于C语言的OTS库、以及基于classifier4J的C#实现和python实现。

‘柒’ 中文短句相似度匹配方法

一、原始落后的VSM
网上搜索关键词“短文本 相似度”，出来的结果基本上都是以BOW（Bag of words）的VSM方案，大致流程如下：

分词 —> 提取关键词 —> 计算tf或if-idf，以向量的形式替换原文本 —> 文本相似度的问题转变为计算向量相似度
一开始这样的一个思路，很清晰明了，而且网上相应的资料也很多，然后就开搞吧。

1、把所有短文本去掉标点符号，用jieba分词分好词，去除停用词，得到分好的文本；

2、按一定规则抽取特征词汇，作为后期向量的每一维；

3、用sklearn库中的原生方法CountVectorizer、TfidfVectorizer等得到矩阵；

4、每个短文本计算对应得到的向量，采用K-Means聚类的方法进行非监督学习。

文本分类的大致思路基本上就如上所述，具体的细节调整就视实际情况而定。然而，想法是美好的，现实是残酷的，全部分好词的文本，抽取的特征词较多，即向量的维度较大，且向量是稀疏的，在使用K-Means时，会出现有个别cluster下的文本数量特别大；

‘捌’ 怎样用python或者是java计算文本相似度

第一步：把每个网页文本分词，成为词包（bag of words）。
第三步：统计网页（文档）总数M。
第三步：统计第一个网页词数N，计算第一个网页第一个词在该网页中出现的次数n，再找出该词在所有文档中出现的次数m。则该词的tf-idf 为：n/N * 1/(m/M) （还有其它的归一化公式，这里是最基本最直观的公式）
第四步：重复第三步，计算出一个网页所有词的tf-idf 值。
第五步：重复第四步，计算出所有网页每个词的tf-idf 值。
3、处理用户查询
第一步：对用户查询进行分词。
第二步：根据网页库（文档）的数据，计算用户查询中每个词的tf-idf 值。
4、相似度的计算
使用余弦相似度来计算用户查询和每个网页之间的夹角。夹角越小，越相似。

‘玖’ python有没有什么包能判断文本相似度

有，gensim包。

主要分成三步：
第一步，计算所有评论的tf-idf 值。

第二步，使用所有评论的tf-idf 值算出商品描述的tf-idf 值。
第三步，计算每一个评论和商品描述之间的tf-idf 余弦相似度。

可以 在这里找到具体用法：
http://blog.csdn.net/chencheng126/article/details/50070021