后缀树算法

‘壹’ 论文查重用了什么算法

知网查重的算法是

使用计算机开展知网查重识别的研究首先要对数字文档进行分析处理,而数字文档又可分为两种类别,即:自然语言文本和形式语言文本。形式语言文本比较典型的是计算机程序源代码,虽然抄袭的案例较多,但因其具有规范的语法和语句结构特点,相对比较容易分析处理,针对此类抄袭识别的研究也较早。而自然语言文本(如:论文等)复制检测原理的出现比程序复制检测晚了20年。
②1993年,美国亚利桑那大学的Manber提出了“近似指纹”概念,基于此提出了sif工具,用基于字符串匹配的方法来度量文件之间的相似性。美国斯坦福大学的Brin等人首次提出了COPS系统与相应算法,其后提出的SCAM原型对此进行了改进了。SCAM借鉴了信息检索技术中的向量空间模型,使用基于词频统计的方法来度量文本相似性。香港理工大学的Si和Leong等人采用统计关键词的方法来度量文本相似性,建立了CHECK原型,并首次在相似性度量中引入文档的结构信息。到了2000年,Monostori等人用后缀树来搜寻字符串之间的最大子串,建立了MDR原型。在此之前,全美国的教育工作者们现已懂得综合运用课堂书写段落样本、互联网搜索工具和反剽窃技术三结合手段遏制欺骗的源头。
③ 对于中文论文的抄袭识别,存在更大的困难。汉语与英文不同,它以字为基本的书写单位,词与词之间没有明显的区分标记,因此,中文分词是汉语文档处理的基础。汉语文本抄袭识别系统首先需要分词作为其最基本的模块,因此,中文文本自动分词的好坏在一定程度上影响抄袭识别的准确性。同时计算机在自然语言理解方面有欠缺,而抄袭又不仅仅局限于照抄照搬式的,很难达到准确的抄袭识别。所以解决中文论文抄袭识别问题还不能全盘照搬国外技术。北京邮电大学张焕炯等用编码理论中汉明距离的计算公式计算文本相似度。中科院计算所以属性论为理论依据,计算向量之间的匹配距离,从而得到文本相似度。程玉柱等以汉字数学表达式理论为基础,将文本相似度计算转换为空间坐标系中向量夹角余弦的计算问题。西安交通大学的宋擒豹等人开发了CDSDG系统,采用基于词频统计的重叠度度量算法在不同粒度计算总体语义重叠度和结构重叠度。此算法不但能检测数字正文整体非法复制行为,而且还能检测诸如子集复制和移位局部复制等部分非法复制行为。晋耀红基于语境框架的相似度计算算法,考虑了对象之间的语义关系,从语义的角度给出文本之间的相似关系。大连理工大学的金博、史彦军、滕弘飞针对学术论文的特有结构,对学术论文进行篇章结构分析,再通过数字指纹和词频统计等方法计算出学术论文之间的相似度。张明辉针对重复网页问题提出了基于段落的分段签名近似镜像新算法。鲍军鹏等基于网格的文本复制检测系统提出了语义序列核方法的复制检测原理。金博、史彦军、滕弘飞少给出了一个基于语义理解的复制检测系统架构,其核心是以知网词语相似度计算为基础,并将应用范围扩大到段落。聂规划等基于本体的论文复制检测系统利用语义网本体技术构建论文本体和计算论文相似度。
请继续关注上学吧论文查重（http://www.shangxueba.cn），更多有关论文检测信息尽在其中。

‘贰’ PageRank算法实现好友推荐(算法原理)

对于社交系统与电商网站，推荐系统占有很重要的位置，当数据量越来越大的时候，用户无法确定该选择什么商品，因此在电商系统中需要按照兴趣或者相似度给用户推荐相应的商品。相应的，在一个大型社交网络平台中，睁唤手对于一些用户，我们希望推荐一些知名度较高，活跃度较高或者感兴趣的用户，比如一些明星，歌手，演员等等。在社交网络中，PageRank算法有着广泛的应用，因此，本篇文章主要介绍其原理。

对于大部分社交系统来说，如果只是简单的获取好友的信息远远不够，我们可以通过获取好友的好友的信息来扩展用户的朋友圈，使得信息量更加丰富，本项目中使用PageRank算法来完成二级邻居，然后按照Rank排序，选择Top5用户实现用户的好友的好友的推荐。

PageRank算法由Google的创始人拉里·佩奇和谢尔·布林于1998年发明.这项技术设计之初是为了体现网页的相关性和重要性,在搜索引擎优化操作中经常被用来评估网页优化的成效因素之一.

从技术上看,搜索引擎需要解决以下三个问题:

本质就是一个爬虫问题,通过爬虫获取整个互联网的数据

关键在于快速找到.

它的实现方式有: 倒排索引，签名文件，后缀树等。我们最熟悉的是 倒排索引 。(并不熟悉,以后有机会再看)

排序是Google的搜索引擎能够兴起的一个决定性因素。

对网页排序有很多种方式，我们来看三种：

就是原封不懂地把索引到的链接直接返回给用户，缺点就不说了，想找自己感兴趣的内容估计要费不少功夫。

这种方式是一种只从关键词出现的次数和位置进行排序的方法。该方法以一个关键词与网页的相关度大小作为排序标准，而关键词在网页的相关度大小作为排序标准，而关键词在网页中的相关度则由它在网页中出现的频次和位置两方面加权计算得出。

缺点也很明显，容易出现刷分的情况，整篇文章中大量地刷关键词就能提高排名。

真正找到计算网页自身质量的完美的数学模型是Google的创始人拉里佩奇和谢尔盖布林。 下一节讲一下原理。

我们模拟一个悠闲的上网者，上网者首先随机选择一个网页打开，然后在这个网页上呆了几分钟后，跳转到该网页所指向的链接，这样无所事事、漫无目的地在网页上跳来跳去，PageRank就是估计这个悠闲的上网者分布在各个网页上的概率，这个概率就代表这个网页的重链大要性.

PageRank主要基于两个重要的假设：

如果一篇文章被越来越多的人引用，那么这篇文章可能就是一篇经典之作，如果这篇文章引用了其他的论文，那么一定程度上这篇被引用的文章也是一篇很好的文章。应用到社交网络中，如果一个好友被更多的人关注，那么说明该好友有很高的知名度和活跃度，那么，我们可以将该好友推荐给用户。

基于这两个假设,我们可以总结出PageRank算法的核心:

如下图,可以更好的表达PageRank算法的思想:

由上图可知,每个页面将自己的一部分rank传递给某个页面，我们可悉嫌以通过计算传递给某个页面的所有rank值的和来计算出它的rank值，当然，不可能是通过一次计算完成，我们刚开始可以给每个页面赋予一个初始rank值，比如 1/N(N为页面总数) ，通过迭代计算得到该页面的rank值。

迭代计算停止的条件为:

使用有向图表示:

这个例子中只有四个网页，如果当前在A网页，那么悠闲的上网者将会各以1/3的概率跳转到B、C、D，这里的3表示A有3条出链，如果一个网页有k条出链，那么跳转任意一个出链上的概率是1/k，同理D到B、C的概率各为1/2，而B到C的概率为0。

我们在做计算的时候会将该图表示成一个二维的矩阵，我们做一个转换，就会变成下图的矩阵形式。 M(i,j) 表示j节点指向i节点的概率 ，一般来说每列和为1。

生成的 转移矩阵 非常简单, 矩阵的每一列代表该顶点所代表的页面除以对应页面的出链数得到的 。

有了转移矩阵，我们可以来定义行向量 V ， V 的第i个分量记录 对应的Rank值，因此一次Rank的更新可以表示为：

在算法的第一轮计算中，我们假设上网者在每一个网页的概率都是相等的，即1/n，于是初试的概率分布就是一个所有值都为1/n的n维列向量 ，用 去右乘转移矩阵M，就得到了第一步之后上网者的概率分布向量 ,得到一个nX1的矩阵 ， 这个 一轮迭代计算出来的PageRank值 。下面是 的计算过程：

得到了 后，再用 去右乘M得到 ，一直下去，即 , 最终V会收敛 .

不断的迭代，最终得到结果.

但是在迭代计算中，我们需要考虑如下两大阻力： Dead End 和 Spider Trap ：

Dead End就是指一个页面只有入链但是没有出链，这时转移矩阵M的一列为零，导致最后结果为零。这时web不是强连通的，即存在某一类节点不指向别人，如下图的D。这个时候我们的算法就会出问题了，它不满足收敛性了。

为什么不满足收敛性了？

Spider Trap指页面的所有出链都指向自己，这样会使迭代结果中只有自己的页面的Rank值很高。其他页面的Rank值为零。

要克服上面两个问题，我们需要将迭代计算公式做如下转变。我们可以加入一个 随机跳转 机制.

即假设每个页面有很小概率拥有一个指向其他页面的链接。

表现出来就是：其他页面本来传递给一个页面的Rank值需要做一个折扣，作为补偿，可能需要一个页面指向该页面并且传递Rank值给该页面，该跳转的概率为β，因此表达式变为：

其中,N为页面总数; e 为一个N维且各个分量都是1的向量;β通过经验得知一般设为0.15.

此时的计算结果过程为:

有机会再写,先空着

‘叁’ 数据结构中的是树形的结构有哪些，算法叫什么名字

基础类：二叉搜索（排序）树，线索二叉树，哈夫曼树（最优二叉树），二叉堆
平衡树类：AVL，红黑树，2-3树，2-3-4树，B树，B+树，B-树，treap，SBT。
优先队列类：左高树（左偏树，可并堆，斜堆），双端堆，斐波那契堆
集合类：并查集
区间树类：线段树，划分树，归并树，树状数组
字母树类：字典树，后缀树。AC自动机算法
动态树类：伸展树
计算几何类：KD-tree （块状树），4叉树
RMQ转LCA：笛卡尔树
图论相关：最小生成树，无根树
其它：败者树，博弈树

‘肆’ 字符串匹配的传统算法

传统的匹配算法
串匹配算法虽然发展了几十年，然而非常实用的算法是近年才出现。串匹配问题的研究存在理论研究和实际应用的脱节。那些专门从事算法研究的学者关心的只是理论上看起来很美妙的算法——具有很好的时间复杂度。而开发人员只追求实际应用中尽可能快的算法。两者之间从不注意对方在干什么。将理论研究和实际应用结合的算法(如BNDM算法)只是近年才出现。在实际应用中常常很难找到适合需求的算法——这样的算法实际上是存在的，但是只有资深专家才比较了解。考虑如下情况，一位软件开发人员，或者一位计算生物学家，或者一位研究人员，又或者一位学生，对字符串匹配领域并没有深入了解，可是现在需要处理一个文本搜索问题。那些汗牛充栋的书籍使得阅读者淹没在各种匹配算法的海洋中，却没有足够的知识选择最适用的算法。最后，常常导致这样的局面：选择一种最简单的算法加以实现。这往往导致很差的性能，从而影响整个开发系统的质量。更糟糕的是，选择了一个理论上看起来很漂亮的算法，并且花费了大量精力去实现。结果，却发现实际效果和一个简单算法差不多，甚至还不如简单算法。因此，应该选用一种“实用”算法，即在实际应用中性能较好，并且一个普通程序员能在几小时内完成算法的实现代码。另外，在字符串匹配研究领域中，一个人所共知的事实是“算法的思想越简单，实际应用的效果越好”。
传统的串匹配算法可以概括为前缀搜索、后缀搜索、子串搜索。代表算法有KMP，Shift-And，Shift-Or，BM，Horspool，BNDM，BOM等。所用到的技术包括滑动窗口、位并行、自动机、后缀树等。

‘伍’ 面试会出哪些经典算法题

如下：

1、排序算法∶快速排序、归并排序、计数排序

2、搜索算法∶回溯、递归、剪枝技巧

3、图论∶最短路、最小生成树、网络流建模

4、动态规划：背包问题、最长子序列、计数问题

5、基础技巧：分治、倍增、二分、贪心

6、数组与链表：单/双向链表、跳舞链

7、栈与队列

8、树与图：最近公共祖先、并查集

9、哈希表

10、堆：大/小根堆、可并堆

11、字符串∶字典树、后缀树

算法简介：

算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。

如果一个算法有缺陷，或不适合于某个问题，执行这个算法将不会解决这个问题。不同的算法可能用不同的时间、空间或效率来完成同样的任务。一个算法的优劣可以用空间复杂度与时间复杂度来衡量。

算法中的指令描述的是一个计算，当其运行时能从一个初始状态和（可能为空的）初始输入开始，经过一系列有限而清晰定义的状态，最终产生输出并停止于一个终态。一个状态到另一个状态的转移不一定是确定的。随机化算法在内的一些算法，包含了一些随机输入。

形式化算法的概念部分源自尝试解决希尔伯特提出的判定问题，并在其后尝试定义有效计算性或者有效方法中成形。

这些尝试包括库尔特·哥德尔、Jacques Herbrand和斯蒂芬·科尔·克莱尼分别于1930年、1934年和1935年提出的递归函数，阿隆佐·邱奇于1936年提出的λ演算，1936年Emil Leon Post的Formulation 1和艾伦·图灵1937年提出的图灵机。即使在当前，依然常有直觉想法难以定义为形式化算法的情况。