tf算法

❶ tf-idf 算法中，在计算tf归一化的时候，分母取值不太清楚

如果文本中的词只有3个‘好人’和2个‘坏人’，那么分母就是2+3，即分母是该文本中所有词出现的频次

❷ 百度和Google的搜索算法，技术有何差异

网络是中国的，谷歌是美国的。各有侧重不能不可比较。技术都是一样的侧重不同罢了。网络侧重的是中国民俗，谷歌是侧重美国民俗。因为国情国法不同所以无可能比较量级。【搜索引擎技术是硬件加软件。硬件是实际使用的机器，软件是程序编程】搜索产品搜索引擎产品其实包括很多种类，并不限于我们最熟悉的全网搜索引擎。简单分类罗列一下：*全网搜索：包括市场份额最高的几大搜索引擎巨头，Google,Yahoo,Bing。*中文搜索：在中文搜索市场中，网络一家独大，其它几家如搜狗、搜搜、有道，市场份额相对还比较小。*垂直搜索：在各自的垂直领域成为搜索入口的，购物的淘宝，美食的大众点评，旅游的去哪儿，等等。*问答搜索：专注于为问句式提供有效的答案，比如Ask.com；其它的如问答社区像Quora和国内的知乎，应该也会往这方面发展。*知识搜索：典型代表就是WolframAlpha，区别于提供搜索结果列表，它会针对查询提供更详细的整合信息。*云搜索平台：为其它产品和应用提供搜索服务托管平台(SaaS或是PaaS)，Amazon刚刚推出它的CloudSearch,IndexTank在被Linkedin收购之前也是做这项服务。*其它：比始DuckDuckGo，主打隐私保护，也有部分用户买帐。各种搜索产品在各自领域都需要解决特定的技术和业务问题，所以也可以建立相对通用搜索的优势，来得到自己的市场和用户。搜索技术搜索引擎所涉及和涵盖的技术范围非常广，涉及到了系统架构和算法设计等许多方面。可以说由于搜索引擎的出现，把互联网产品的技术水平提高到了一个新的高度；搜索引擎无论是在数据和系统规模，还是算法技术的研究应用深度上，都远超之前的简单互联网产品。列举一些搜索引擎所涉及到的技术点：*爬虫(Crawling)*索引结构(InvertedIndex)*检索模型(VSM&TF-IDF)*搜索排序(RelevanceRanking&Evaluation)*链接分析(LinkAnalysis)*分类(Document&QueryClassification)*自然语言处理(NLP:Tokenization,Lemmatization,POSTagging,NER,etc.)*分布式系统(DistributedProcessing&Storage)*等等虽然搜索引擎涉及的技术方方面面，但归结起来最关键的几点在于：*系统：大规模分布式系统，支撑大规模的数据处理容量和在线查询负载*数据：数据处理和挖掘能力*算法：搜索相关性排序，查询分析，分类，等等系统搜索引擎系统是一个由许多模块组成的复杂系统。核心模块通常包括：爬虫，索引，检索，排序。除了必需的核心模块之外，通常还需要一些支持辅助模块，常见的有链接分析，去重，反垃圾，查询分析，等等。[附图：搜索系统架构概念模型]*爬虫从互联网爬取原始网页数据，存储于文档服务器。*文档服务器存储原始网页数据，通宵是分布式Key-Value数据库，能根据URL/UID快速获取网页内容。*索引读取原始网页数据，解析网页，抽取有效字段，生成索引数据。索引数据的生成方式通常是增量的，分块/分片的，并会进行索引合并、优化和删除。生成的索引数据通常包括：字典数据，倒排表，正排表，文档属性等。生成的索引存储于索引服务器。*索引服务器存储索引数据，主要是倒排表。通常是分块、分片存储，并支持增量更新和删除。数据内容量非常大时，还根据类别、主题、时间、网页质量划分数据分区和分布，更好地服务在线查询。*检索读取倒排表索引，响应前端查询请求，返回相关文档列表数据。*排序对检索器返回的文档列表进行排序，基于文档和查询的相关性、文档的链接权重等属性。*链接分析收集各网页的链接数据和锚文本（AnchorText），以此计算各网页链接评分，最终会作为网页属性参与返回结果排序。*去重提取各网页的相关特征属性，计算相似网页组，提供离线索引和在线查询的去重服务。*反垃圾收集各网页和网站历史信息，提取垃圾网页特征，从而对在线索引中的网页进行判定，去除垃圾网页。*查询分析分析用户查询，生成结构化查询请求，指派到相应的类别、主题数据服务器进行查询。*页面描述/摘要为检索和排序完成的网页列表提供相应的描述和摘要。*前端接受用户请求，分发至相应服务器，返回查询结果[附图：爬虫系统架构]爬虫系统也是由多个模块构成：*URLScheler存储和高度待爬取的网页地址。*Downloader根据指定的网页列表爬取网页内容，存储至文档服务器。*Processer对网页内容进行简单处理，提取一些原始属性，为爬取的后续操作服务。*TrafficController爬取流量控制，防止对目标网站在短时间内造成过大负载[附图：搜索系统架构实例：Google这是Google早期的一张系统架构图，可以看出Google系统的各模块基本和前面概念模型一致。所以一个完整的全网搜索系统的大致系统架构是类似的，区别和竞争力体现在细节实现和优化上。数据除了搜索引擎系统提供了系统支撑外，搜索结果质量很大程度上依赖于源数据的数量和质量，以及数据处理的能力。全网数据的主要来源通常是从互联网上进行自动爬取，从一些高质量的种子站点开始，并沿网页链接不断，收集巨量的网页数据；这通常能达到数据在数量的要求，但也不可避免混入了大量的低质量网页。除了自动爬取来的数据外，搜索引擎的数据来源还可以来自人工收集、合作伙伴提供、第三方数据源和API、以及购买；这些来源通常会有更好的质量保证，但在数量规模和覆盖率上会相对少一些，可以和爬取的数据形成有效的互补。收集到足量的原始数据后，需要进行各种数据处理操作，把原始数据转换成在线检索需要的数据。这个过程通常包括：网页分析，数据抽取，文本处理和分词，索引及合并；最终生成的数据会包括：词典，倒排表，正排表，文档权重和各种属性。最终生成的数据要布署上相应的在线检索服务器上，通常会进行数据分区和分片布署，数据内容更丰富时还可能根据内容分类和主题进行分别布署，比如新闻时效类的网页可能就会独立布署，针对性地响应时效类的查询[附图：索引数据：字典、倒排表、正排表]这张图来源于Google早期的索引数据结构，包括词典、倒排表、正排表。算法有了相当数量的高质量数据之后，搜索结果的质量改进就取决于搜索算法的准确性上。现在的搜索引擎通常通过向量空间模型（VSM=VectorSpaceModel）来计算查询和各文档之间的文本相似性；即把查询或文档抽象成一个词向量，然后再计算向量在向量空间中的夹角，可以用余弦公式得出，作为文本相似度的度量值。在基本的向量空间模型基础上通常会进一步加入词的权重值进行改进，通过经典的TF-IDF公式得出，即词频（TF）乘上逆文档频率（IDF）；其中TF=TermFrequency，即该词在所在文档中的出现次数；IDF=InvertDocumentFrequency，即包含该词的文档数除以总文档数，再取反，通常还会取对数来降维，这个值值越大表示这个词越能代表文档特征。除了通过向量空间模型得出的文本匹配评分外，每个文档还会有自己本身的质量评分，通常由网页链接数据计算得出，代表了该网页本身的流行度权重。最终的评分会以文本匹配的查询时动态评分和文档静态评分为基础计算得出；搜索引擎的评分计算都会考虑很多因素，但这两项通常是评分计算的基础。有了确定的排序算法后，另一个重要的任务就是评估搜索结果的质量。由于搜索结果的好与坏是一个比较主观的过程，所以进行定量的评估并不容易。常见的做法是通过事先选定一批查询，通过人工评估或是预先设定标准值的方式，逐个评估每个设定查询搜索结果，最终得到一个统计结果，作为搜索算法的评估度量。另一类做法是直接通过线上的用户点击数据来统计评估搜索结果质量，或是通过A/B测试来比较两种排序算法的点击效果来衡量。合理而有效的评估方法，是搜索算法可以不断改进和比较的前提。查询分析是另一个对搜索结果影响很大的方面，主要任务是把用户的查询文本转换成内部的结构化的搜索请求。涉及的处理可能包括基本的分词处理，专有名词的识别和提取，或是查询模式的识别，或是查询分类的识别。这些处理的准确性将能极大地改进搜索请求的方式，进一步影响搜索结果的相关性和质量。开源方案近年来在搜索公司内部搜索系统和技术的改进和发展的同时，一批开源的搜索系统和解决方案也逐渐发展和成熟起来。当然开源系统在功能全面性、复杂性和规模上都不能与专业的搜索引擎系统相比，但对于中小企业的搜索应用来说应该已经能很好地满足需求，而且也成功应用到了一些大规模的产品系统中（比如Twitter的搜索就使用和改进了Lucene）。现在比较常见的开源搜索解决方案有：*LuceneLucene自然是现在最流行，使用度最高的搜索开源方案。它用java开发，以索引和检索库的方式提供，可以很容易地嵌入需要的应用中。*Solr&SolrCloudSolr是Lucene的子项目，同属Apache软件基金会项目；它是基于Lucene之上实的一个完整的搜索服务应用，提供了大量的搜索定制功能，可以满足大部分的搜索产品需求。SolrCloud是Solr为了加强其分布式服务能力而开发的功能，目前还在开发阶段，将在Solr4.0发布。*Zoie&Sensei(Linkedin)Zoie是Linkedin公司在Lucene基础上实现的准实时索引库，通过加入额外的内存索引，来达到准实时索引的效果。Sensei是Linkedin公司在Zoie基础上实现的分布式搜索服务，通过索引分区来实现分布式搜索服务。*ElasticSearchElasticSearch也是刚推出不久的一个基于Lucene实现的分布式搜索服务，据说在分布式支持和易用性上都有不错的表现。因为还比较年轻，真实的应用应该还不多，需要观察。因为也是基于Lucene的分布式开源搜索框架，基本上会与SolrCloud和Sensei形成正面竞争关系。*其它开源产品除了Lucene家族以外，还有一些其它的开源产品，比如Sphinx和Xapian，也有不少的应用；但近年来的更新频率和社区活跃度都不太能和Lucene系的产品相比。*托管平台除了开源产品外，现在还出现了一些基于云计算和云服务的搜索服务，比如Amazon新近推了的CloudSearch，还有更早一些的IndexTank（已被Linkedin收购）。这类服务无需自己布置搜索系统，直接使用在线服务，按需付费，所以也将是开源产品的替代方案和竞争对手。附几张上面提到的开源系统的概念模型和架构图：[附图：Lucene概念模型][附图：Lucene工作流程][附图：Sensei系统架构][附图：SolrCloud系统架构]现状与未来：传统的搜索引擎经过了十几年的发展，目前在技术和产品上都已走向逐渐稳定和成熟，通用搜索的市场也基本进入饱和，不像早些年一直呈现高增长率。同时，在各个垂直领域，也出现了很多和产品结合的很好的垂直搜索产品，比如淘宝的购物搜索，大众点评的美食搜索，去哪儿和酷讯的旅游搜索等，也都在各自领域占据了相当大的市场，成为除了通用搜索引擎之外的重要的用户入口。在开源领域，各种开源产品和解决方案也逐渐发展成熟，通用搜索技术不再为大公司所专有，中小企业能够以较低的成本实现自己的搜索应用。现在搜索引擎产品之间的竞争的在数据、应用方式和产品形态上，在系统架构和基本算法上区分并不大。搜索引擎在未来发展上，一是搜索将不仅仅以独立产品的形式出现，的会作为搜索功能整合到的产品和应用中。在产品形态上，基于传统的搜索引擎，会演化出像推荐引擎，知识引擎，决策引擎等形式的产品，更好地满足和服务用户需求。而搜索引擎所涉及和发展起来的各种技术，会更广泛地应用到各种基它产品上，比如自然语言处理，推荐和广告，数据挖掘，等等。总之，搜索引擎对互联网技术和产品带来的影响是巨大的，未来也仍将有很大的发展和应用空间。

❸ tfidf算法的log底数是多少

底数是10，比如总共1000篇文章，出现关键词的文章有100篇，后面的idf对数值就是2

❹ tfidf是什么的一种经典算法

是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。

❺ 已知f(t)的傅里叶变换为F(w),则tf'(t)的傅里叶变换是多少。求详解

对于tf(2t)，应先利用尺度变换性质求f(2t)的频谱为F(w/2)/2，然后再利用线性加权性质（或频域微分性质）求，对上一个结果以w为变量进行微分，再乘以虚数因子j，结果为jF`(w/2)/4。

对于第二个则先利用时域微分性质求出df(t)/dt的变换为jwF(w)，然后再利用线性加权性质求，对jwF(w)以w为变量进行微分，再乘以虚数因子j，结果为-F(w)-wF`(w)。

快速傅氏变换（FFT），是离散傅氏变换的快速算法，它是根据离散傅氏变换的奇、偶、虚、实等特性，对离散傅立叶变换的算法进行改进获得的。它对傅氏变换的理论并没有新的发现，但是对于在计算机系统或者说数字系统中应用离散傅立叶变换，可以说是进了一大步。

(5)tf算法扩展阅读：

在这些算法中，基2算法用得最普遍。通常按序列在时域或在频域分解过程的不同，又可分为两种：一种是时间抽取FFT算法（DIT），将N点DFT输入序列x(n)、在时域分解成2个N/2点序列而x1(n)和x2(n)。

前者是从原序列中按偶数序号抽取而成，而后者则按奇数序号抽取而成。DIT就是这样有规律地按奇、偶次序逐次进行分解所构成的一种快速算法。

FFT的基本思想是把原始的N点序列，依次分解成一系列的短序列。充分利用DFT计算式中指数因子 所具有的对称性质和周期性质，进而求出这些短序列相应的DFT并进行适当组合，达到删除重复计算，减少乘法运算和简化结构的目的。

此后，在这思想基础上又开发了高基和分裂基等快速算法，随着数字技术的高速发展，1976年出现建立在数论和多项式理论基础上的维诺格勒傅里叶变换算法(WFTA）和素因子傅里叶变换算法。它们的共同特点是，当N是素数时，可以将DFT算转化为求循环卷积，从而更进一步减少乘法次数，提高速度。

❻ 试按tf-idf在删除一些常用词后给出文本中术语的统计算法和程序，并按降序进行排序

。。。。。。前排就座，等待答案帝，鄙视一楼

❼ 求工程进度中ES、EF、LS、LF、TT、FT的计算方法，通俗易懂些，呵呵，谢谢

先解释一下这几个的意思

ES：最早开始
EF：最早结束
LS：最迟开始

LF：最迟完成
DU：活动历时
FT：总时差

然后说一下他们之间的换算

EF（最早结束）=ES（最早开始）+DU（活动历时）
LF（最迟完成）=LS（最迟开始）+DU（活动历时）
FT（总时差）=LF（最迟完成）-EF（最早结束）

❽ 求TF-IDF算法的C++或java源码。

之前写过的，请加分。

#include<map>
#include<set>
#include<string>
#include<iostream>
#include<fstream>
#include<vector>
#include<cmath>
#include<algorithm>
usingnamespacestd;
map<string,float>IDFTable;
structWords{
	stringwd;
	floatfreq;
	floatweight;
};
boolcmp(Words&w1,Words&w2)
{
	returnw1.weight>w2.weight;
}
map<string,int>WordTable;
vector<Words>WordList;
charComment[]=",.!"?;:()";
inttotalText=0;
boolIsAllNumber(stringcs)
{
	for(inti=0;i<cs.length();i++)
	{
		if(cs[i]<'0'||cs[i]>'9')
			returnfalse;
	}
	returntrue;
}
boolIsblank(stringcs)
{
	for(inti=0;i<cs.length();i++)
	{
		if(cs[i]!=''&&cs[i]!='	')
			returnfalse;
	}
	returntrue;
}
string&ToLower(string&cs)
{
	for(inti=0;i<cs.length();i++)
	{
		if(cs[i]>='A'&&cs[i]<='Z')
			cs[i]+=('a'-'A');
	}
	returncs;
}
voidreadFile(stringfname,set<string>&wds)
{
	ifstreamfin(fname.c_str());
	stringword;
	wds.clear();
	while(!fin.eof())
	{
		fin>>word;
		for(inti=0;Comment[i]!=0;i++)
		{
			intpos;
			while((pos=word.find(Comment[i]))!=-1)
			{
				word.replace(pos,1,"");
			}
		}
		//theworld;
		if(!IsAllNumber(word)&&!Isblank(word))
		{
			wds.insert(ToLower(word));
		}
		/*totalwords++;
		*/
	}
	fin.close();
}
voidGenerateIDF()
{
	totalText=0;
	stringfiles[7]={"curious.txt",
		"erotic.txt",
		"fall.txt",
		"hands.txt",
		"water.txt",
		"wifi.txt",
		"young.txt"};
	intx;
	set<string>wds;
	for(inti=0;i<7;i++)
	{
		readFile(files[i],wds);
		for(set<string>::iteratorit=wds.begin();it!=wds.end();++it)
		{
			map<string,float>::iteratoriter;
			stringword=*it;
			if((iter=IDFTable.find(word))!=IDFTable.end())
			{
				iter->second+=1;
			}
			else
			{
				IDFTable[word]=1;
			}
		}
		totalText++;
	}
	//
	intcnt=0;
	for(map<string,float>::iteratoriter=IDFTable.begin();iter!=IDFTable.end();++iter)
	{
		iter->second=log((float)totalText/(iter->second+1.0));
		/*cout<<iter->first<<''<<iter->second<<endl;
		cnt++;
		if(cnt%100==0)
		{
			cin>>x;
		}*/
	}
}
intGenerateTF(){
	ifstreamfin("Test.txt");
	stringword;
	inttextwords=0;
	while(!fin.eof())
	{
		fin>>word;
		for(inti=0;Comment[i]!=0;i++)
		{
			intpos;
			while((pos=word.find(Comment[i]))!=-1)
			{
				word.replace(pos,1,"");
			}
		}
		if(!IsAllNumber(word)&&!Isblank(word))
		{
			//wds.insert(ToLower(word));
			textwords++;
			ToLower(word);
			map<string,int>::iteratorit;
			if((it=WordTable.find(word))!=WordTable.end())
			{
				it->second++;
			}
			else
			{
				WordTable[word]=1;
			}

		}
		
		
	}
	fin.close();
	//计算频率
	for(map<string,int>::iteratorit=WordTable.begin();it!=WordTable.end();++it)
	{
		Wordswd;
		wd.wd=it->first;
		wd.freq=(float)(it->second)/textwords;
		floatidf=0;
		map<string,float>::iteratoriter;
		if((iter=IDFTable.find(wd.wd))!=IDFTable.end())
		{
			idf=iter->second;
		}
		else
			idf=log((float)totalText);
		wd.weight=wd.freq*idf;
		WordList.push_back(wd);
	}

	returntextwords;
}
voidGenerateSort()
{
	sort(WordList.begin(),WordList.end(),cmp);
}
intmain(){
	GenerateIDF();
	inttxtwd=GenerateTF();
	GenerateSort();
	inttopnum=10;
	cout<<"TotalWords:"<<txtwd<<"Top"<<topnum<<":
";
	cout<<"Wrod		Weight
";
	for(inti=0;i<topnum;i++)
	{
		cout<<WordList[i].wd<<"		"<<WordList[i].weight<<endl;
	}
}

❾ tf-idf算法为什么要取对数

所以,000，TF-IDF分数就可以由计算词频除以文件频率而得到。一个计算文件频率 (DF) 的方法是测定有多少份文件出现过“母牛”一词。TFIDF实际上是，当m大的时候，则说明词条t具有很好的类别区分能力：如果某个词或短语在一篇文章中出现的频率TF高。字词的重要性随着它在文件中出现的次数成正比增加，IDF反文档频率(Inverse Document Frequency)，适合用来分类，显然所有包含t的文档数n=m+k，而其它类包含t的文档总数为k。以上面的例子来说，其文件频率就是 0，因特网上的搜寻引擎还会使用基于连结分析的评级方法。TF-IDF是一种统计方法,000份的话。TF-IDF加权的各种形式常被搜寻引擎应用。这就是IDF的不足之处。IDF的主要思想是，并选来作为该类文本的特征词以区别与其它类文档，“母牛”一词在该文件集的TF- IDF分数会是 300 (0。如果某一类文档C中包含词条t的文档数为m，则认为此词或者短语具有很好的类别区分能力，并且在其他文章中很少出现。词频 (TF) 是一词语出现的次数除以该文件的总词语数，作为文件与用户查询之间相关程度的度量或评级。TF表示词条在文档d中出现的频率。除了TF-IDF以外;100)，而文件总数是 10，就说明该词条t类别区分能力不强,000份文件出现过，则说明该词条能够很好代表这个类的文本的特征.03/，按照IDF公式得到的IDF的值会小。假如一篇文件的总词语数是100个.0001 (1000/10：如果包含词条t的文档越少，那么“母牛”一词在该文件中的词频就是 0，但同时会随着它在语料库中出现的频率成反比下降，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度，如果“母牛”一词在1，n也大：TF * IDF，TF词频(Term Frequency). 有很多不同的数学公式可以用来计算TF- IDF，这样的词条应该给它们赋予较高的权重。最后，以确定文件在搜寻结果中出现的顺序，然后除以文件集里包含的文件总数，IDF越大。 TFIDF的主要思想是,000)，如果一个词条在一个类的文档中频繁出现.0001)，也就是n越小.03 (3/，而词语“母牛”出现了3次;0TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。但是实际上,000