tf演算法

❶ tf-idf 演算法中，在計算tf歸一化的時候，分母取值不太清楚

如果文本中的詞只有3個『好人』和2個『壞人』，那麼分母就是2+3，即分母是該文本中所有詞出現的頻次

❷ 百度和Google的搜索演算法，技術有何差異

網路是中國的，谷歌是美國的。各有側重不能不可比較。技術都是一樣的側重不同罷了。網路側重的是中國民俗，谷歌是側重美國民俗。因為國情國法不同所以無可能比較量級。【搜索引擎技術是硬體加軟體。硬體是實際使用的機器，軟體是程序編程】搜索產品搜索引擎產品其實包括很多種類，並不限於我們最熟悉的全網搜索引擎。簡單分類羅列一下：*全網搜索：包括市場份額最高的幾大搜索引擎巨頭，Google,Yahoo,Bing。*中文搜索：在中文搜索市場中，網路一家獨大，其它幾家如搜狗、搜搜、有道，市場份額相對還比較小。*垂直搜索：在各自的垂直領域成為搜索入口的，購物的淘寶，美食的大眾點評，旅遊的去哪兒，等等。*問答搜索：專注於為問句式提供有效的答案，比如Ask.com；其它的如問答社區像Quora和國內的知乎，應該也會往這方面發展。*知識搜索：典型代表就是WolframAlpha，區別於提供搜索結果列表，它會針對查詢提供更詳細的整合信息。*雲搜索平台：為其它產品和應用提供搜索服務託管平台(SaaS或是PaaS)，Amazon剛剛推出它的CloudSearch,IndexTank在被Linkedin收購之前也是做這項服務。*其它：比始DuckDuckGo，主打隱私保護，也有部分用戶買帳。各種搜索產品在各自領域都需要解決特定的技術和業務問題，所以也可以建立相對通用搜索的優勢，來得到自己的市場和用戶。搜索技術搜索引擎所涉及和涵蓋的技術范圍非常廣，涉及到了系統架構和演算法設計等許多方面。可以說由於搜索引擎的出現，把互聯網產品的技術水平提高到了一個新的高度；搜索引擎無論是在數據和系統規模，還是演算法技術的研究應用深度上，都遠超之前的簡單互聯網產品。列舉一些搜索引擎所涉及到的技術點：*爬蟲(Crawling)*索引結構(InvertedIndex)*檢索模型(VSM&TF-IDF)*搜索排序(RelevanceRanking&Evaluation)*鏈接分析(LinkAnalysis)*分類(Document&QueryClassification)*自然語言處理(NLP:Tokenization,Lemmatization,POSTagging,NER,etc.)*分布式系統(DistributedProcessing&Storage)*等等雖然搜索引擎涉及的技術方方面面，但歸結起來最關鍵的幾點在於：*系統：大規模分布式系統，支撐大規模的數據處理容量和在線查詢負載*數據：數據處理和挖掘能力*演算法：搜索相關性排序，查詢分析，分類，等等系統搜索引擎系統是一個由許多模塊組成的復雜系統。核心模塊通常包括：爬蟲，索引，檢索，排序。除了必需的核心模塊之外，通常還需要一些支持輔助模塊，常見的有鏈接分析，去重，反垃圾，查詢分析，等等。[附圖：搜索系統架構概念模型]*爬蟲從互聯網爬取原始網頁數據，存儲於文檔伺服器。*文檔伺服器存儲原始網頁數據，通宵是分布式Key-Value資料庫，能根據URL/UID快速獲取網頁內容。*索引讀取原始網頁數據，解析網頁，抽取有效欄位，生成索引數據。索引數據的生成方式通常是增量的，分塊/分片的，並會進行索引合並、優化和刪除。生成的索引數據通常包括：字典數據，倒排表，正排表，文檔屬性等。生成的索引存儲於索引伺服器。*索引伺服器存儲索引數據，主要是倒排表。通常是分塊、分片存儲，並支持增量更新和刪除。數據內容量非常大時，還根據類別、主題、時間、網頁質量劃分數據分區和分布，更好地服務在線查詢。*檢索讀取倒排表索引，響應前端查詢請求，返回相關文檔列表數據。*排序對檢索器返回的文檔列表進行排序，基於文檔和查詢的相關性、文檔的鏈接權重等屬性。*鏈接分析收集各網頁的鏈接數據和錨文本（AnchorText），以此計算各網頁鏈接評分，最終會作為網頁屬性參與返回結果排序。*去重提取各網頁的相關特徵屬性，計算相似網頁組，提供離線索引和在線查詢的去重服務。*反垃圾收集各網頁和網站歷史信息，提取垃圾網頁特徵，從而對在線索引中的網頁進行判定，去除垃圾網頁。*查詢分析分析用戶查詢，生成結構化查詢請求，指派到相應的類別、主題數據伺服器進行查詢。*頁面描述/摘要為檢索和排序完成的網頁列表提供相應的描述和摘要。*前端接受用戶請求，分發至相應伺服器，返回查詢結果[附圖：爬蟲系統架構]爬蟲系統也是由多個模塊構成：*URLScheler存儲和高度待爬取的網頁地址。*Downloader根據指定的網頁列表爬取網頁內容，存儲至文檔伺服器。*Processer對網頁內容進行簡單處理，提取一些原始屬性，為爬取的後續操作服務。*TrafficController爬取流量控制，防止對目標網站在短時間內造成過大負載[附圖：搜索系統架構實例：Google這是Google早期的一張系統架構圖，可以看出Google系統的各模塊基本和前面概念模型一致。所以一個完整的全網搜索系統的大致系統架構是類似的，區別和競爭力體現在細節實現和優化上。數據除了搜索引擎系統提供了系統支撐外，搜索結果質量很大程度上依賴於源數據的數量和質量，以及數據處理的能力。全網數據的主要來源通常是從互聯網上進行自動爬取，從一些高質量的種子站點開始，並沿網頁鏈接不斷，收集巨量的網頁數據；這通常能達到數據在數量的要求，但也不可避免混入了大量的低質量網頁。除了自動爬取來的數據外，搜索引擎的數據來源還可以來自人工收集、合作夥伴提供、第三方數據源和API、以及購買；這些來源通常會有更好的質量保證，但在數量規模和覆蓋率上會相對少一些，可以和爬取的數據形成有效的互補。收集到足量的原始數據後，需要進行各種數據處理操作，把原始數據轉換成在線檢索需要的數據。這個過程通常包括：網頁分析，數據抽取，文本處理和分詞，索引及合並；最終生成的數據會包括：詞典，倒排表，正排表，文檔權重和各種屬性。最終生成的數據要布署上相應的在線檢索伺服器上，通常會進行數據分區和分片布署，數據內容更豐富時還可能根據內容分類和主題進行分別布署，比如新聞時效類的網頁可能就會獨立布署，針對性地響應時效類的查詢[附圖：索引數據：字典、倒排表、正排表]這張圖來源於Google早期的索引數據結構，包括詞典、倒排表、正排表。演算法有了相當數量的高質量數據之後，搜索結果的質量改進就取決於搜索演算法的准確性上。現在的搜索引擎通常通過向量空間模型（VSM=VectorSpaceModel）來計算查詢和各文檔之間的文本相似性；即把查詢或文檔抽象成一個詞向量，然後再計算向量在向量空間中的夾角，可以用餘弦公式得出，作為文本相似度的度量值。在基本的向量空間模型基礎上通常會進一步加入詞的權重值進行改進，通過經典的TF-IDF公式得出，即詞頻（TF）乘上逆文檔頻率（IDF）；其中TF=TermFrequency，即該詞在所在文檔中的出現次數；IDF=InvertDocumentFrequency，即包含該詞的文檔數除以總文檔數，再取反，通常還會取對數來降維，這個值值越大表示這個詞越能代表文檔特徵。除了通過向量空間模型得出的文本匹配評分外，每個文檔還會有自己本身的質量評分，通常由網頁鏈接數據計算得出，代表了該網頁本身的流行度權重。最終的評分會以文本匹配的查詢時動態評分和文檔靜態評分為基礎計算得出；搜索引擎的評分計算都會考慮很多因素，但這兩項通常是評分計算的基礎。有了確定的排序演算法後，另一個重要的任務就是評估搜索結果的質量。由於搜索結果的好與壞是一個比較主觀的過程，所以進行定量的評估並不容易。常見的做法是通過事先選定一批查詢，通過人工評估或是預先設定標准值的方式，逐個評估每個設定查詢搜索結果，最終得到一個統計結果，作為搜索演算法的評估度量。另一類做法是直接通過線上的用戶點擊數據來統計評估搜索結果質量，或是通過A/B測試來比較兩種排序演算法的點擊效果來衡量。合理而有效的評估方法，是搜索演算法可以不斷改進和比較的前提。查詢分析是另一個對搜索結果影響很大的方面，主要任務是把用戶的查詢文本轉換成內部的結構化的搜索請求。涉及的處理可能包括基本的分詞處理，專有名詞的識別和提取，或是查詢模式的識別，或是查詢分類的識別。這些處理的准確性將能極大地改進搜索請求的方式，進一步影響搜索結果的相關性和質量。開源方案近年來在搜索公司內部搜索系統和技術的改進和發展的同時，一批開源的搜索系統和解決方案也逐漸發展和成熟起來。當然開源系統在功能全面性、復雜性和規模上都不能與專業的搜索引擎系統相比，但對於中小企業的搜索應用來說應該已經能很好地滿足需求，而且也成功應用到了一些大規模的產品系統中（比如Twitter的搜索就使用和改進了Lucene）。現在比較常見的開源搜索解決方案有：*LuceneLucene自然是現在最流行，使用度最高的搜索開源方案。它用java開發，以索引和檢索庫的方式提供，可以很容易地嵌入需要的應用中。*Solr&SolrCloudSolr是Lucene的子項目，同屬Apache軟體基金會項目；它是基於Lucene之上實的一個完整的搜索服務應用，提供了大量的搜索定製功能，可以滿足大部分的搜索產品需求。SolrCloud是Solr為了加強其分布式服務能力而開發的功能，目前還在開發階段，將在Solr4.0發布。*Zoie&Sensei(Linkedin)Zoie是Linkedin公司在Lucene基礎上實現的准實時索引庫，通過加入額外的內存索引，來達到准實時索引的效果。Sensei是Linkedin公司在Zoie基礎上實現的分布式搜索服務，通過索引分區來實現分布式搜索服務。*ElasticSearchElasticSearch也是剛推出不久的一個基於Lucene實現的分布式搜索服務，據說在分布式支持和易用性上都有不錯的表現。因為還比較年輕，真實的應用應該還不多，需要觀察。因為也是基於Lucene的分布式開源搜索框架，基本上會與SolrCloud和Sensei形成正面競爭關系。*其它開源產品除了Lucene家族以外，還有一些其它的開源產品，比如Sphinx和Xapian，也有不少的應用；但近年來的更新頻率和社區活躍度都不太能和Lucene系的產品相比。*託管平台除了開源產品外，現在還出現了一些基於雲計算和雲服務的搜索服務，比如Amazon新近推了的CloudSearch，還有更早一些的IndexTank（已被Linkedin收購）。這類服務無需自己布置搜索系統，直接使用在線服務，按需付費，所以也將是開源產品的替代方案和競爭對手。附幾張上面提到的開源系統的概念模型和架構圖：[附圖：Lucene概念模型][附圖：Lucene工作流程][附圖：Sensei系統架構][附圖：SolrCloud系統架構]現狀與未來：傳統的搜索引擎經過了十幾年的發展，目前在技術和產品上都已走向逐漸穩定和成熟，通用搜索的市場也基本進入飽和，不像早些年一直呈現高增長率。同時，在各個垂直領域，也出現了很多和產品結合的很好的垂直搜索產品，比如淘寶的購物搜索，大眾點評的美食搜索，去哪兒和酷訊的旅遊搜索等，也都在各自領域占據了相當大的市場，成為除了通用搜索引擎之外的重要的用戶入口。在開源領域，各種開源產品和解決方案也逐漸發展成熟，通用搜索技術不再為大公司所專有，中小企業能夠以較低的成本實現自己的搜索應用。現在搜索引擎產品之間的競爭的在數據、應用方式和產品形態上，在系統架構和基本演算法上區分並不大。搜索引擎在未來發展上，一是搜索將不僅僅以獨立產品的形式出現，的會作為搜索功能整合到的產品和應用中。在產品形態上，基於傳統的搜索引擎，會演化出像推薦引擎，知識引擎，決策引擎等形式的產品，更好地滿足和服務用戶需求。而搜索引擎所涉及和發展起來的各種技術，會更廣泛地應用到各種基它產品上，比如自然語言處理，推薦和廣告，數據挖掘，等等。總之，搜索引擎對互聯網技術和產品帶來的影響是巨大的，未來也仍將有很大的發展和應用空間。

❸ tfidf演算法的log底數是多少

底數是10，比如總共1000篇文章，出現關鍵詞的文章有100篇，後面的idf對數值就是2

❹ tfidf是什麼的一種經典演算法

是一種用於資訊檢索與資訊探勘的常用加權技術。TF-IDF是一種統計方法，用以評估一字詞對於一個文件集或一個語料庫中的其中一份文件的重要程度。

❺ 已知f(t)的傅里葉變換為F(w),則tf'(t)的傅里葉變換是多少。求詳解

對於tf(2t)，應先利用尺度變換性質求f(2t)的頻譜為F(w/2)/2，然後再利用線性加權性質（或頻域微分性質）求，對上一個結果以w為變數進行微分，再乘以虛數因子j，結果為jF`(w/2)/4。

對於第二個則先利用時域微分性質求出df(t)/dt的變換為jwF(w)，然後再利用線性加權性質求，對jwF(w)以w為變數進行微分，再乘以虛數因子j，結果為-F(w)-wF`(w)。

快速傅氏變換（FFT），是離散傅氏變換的快速演算法，它是根據離散傅氏變換的奇、偶、虛、實等特性，對離散傅立葉變換的演算法進行改進獲得的。它對傅氏變換的理論並沒有新的發現，但是對於在計算機系統或者說數字系統中應用離散傅立葉變換，可以說是進了一大步。

(5)tf演算法擴展閱讀：

在這些演算法中，基2演算法用得最普遍。通常按序列在時域或在頻域分解過程的不同，又可分為兩種：一種是時間抽取FFT演算法（DIT），將N點DFT輸入序列x(n)、在時域分解成2個N/2點序列而x1(n)和x2(n)。

前者是從原序列中按偶數序號抽取而成，而後者則按奇數序號抽取而成。DIT就是這樣有規律地按奇、偶次序逐次進行分解所構成的一種快速演算法。

FFT的基本思想是把原始的N點序列，依次分解成一系列的短序列。充分利用DFT計算式中指數因子 所具有的對稱性質和周期性質，進而求出這些短序列相應的DFT並進行適當組合，達到刪除重復計算，減少乘法運算和簡化結構的目的。

此後，在這思想基礎上又開發了高基和分裂基等快速演算法，隨著數字技術的高速發展，1976年出現建立在數論和多項式理論基礎上的維諾格勒傅里葉變換演算法(WFTA）和素因子傅里葉變換演算法。它們的共同特點是，當N是素數時，可以將DFT算轉化為求循環卷積，從而更進一步減少乘法次數，提高速度。

❻ 試按tf-idf在刪除一些常用詞後給出文本中術語的統計演算法和程序，並按降序進行排序

。。。。。。前排就座，等待答案帝，鄙視一樓

❼ 求工程進度中ES、EF、LS、LF、TT、FT的計算方法，通俗易懂些，呵呵，謝謝

先解釋一下這幾個的意思

ES：最早開始
EF：最早結束
LS：最遲開始

LF：最遲完成
DU：活動歷時
FT：總時差

然後說一下他們之間的換算

EF（最早結束）=ES（最早開始）+DU（活動歷時）
LF（最遲完成）=LS（最遲開始）+DU（活動歷時）
FT（總時差）=LF（最遲完成）-EF（最早結束）

❽ 求TF-IDF演算法的C++或java源碼。

之前寫過的，請加分。

#include<map>
#include<set>
#include<string>
#include<iostream>
#include<fstream>
#include<vector>
#include<cmath>
#include<algorithm>
usingnamespacestd;
map<string,float>IDFTable;
structWords{
	stringwd;
	floatfreq;
	floatweight;
};
boolcmp(Words&w1,Words&w2)
{
	returnw1.weight>w2.weight;
}
map<string,int>WordTable;
vector<Words>WordList;
charComment[]=",.!"?;:()";
inttotalText=0;
boolIsAllNumber(stringcs)
{
	for(inti=0;i<cs.length();i++)
	{
		if(cs[i]<'0'||cs[i]>'9')
			returnfalse;
	}
	returntrue;
}
boolIsblank(stringcs)
{
	for(inti=0;i<cs.length();i++)
	{
		if(cs[i]!=''&&cs[i]!='	')
			returnfalse;
	}
	returntrue;
}
string&ToLower(string&cs)
{
	for(inti=0;i<cs.length();i++)
	{
		if(cs[i]>='A'&&cs[i]<='Z')
			cs[i]+=('a'-'A');
	}
	returncs;
}
voidreadFile(stringfname,set<string>&wds)
{
	ifstreamfin(fname.c_str());
	stringword;
	wds.clear();
	while(!fin.eof())
	{
		fin>>word;
		for(inti=0;Comment[i]!=0;i++)
		{
			intpos;
			while((pos=word.find(Comment[i]))!=-1)
			{
				word.replace(pos,1,"");
			}
		}
		//theworld;
		if(!IsAllNumber(word)&&!Isblank(word))
		{
			wds.insert(ToLower(word));
		}
		/*totalwords++;
		*/
	}
	fin.close();
}
voidGenerateIDF()
{
	totalText=0;
	stringfiles[7]={"curious.txt",
		"erotic.txt",
		"fall.txt",
		"hands.txt",
		"water.txt",
		"wifi.txt",
		"young.txt"};
	intx;
	set<string>wds;
	for(inti=0;i<7;i++)
	{
		readFile(files[i],wds);
		for(set<string>::iteratorit=wds.begin();it!=wds.end();++it)
		{
			map<string,float>::iteratoriter;
			stringword=*it;
			if((iter=IDFTable.find(word))!=IDFTable.end())
			{
				iter->second+=1;
			}
			else
			{
				IDFTable[word]=1;
			}
		}
		totalText++;
	}
	//
	intcnt=0;
	for(map<string,float>::iteratoriter=IDFTable.begin();iter!=IDFTable.end();++iter)
	{
		iter->second=log((float)totalText/(iter->second+1.0));
		/*cout<<iter->first<<''<<iter->second<<endl;
		cnt++;
		if(cnt%100==0)
		{
			cin>>x;
		}*/
	}
}
intGenerateTF(){
	ifstreamfin("Test.txt");
	stringword;
	inttextwords=0;
	while(!fin.eof())
	{
		fin>>word;
		for(inti=0;Comment[i]!=0;i++)
		{
			intpos;
			while((pos=word.find(Comment[i]))!=-1)
			{
				word.replace(pos,1,"");
			}
		}
		if(!IsAllNumber(word)&&!Isblank(word))
		{
			//wds.insert(ToLower(word));
			textwords++;
			ToLower(word);
			map<string,int>::iteratorit;
			if((it=WordTable.find(word))!=WordTable.end())
			{
				it->second++;
			}
			else
			{
				WordTable[word]=1;
			}

		}
		
		
	}
	fin.close();
	//計算頻率
	for(map<string,int>::iteratorit=WordTable.begin();it!=WordTable.end();++it)
	{
		Wordswd;
		wd.wd=it->first;
		wd.freq=(float)(it->second)/textwords;
		floatidf=0;
		map<string,float>::iteratoriter;
		if((iter=IDFTable.find(wd.wd))!=IDFTable.end())
		{
			idf=iter->second;
		}
		else
			idf=log((float)totalText);
		wd.weight=wd.freq*idf;
		WordList.push_back(wd);
	}

	returntextwords;
}
voidGenerateSort()
{
	sort(WordList.begin(),WordList.end(),cmp);
}
intmain(){
	GenerateIDF();
	inttxtwd=GenerateTF();
	GenerateSort();
	inttopnum=10;
	cout<<"TotalWords:"<<txtwd<<"Top"<<topnum<<":
";
	cout<<"Wrod		Weight
";
	for(inti=0;i<topnum;i++)
	{
		cout<<WordList[i].wd<<"		"<<WordList[i].weight<<endl;
	}
}

❾ tf-idf演算法為什麼要取對數

所以,000，TF-IDF分數就可以由計算詞頻除以文件頻率而得到。一個計算文件頻率 (DF) 的方法是測定有多少份文件出現過「母牛」一詞。TFIDF實際上是，當m大的時候，則說明詞條t具有很好的類別區分能力：如果某個詞或短語在一篇文章中出現的頻率TF高。字詞的重要性隨著它在文件中出現的次數成正比增加，IDF反文檔頻率(Inverse Document Frequency)，適合用來分類，顯然所有包含t的文檔數n=m+k，而其它類包含t的文檔總數為k。以上面的例子來說，其文件頻率就是 0，網際網路上的搜尋引擎還會使用基於連結分析的評級方法。TF-IDF是一種統計方法,000份的話。TF-IDF加權的各種形式常被搜尋引擎應用。這就是IDF的不足之處。IDF的主要思想是，並選來作為該類文本的特徵詞以區別與其它類文檔，「母牛」一詞在該文件集的TF- IDF分數會是 300 (0。如果某一類文檔C中包含詞條t的文檔數為m，則認為此詞或者短語具有很好的類別區分能力，並且在其他文章中很少出現。詞頻 (TF) 是一詞語出現的次數除以該文件的總詞語數，作為文件與用戶查詢之間相關程度的度量或評級。TF表示詞條在文檔d中出現的頻率。除了TF-IDF以外;100)，而文件總數是 10，就說明該詞條t類別區分能力不強,000份文件出現過，則說明該詞條能夠很好代表這個類的文本的特徵.03/，按照IDF公式得到的IDF的值會小。假如一篇文件的總詞語數是100個.0001 (1000/10：如果包含詞條t的文檔越少，那麼「母牛」一詞在該文件中的詞頻就是 0，但同時會隨著它在語料庫中出現的頻率成反比下降，用以評估一字詞對於一個文件集或一個語料庫中的其中一份文件的重要程度，如果「母牛」一詞在1，n也大：TF * IDF，TF詞頻(Term Frequency). 有很多不同的數學公式可以用來計算TF- IDF，這樣的詞條應該給它們賦予較高的權重。最後，以確定文件在搜尋結果中出現的順序，然後除以文件集里包含的文件總數，IDF越大。 TFIDF的主要思想是,000)，如果一個詞條在一個類的文檔中頻繁出現.0001)，也就是n越小.03 (3/，而詞語「母牛」出現了3次;0TF-IDF（term frequency–inverse document frequency）是一種用於資訊檢索與資訊探勘的常用加權技術。但是實際上,000