爬蟲更新演算法

㈠ 請問什麼是網路爬蟲啊是干什麼的呢

爬蟲就是能夠自動訪問互聯網並將網站內容下載下來的的程序或腳本，類似一個機器人，能把別人網站的信息弄到自己的電腦上，再做一些過濾，篩選，歸納，整理，排序等等。

網路爬蟲能做什麼：數據採集。

網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。

(1)爬蟲更新演算法擴展閱讀：

網路爬蟲按照系統結構和實現技術，大致可以分為以下幾種類型：通用網路爬蟲（General Purpose Web Crawler）、聚焦網路爬蟲（Focused Web Crawler）、增量式網路爬蟲（Incremental Web Crawler）、深層網路爬蟲（Deep Web Crawler）。 實際的網路爬蟲系統通常是幾種爬蟲技術相結合實現的 。

通用網路爬蟲

通用網路爬蟲又稱全網爬蟲（Scalable Web Crawler），爬行對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜索引擎和大型 Web 服務提供商採集數據。 由於商業原因，它們的技術細節很少公布出來。 這類網路爬蟲的爬行范圍和數量巨大，對於爬行速度和存儲空間要求較高，對於爬行頁面的順序要求相對較低，同時由於待刷新的頁面太多，通常採用並行工作方式，但需要較長時間才能刷新一次頁面。 雖然存在一定缺陷，通用網路爬蟲適用於為搜索引擎搜索廣泛的主題，有較強的應用價值 。

通用網路爬蟲的結構大致可以分為頁面爬行模塊 、頁面分析模塊、鏈接過濾模塊、頁面資料庫、URL 隊列、初始 URL 集合幾個部分。為提高工作效率，通用網路爬蟲會採取一定的爬行策略。 常用的爬行策略有：深度優先策略、廣度優先策略 。

1) 深度優先策略：其基本方法是按照深度由低到高的順序，依次訪問下一級網頁鏈接，直到不能再深入為止。 爬蟲在完成一個爬行分支後返回到上一鏈接節點進一步搜索其它鏈接。 當所有鏈接遍歷完後，爬行任務結束。 這種策略比較適合垂直搜索或站內搜索， 但爬行頁面內容層次較深的站點時會造成資源的巨大浪費 。

2) 廣度優先策略：此策略按照網頁內容目錄層次深淺來爬行頁面，處於較淺目錄層次的頁面首先被爬行。 當同一層次中的頁面爬行完畢後，爬蟲再深入下一層繼續爬行。 這種策略能夠有效控制頁面的爬行深度，避免遇到一個無窮深層分支時無法結束爬行的問題，實現方便，無需存儲大量中間節點，不足之處在於需較長時間才能爬行到目錄層次較深的頁面。

聚焦網路爬蟲

聚焦網路爬蟲（Focused Crawler），又稱主題網路爬蟲（Topical Crawler），是指選擇性地爬行那些與預先定義好的主題相關頁面的網路爬蟲。 和通用網路爬蟲相比，聚焦爬蟲只需要爬行與主題相關的頁面，極大地節省了硬體和網路資源，保存的頁面也由於數量少而更新快，還可以很好地滿足一些特定人群對特定領域信息的需求 。

聚焦網路爬蟲和通用網路爬蟲相比，增加了鏈接評價模塊以及內容評價模塊。聚焦爬蟲爬行策略實現的關鍵是評價頁面內容和鏈接的重要性，不同的方法計算出的重要性不同，由此導致鏈接的訪問順序也不同 。

增量式網路爬蟲

增量式網路爬蟲（Incremental Web Crawler）是 指 對 已 下 載 網 頁 采 取 增 量式更新和只爬行新產生的或者已經發生變化網頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面。 和周期性爬行和刷新頁面的網路爬蟲相比，增量式爬蟲只會在需要的時候爬行新產生或發生更新的頁面 ，並不重新下載沒有發生變化的頁面，可有效減少數據下載量，及時更新已爬行的網頁，減小時間和空間上的耗費，但是增加了爬行演算法的復雜度和實現難度。增量式網路爬蟲的體系結構[包含爬行模塊、排序模塊、更新模塊、本地頁面集、待爬行 URL 集以及本地頁面URL 集 。

增量式爬蟲有兩個目標：保持本地頁面集中存儲的頁面為最新頁面和提高本地頁面集中頁面的質量。 為實現第一個目標，增量式爬蟲需要通過重新訪問網頁來更新本地頁面集中頁面內容，常用的方法有：1) 統一更新法：爬蟲以相同的頻率訪問所有網頁，不考慮網頁的改變頻率；2) 個體更新法：爬蟲根據個體網頁的改變頻率來重新訪問各頁面；3) 基於分類的更新法：爬蟲根據網頁改變頻率將其分為更新較快網頁子集和更新較慢網頁子集兩類，然後以不同的頻率訪問這兩類網頁 。

為實現第二個目標，增量式爬蟲需要對網頁的重要性排序，常用的策略有：廣度優先策略、PageRank 優先策略等。IBM 開發的 WebFountain是一個功能強大的增量式網路爬蟲，它採用一個優化模型控制爬行過程，並沒有對頁面變化過程做任何統計假設，而是採用一種自適應的方法根據先前爬行周期里爬行結果和網頁實際變化速度對頁面更新頻率進行調整。北京大學的天網增量爬行系統旨在爬行國內 Web，將網頁分為變化網頁和新網頁兩類，分別採用不同爬行策略。 為緩解對大量網頁變化歷史維護導致的性能瓶頸，它根據網頁變化時間局部性規律，在短時期內直接爬行多次變化的網頁 ，為盡快獲取新網頁，它利用索引型網頁跟蹤新出現網頁 。

Deep Web 爬蟲

Web 頁面按存在方式可以分為表層網頁（Surface Web）和深層網頁（Deep Web，也稱 Invisible Web Pages 或 Hidden Web）。 表層網頁是指傳統搜索引擎可以索引的頁面，以超鏈接可以到達的靜態網頁為主構成的 Web 頁面。Deep Web 是那些大部分內容不能通過靜態鏈接獲取的、隱藏在搜索表單後的，只有用戶提交一些關鍵詞才能獲得的 Web 頁面。例如那些用戶注冊後內容才可見的網頁就屬於 Deep Web。 2000 年 Bright Planet 指出：Deep Web 中可訪問信息容量是 Surface Web 的幾百倍，是互聯網上最大、發展最快的新型信息資源 。

㈡ 網路爬蟲技術的概述與研究

爬蟲技術概述
網路爬蟲（Web crawler），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，它們被廣泛用於互聯網搜索引擎或其他類似網站，可以自動採集所有其能夠訪問到的頁面內容，以獲取或更新這些網站的內容和檢索方式。從功能上來講，爬蟲一般分為數據採集，處理，儲存三個部分。
傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。
相對於通用網路爬蟲，聚焦爬蟲還需要解決三個主要問題：
(1) 對抓取目標的描述或定義；
(2) 對網頁或數據的分析與過濾；
(3) 對URL的搜索策略。

㈢ 網路爬蟲採用哪種演算法策略

基於網頁內容的分析演算法指的是利用網頁內容（文本、數據等資源）特徵進行的網頁評價。網頁的內容從原來的以超文本為主，發展到後來動態頁面（或稱為Hidden Web）數據為主，後者的數據量約為直接可見頁面數據（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒體數據、Web Service等各種網路資源形式也日益豐富。因此，基於網頁內容的分析演算法也從原來的較為單純的文本檢索方法，發展為涵蓋網頁數據抽取、機器學習、數據挖掘、語義理解等多種方法的綜合應用。本節根據網頁數據形式的不同，將基於網頁內容的分析演算法，歸納以下三類：第一種針對以文本和超鏈接為主的無結構或結構很簡單的網頁；第二種針對從結構化的數據源（如RDBMS）動態生成的頁面，其數據不能直接批量訪問；第三種針對的數據界於第一和第二類數據之間，具有較好的結構，顯示遵循一定模式或風格，且可以直接訪問。

基於文本的網頁分析演算法

1) 純文本分類與聚類演算法

很大程度上借用了文本檢索的技術。文本分析演算法可以快速有效的對網頁進行分類和聚類，但是由於忽略了網頁間和網頁內部的結構信息，很少單獨使用。

2) 超文本分類和聚類演算法

根據網頁鏈接網頁的相關類型對網頁進行分類，依靠相關聯的網頁推測該網頁的類型。

參見網路：http://ke..com/view/284853.htm?fromtitle=%E7%BD%91%E7%BB%9C%E8%9C%98%E8%9B%9B&fromid=371999&type=syn

㈣ 網路爬蟲採用的是哪種演算法策略

在爬蟲系統中，待抓取URL隊列是很重要的一部分。待抓取URL隊列中的URL以什麼樣的順序排列也是一個很重要的問題，因為這涉及到先抓取那個頁面，後抓取哪個頁面。而決定這些URL排列順序的方法，叫做抓取策略。下面重點介紹幾種常見的抓取策略：

1.深度優先遍歷策略

深度優先遍歷策略是指網路爬蟲會從起始頁開始，一個鏈接一個鏈接跟蹤下去，處理完這條線路之後再轉入下一個起始頁，繼續跟蹤鏈接。我們以下面的圖為例： 遍歷的路徑：A-F-G E-H-I B C D 2.寬度優先遍歷策略 寬度優先遍歷策略的基本思路是，將新下載網頁中發現的鏈接直接插入待抓取URL隊列的末尾。也就是指網路爬蟲會先抓取起始網頁中鏈接的所有網頁，然後再選擇其中的一個鏈接網頁，繼續抓取在此網頁中鏈接的所有網頁。還是以上面的圖為例： 遍歷路徑：A-B-C-D-E-F G H I 3.反向鏈接數策略 反向鏈接數是指一個網頁被其他網頁鏈接指向的數量。反向鏈接數表示的是一個網頁的內容受到其他人的推薦的程度。因此，很多時候搜索引擎的抓取系統會使用這個指標來評價網頁的重要程度，從而決定不同網頁的抓取先後順序。 在真實的網路環境中，由於廣告鏈接、作弊鏈接的存在，反向鏈接數不能完全等他我那個也的重要程度。因此，搜索引擎往往考慮一些可靠的反向鏈接數。 4.Partial PageRank策略 Partial PageRank演算法借鑒了PageRank演算法的思想：對於已經下載的網頁，連同待抓取URL隊列中的URL，形成網頁集合，計算每個頁面的PageRank值，計算完之後，將待抓取URL隊列中的URL按照PageRank值的大小排列，並按照該順序抓取頁面。 如果每次抓取一個頁面，就重新計算PageRank值，一種折中方案是：每抓取K個頁面後，重新計算一次PageRank值。但是這種情況還會有一個問題：對於已經下載下來的頁面中分析出的鏈接，也就是我們之前提到的未知網頁那一部分，暫時是沒有PageRank值的。為了解決這個問題，會給這些頁面一個臨時的PageRank值：將這個網頁所有入鏈傳遞進來的PageRank值進行匯總，這樣就形成了該未知頁面的PageRank值，從而參與排序。下面舉例說明： 5.OPIC策略策略 該演算法實際上也是對頁面進行一個重要性打分。在演算法開始前，給所有頁面一個相同的初始現金（cash）。當下載了某個頁面P之後，將P的現金分攤給所有從P中分析出的鏈接，並且將P的現金清空。對於待抓取URL隊列中的所有頁面按照現金數進行排序。 6.大站優先策略 對於待抓取URL隊列中的所有網頁，根據所屬的網站進行分類。對於待下載頁面數多的網站，優先下載。這個策略也因此叫做大站優先策略。

㈤ 什麼是爬蟲技術是什麼

對於很多企業來說，數據是很重要的，因為通過數據，我們可以直觀的觀察和分析數據，而不像以前那樣只能靠直觀，依靠行業趨勢，非常模糊。

目前，爬行是獲取數據的主要方式。正如爬蟲工作者所知，爬蟲時IP很容易被封堵，這是因為有了反爬蟲機制，所以才使用代理IP。

那麼，我們先來看看，爬蟲的種類是什麼？

普通爬蟲：從一個或多個初始網頁的URL開始，獲取該初始網頁上的URL，在抓取該網頁的過程中，不斷地從當前網頁提取新URL，然後將該URL放置到隊列中，直到系統停止條件滿足為止。

焦點搜索：工作流程比較復雜，需要根據某些網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接，放置到URL隊列中等待抓取。接著按照一定的搜索策略，從隊列中選擇下一步要抓取的網頁URL，重復以上過程，直到系統滿足一定的條件。另外，所有被爬蟲抓取的網頁都存儲在系統中，進行一定的分析和過濾，並建立索引供日後查詢和檢索。對焦點爬蟲來說，此過程所獲得的分析結果也可反饋並指導後續的抓取過程。