伺服器日誌怎麼查看是否有爬蟲

『壹』 如何查看百度蜘蛛爬行記錄

現在的網路蜘蛛機器人決非以前的機器人了，貌似更聰明，爬行也更靈活多變，今天我們就用實例給大家談談。 一、爆發式爬行 不知網路蜘蛛是不是喜歡高效率的爬行，有時網路蜘蛛能在一兩分鍾內爬行幾百次。比如我的站，天天基本上網路蜘蛛都會爆發式爬行幾次，早上6點鍾有一次大約爬行300次;上午9點鍾的時候有一次也是爬行300多次;13點的時候也有一次，不過要少一點，只有200多次;18點的時候也有一次，大約會爬行400多次，23點的時候也有一次，大約只有250次。有時候，我查看具體爬行記錄時，這些爆發式爬行基本上不會超過五分鍾。有一次，我的站不知是哪個會事，網路蜘蛛在兩分鍾內爬行了1800多次，我當時就有點納悶，網路蜘蛛機器人的運算速度可真是驚人。不過我現在基本上知是哪個會事了，由於蜘蛛機器人，它爬行一段時間過後，蜘蛛機器人在去運算程序，看是否是原來收錄過的，是否是原創什麼的，是否應該收錄等等。 二、 確認式爬行 確認式爬行方式網路也是在9月底才開始試行，那麼什麼是確認式爬行呢，就是指你網站更新一個內容過後，網路第一次爬行過後，一定不會給你放出收錄來，網路蜘蛛還要進行第二次爬行在運算、比較計算的，假如以為你這個更新內容有必要收錄，網路蜘蛛會進行第三次爬行，正常情況下網路蜘蛛不會進行第四次爬行。第三次確認過後，網路蜘蛛就會慢慢的給你放出收錄。 這種確認式爬行方式，就有點類似與谷歌的爬行方式。網路蜘蛛機器人爬行首頁的方式還是同原來一樣，一天不知要爬行多少次首頁，其它頁面，假如網路以為有必要進行計算的話，就會進行第二次確認爬行。比如我的站吧，我天天更新的內容，只要是網路蜘蛛機器人爬行了三次的，基本上都會放出收錄來。爬行兩次了的，都不會放出來。爬行四次的基本上沒有看到過。 三、穩定式爬行 穩定式爬行，指的是天天24小時，每一個小時的爬行量相差不大。穩定式爬行往往是對新站才會出現，對於網路以為你站是成熟期的，假如出現了這種爬行方式，你可一定要小心了，這種爬行方式，你的站多半會被降權。第二天就能看出來，首頁的快照日期，一定不會給你更新的。比如我的站aabc.cn，每一個小時內的爬行量，從圖表中看出來都相差無幾。所以這個站的首頁基本上不會出現24小時快照。天天我更新的內容一樣會收錄一些。就比如一個人做任何事式的，沒有了激情，也就沒有了爆發力，當然不會賣力幹事的，不賣力幹事，你說效果會有多好。 以上說了這么多，大家可能有疑問了，網路蜘蛛來沒有，我怎麼知道，這個很簡單你可以去查看伺服器的記錄日誌。你假如查看不了記錄日誌的話，看一下網站後台有沒有記錄蜘蛛爬行記錄的。給大家推薦一款源碼露珠CMS，這個建站源碼後台能比較清楚的記錄各大搜索機器人的痕跡，有各個機器人來訪的時間，來訪的頁面，對來訪的具體數據作了分析，進行24小時時間段分析，對各個頻道的分析，對你所加的內容的版塊進行分析。對各大搜索機器人喜歡你網站的哪個頻道，哪個版塊都進行了分析，同時也給你提出了補救其它頻道和版塊的建議，哪個時間加內容收錄最快等等。 綜上所述，網路蜘蛛對每一個網站的爬行規律是不一樣的，只有我們自己認真的比對分析，才能總結出更加完美的更新網站的方式，只有我們把握了網路蜘蛛的一些規律，我們更新內容才能有的放矢。

『貳』 如何識別ip是否為百度蜘蛛爬蟲ip

登錄網站空間後台，找到當天的網站日誌
按住「ctrl+F」搜索「spider"爬行記錄。
選中其中一個「spider」對應的ip地址
打開電腦cmd窗口。
在CMD窗口中輸入「tracert+ip」回車。tracert後面一定要空格之後在輸入ip地址
查看是否有「spider」字樣，如果有說明是網路的蜘蛛，如果沒有則不是