如何檢測伺服器是否屏蔽蜘蛛ip
A. 請教,怎麼樣檢測,伺服器是不是屏蔽了蜘蛛的IP呢
一、網路設置的問題 這種原因比較多出現在需要手動指定IP、網關、DNS伺服器聯網方式下，及使用代理伺服器上網的。仔細檢查計算機的網路設置。 二、DNS伺服器的問題 當IE無法瀏覽網頁時，可先嘗試用IP地址來訪問，如用 Bbs.winzheng.com 的 ，如果可以訪問，那麼應該是DNS的問題，造成DNS的問題可能是連網時獲取DNS出錯或DNS伺服器本身問題，這時你可以手動指定DNS服務（地址可以是你當地ISP提供的DNS伺服器地址，也可以用其它地方可正常使用DNS伺服器地址。）在網路的屬性里進行，（控制面板—網路和拔號連接—本地連接—右鍵屬性—TCP/IP協議—屬性—使用下面的DNS伺服器地址）。不同的ISP有不同的DNS地址。有時候則是路由器或網卡的問題，無法與ISP的DNS服務連接，這種情況的話，可把路由器關一會再開，或者重新設置路由器。還有一種可能，是本地DNS緩存出現了問題。為了提高網站訪問速度，系統會自動將已經訪問過並獲取IP地址的網站存入本地的DNS緩存里，一旦再對這個網站進行訪問，則不再通過DNS伺服器而直接從本地DNS緩存取出該網站的IP地址進行訪問。所以，如果本地DNS緩存出現了問題，會導致網站無法訪問。可以在「運行」中執行ipconfig /flushdns來重建本地DNS緩存。 三、IE瀏覽器本身的問題 當IE瀏覽器本身出現故障時，自然會影響到瀏覽了；或者IE被惡意修改破壞也會導致無法瀏覽網頁。這時可以嘗試用「黃山IE修復專家」來修復（建議到安全模式下修復），或者重新IE（如重裝IE遇到無法重新的問題，可參考：附一解決無法重裝IE） 四、網路防火牆的問題 如果網路防火牆設置不當，如安全等級過高、不小心把IE放進了阻止訪問列表、錯誤的防火牆策略等，可嘗試檢查策略、降低防火牆安全等級或直接關掉試試是否恢復正常。 五、網路協議和網卡驅動的問題 IE無法瀏覽，有可能是網路協議（特別是TCP/IP協議）或網卡驅動損壞導致，可嘗試重新網卡驅動和網路協議。 六、HOSTS文件的問題 HOSTS文件被修改，也會導致瀏覽的不正常，解決方法當然是清空HOSTS文件里的內容。 七、系統文件的問題 當與IE有關的系統文件被更換或損壞時，會影響到IE正常的使用，這時可使用SFC命令修復一下，WIN98系統可在「運行」中執行SFC，然後執行掃描；WIN2000/XP/2003則在「運行」中執行sfc /scannow嘗試修復。 其中當只有IE無法瀏覽網頁，而QQ可以上時，則往往由於winsock.dll、wsock32.dll或wsock.vxd（VXD只在WIN9X系統下存在）等文件損壞或丟失造成，Winsock是構成TCP/IP協議的重要組成部分，一般要重裝TCP/IP協議。但xp開始集成TCP/IP協議，所以不能像98那樣簡單卸載後重裝，可以使用 netsh 命令重置 TCP/IP協議，使其恢復到初次安裝操作系統時的狀態。具體操作如下： 點擊「開始 運行」，在運行對話框中輸入「CMD」命令，彈出命令提示符窗口，接著輸入「netsh int ip reset c:\resetlog.txt」命令後會回車即可，其中「resetlog.txt」文件是用來記錄命令執行結果的日誌文件，該參數選項必須指定，這里指定的日誌文件的完整路徑是「c:\resetlog.txt」。執行此命令後的結果與刪除並重新安裝 TCP/IP 協議的效果相同。 小提示：netsh命令是一個基於命令行的腳本編寫工具，你可以使用此命令配置和監視Windows 系統，此外它還提供了互動式網路外殼程序介面，netsh命令的使用格式請參看幫助文件（在令提示符窗口中輸入「netsh/?」即可）。 第二個解決方法是修復以上文件，WIN9X使用SFC重新提取以上文件，WIN2000/XP/2003使用sfc /scannow命令修復文件,當用sfc /scannow無法修復時，可試試網上發布的專門針對這個問題的修復工具WinSockFix. 八、殺毒軟體的實時監控問題 這倒不是經常見，但有時的確跟實時監控有關，因為現在殺毒軟體的實時監控都添加了對網頁內容的監控。舉一個實例：KV2005就會在個別的機子上會導致IE無法瀏覽網頁（不少朋友遇到過），其具體表現是只要打開網頁監控，一開機上網
B. 如何查看某個IP是否被百度蜘蛛屏蔽了
首先查看網站的robots.txt，通常這個文件是在根目錄下的網站:
用戶代理:*
不允許:
這樣的表示是一個「擋箭牌」所有的搜索引擎。
用戶代理:Baispider
不允許:/
說，這屏蔽網路蜘蛛。
第二種觀點的站點代碼設置屏蔽:
間網站頁面代碼的
"robots"內容=「無存檔">
或「Baispider」=「無存檔」>
C. 如何識別ip是否為百度蜘蛛爬蟲ip
登錄網站空間後台，找到當天的網站日誌
按住「ctrl+F」搜索「spider"爬行記錄。
選中其中一個「spider」對應的ip地址
打開電腦cmd窗口。
在CMD窗口中輸入「tracert+ip」回車。tracert後面一定要空格之後在輸入ip地址
查看是否有「spider」字樣，如果有說明是網路的蜘蛛，如果沒有則不是
D. 怎麼判斷爬蟲伺服器的ip被網站封了
設置putty
打開putty，找到左邊的SSH，選擇Tunnels，然後在Source
port上填入你想要的埠號，然後Add一下，下面選擇Dynamic即可。現在你機器的127.0.0.1:埠號(例如：127.0.0.1:9999，當然使用localhost替換127.0.0.1也是可以的)就是代理伺服器了。設置好後需要用putty登錄到伺服器，並保持登錄狀態。然後設置一下瀏覽器的代理伺服器就可以了。
設置FireFox
工具–>選項–>高級–>網路，在SOCKS主機填入本機的IP以及剛才設置的代理埠號即可。
這樣設置之後，瀏覽器打開網站顯示的就是伺服器的IP了,直接用你的瀏覽器訪問網站，如果能不能打開對方的網站並且不用代理就能打開說明你的IP被網站封了。如果你的伺服器在國外也可以用來訪問國外的網站不會被屏蔽。如果想訪問facebook這樣的大網站還需要設置一下dns。使瀏覽器解析網站的時候用伺服器的dns，在Firefox的地址欄輸入
about:config
，找到network.proxy.socks_remote_dns，雙擊改成true即可。該選項是使用遠程代理伺服器來解析DNS，避免DNS欺騙。
E. 如何查看自己網站是否有蜘蛛來過
什麼是spider？
spider是網路搜索引擎的一個自動程序。它的作用是訪問互聯網上的html網頁，建立索引資料庫，使用戶能在網路搜索引擎中搜索到您網站的網頁。
spider對一個網站伺服器造成的訪問壓力如何？
spider會自動根據伺服器的負載能力調節訪問密度。在連續訪問一段時間後，spider會暫停一會，以防止增大伺服器的訪問壓力。所以在一般情況下，spider對您網站的伺服器不會造成過大壓力。
為什麼spider不停的抓取我的網站？
對於您網站上新產生的或者持續更新的頁面，spider會持續抓取。此外，您也可以檢查網站訪問日誌中spider的訪問是否正常，以防止有人惡意冒充spider來頻繁抓取您的網站。 如果您發現spider非正常抓取您的網站，請反饋至[email protected]，並請盡量給出spider對貴站的訪問日誌，以便於我們跟蹤處理。
我不想我的網站被spider訪問，我該怎麼做？
spider遵守互聯網robots協議。您可以利用robots.txt文件完全禁止spider訪問您的網站，或者禁止spider訪問您網站上的部分文件。 注意：禁止spider訪問您的網站，將使您的網站上的網頁，在網路搜索引擎以及所有網路提供搜索引擎服務的搜索引擎中無法被搜索到。
關於robots.txt的寫作方法，請參看我們的介紹：robots.txt寫作方法
為什麼我的網站已經加了robots.txt，還能在網路搜索出來？
因為搜索引擎索引資料庫的更新需要時間。雖然spider已經停止訪問您網站上的網頁，但網路搜索引擎資料庫中已經建立的網頁索引信息，可能需要二至四周才會清除。 另外也請檢查您的robots配置是否正確。
網路蜘蛛在robots.txt中的名字是什麼？
「spider」全部為小寫字母。
spider多長時間之後會重新抓取我的網頁？
網路搜索引擎每周更新，網頁視重要性有不同的更新率，頻率在幾天至一月之間，spider會重新訪問和更新一個網頁。
知道了什麼是網路蜘蛛，那麼怎麼才能知道蜘蛛是否來過你的站？這個可以從你伺服器或者虛擬主機的日誌中看出來，比如我用的虛擬主機的完整使用日誌中有這樣的記錄：
220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baispider+(+http://www..com/search/spider.htm)"這就說明網路蜘蛛來過我的站了，如果你還想知道有沒有其它搜索引擎的蜘蛛來過你的站，你可以在日誌文件中搜索「spider」這個詞，或者搜索蜘蛛的IP，我的就查到sogou也來過我的站，IIS日誌與Apache的日誌是一樣的，都可以查到。
各類蜘蛛IP收集，不一定完全准確。
序號 IP 注釋
1 202.106.186.* 163蜘蛛
2 202.108.36.* 163蜘蛛
3 202.108.44.* 163蜘蛛
4 202.108.45.* 163蜘蛛
5 202.108.5.* 163蜘蛛
6 202.108.9.* 163蜘蛛
7 220.181.12.* 163蜘蛛
8 220.181.13.* 163蜘蛛
9 220.181.14.* 163蜘蛛
10 220.181.15.* 163蜘蛛
11 220.181.28.* 163蜘蛛
12 220.181.31.* 163蜘蛛
13 222.185.245.* 163蜘蛛
14 202.165.100.* 3721蜘蛛
15 220.181.19.* 網路蜘蛛
16 159.226.50.* 網路蜘蛛
17 202.108.11.* 網路蜘蛛
18 202.108.22.* 網路蜘蛛
19 202.108.23.* 網路蜘蛛
20 202.108.249.* 網路蜘蛛
21 202.108.250.* 網路蜘蛛
22 61.135.145.* 網路蜘蛛
23 61.135.146.* 網路蜘蛛
24 64.124.85.* become.com
25 61.151.243.* china蜘蛛
26 202.165.96.* gais.cs.ccu.e.tw
27 216.239.33.* google蜘蛛
28 216.239.35.* google蜘蛛
29 216.239.37.* google蜘蛛
30 216.239.39.* google蜘蛛
31 216.239.51.* google蜘蛛
32 216.239.53.* google蜘蛛
33 216.239.55.* google蜘蛛
34 216.239.57.* google蜘蛛
35 216.239.59.* google蜘蛛
36 64.233.161.* google蜘蛛
37 64.233.189.* google蜘蛛
38 66.102.11.* google蜘蛛
39 66.102.7.* google蜘蛛
40 66.102.9.* google蜘蛛
41 66.249.64.* google蜘蛛
42 66.249.65.* google蜘蛛
43 66.249.66.* google蜘蛛
44 66.249.71.* google蜘蛛
45 66.249.72.* google蜘蛛
46 72.14.207.* google蜘蛛
47 61.135.152.* iask蜘蛛
48 65.54.188.* msn蜘蛛
49 65.54.225.* msn蜘蛛
50 65.54.226.* msn蜘蛛
51 65.54.228.* msn蜘蛛
52 65.54.229.* msn蜘蛛
53 207.46.98.* msn蜘蛛
54 207.68.157.* msn蜘蛛
55 194.224.199.* noxtrumbot
56 220.181.8.* Outfox
57 221.239.209.* Outfox
58 217.212.224.* psbot
59 219.133.40.* QQ蜘蛛
60 202.96.170.* QQ蜘蛛
61 202.104.129.* QQ蜘蛛
62 61.135.157.* QQ蜘蛛
63 219.142.118.* sina蜘蛛
64 219.142.78.* sina蜘蛛
65 61.135.132.* sohu蜘蛛
66 220.181.26.* sohu蜘蛛
220.181.19.*
67 61.135.158.* tom蜘蛛
68 66.196.90.* yahoo蜘蛛
69 66.196.91.* yahoo蜘蛛
70 68.142.249.* yahoo蜘蛛
71 68.142.250.* yahoo蜘蛛
72 68.142.251.* yahoo蜘蛛
73 202.165.102.* yahoo中國蜘蛛
74 202.160.178.* yahoo中國蜘蛛
75 202.160.179.* yahoo中國蜘蛛
76 202.160.180.* yahoo中國蜘蛛
77 202.160.181.* yahoo中國蜘蛛
78 202.160.183.* yahoo中國蜘蛛
79 72.30.101.* yahoo蜘蛛
80 72.30.102.* yahoo蜘蛛
81 72.30.103.* yahoo蜘蛛
82 72.30.104.* yahoo蜘蛛
83 72.30.107.* yahoo蜘蛛
84 72.30.110.* yahoo蜘蛛
85 72.30.111.* yahoo蜘蛛
86 72.30.128.* yahoo蜘蛛
87 72.30.129.* yahoo蜘蛛
88 72.30.131.* yahoo蜘蛛
89 72.30.133.* yahoo蜘蛛
90 72.30.134.* yahoo蜘蛛
91 72.30.135.* yahoo蜘蛛
92 72.30.216.* yahoo蜘蛛
93 72.30.226.* yahoo蜘蛛
94 72.30.252.* yahoo蜘蛛
95 72.30.97.* yahoo蜘蛛
96 72.30.98.* yahoo蜘蛛
97 72.30.99.* yahoo蜘蛛
98 74.6.74.* yahoo蜘蛛
99 202.108.4.* 中搜蜘蛛
100 202.108.4.* 中搜蜘蛛
101 202.108.33.* 中搜蜘蛛
102 202.96.51.* 中搜蜘蛛
103 219.142.53.* 中搜蜘蛛
F. 網站一直沒有蜘蛛來爬，能不能幫我看下到底問題在哪
您好！
遇到這樣的問題，情況只可能倆種：
一、你屏蔽蜘蛛了
我們屏蔽了蜘蛛，蜘蛛當然不可能來抓取我們的網站拉。
1.首先我們要檢測自己的網站robots.txt文件，看看文件的書寫是否正確，是否有大小寫混亂的情況出現，是否建站初期的時候有屏蔽所有蜘蛛的爬行的指令忘記修改了。正常情況下robots.txt檢測的事情就直接交給站長工具檢查就可以了
2.伺服器商是否屏蔽了蜘蛛的爬行。別認為這事不可能，當初主機屋，就誤把網路蜘蛛當成黑客攻擊給屏蔽了，不懂導致多少人被K站。如果是主機商屏蔽了蜘蛛的爬行盡早換主機吧，時間等不起。
二、你被蜘蛛屏蔽了
1.查看自己的域名以前的主人，看看域名以前是否做了違法的站點。如果是的話那麼蜘蛛不爬是完全有道理的，就好比Maas以前論壇那個域名以前是做liuhecai站的。至今搜狗和谷歌蜘蛛壓根沒來過。
2.查看下自己同伺服器的站點，是否有非常嚴重違規的作弊行為，若有的話，搜索引擎很有可能屏蔽整條IP的站點，為了自己的網站發展健康還是選擇獨立IP的伺服器吧。
如果發現自己網站的爬行日誌壓根沒出現蜘蛛來訪，那麼我們就應該考慮自己的站點是否出現以上的情況，應該及時的清理。然後向相關的搜索引擎提交，或者利用高質量的外鏈引導蜘蛛爬行。
G. 如何判斷伺服器IP是否被屏蔽
你想判斷伺服器IP被什麼屏蔽？
長城防火牆嗎？
最簡單的方法就是伺服器正常並且沒有屏蔽你本地IP，你在本地用SSH連接一下，如果本地鏈接不上，國外連接上，那就是被屏蔽了
沒有解決辦法
H. 如何識別搜索引擎蜘蛛IP
這個可以從你伺服器或者虛擬主機的日誌中看出來，比如我用的虛擬主機的完整使用日誌中有這樣的記錄：
220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baispider+(+/search/spider.htm:/search/spider.htm)"這就說明網路蜘蛛來過我的站了，如果你還想知道有沒有其它搜索引擎的蜘蛛來過你的站，你可以在日誌文件中搜索「spider」這個詞，或者搜索蜘蛛的IP，我的就查到sogou也來過我的站，IIS日誌與Apache的日誌是一樣的，都可以查到。
各類蜘蛛IP收集，不一定完全准確。
序號 IP 注釋
1 202.106.186.* 163蜘蛛
2 202.108.36.* 163蜘蛛
3 202.108.44.* 163蜘蛛
4 202.108.45.* 163蜘蛛
5 202.108.5.* 163蜘蛛
6 202.108.9.* 163蜘蛛
7 220.181.12.* 163蜘蛛
8 220.181.13.* 163蜘蛛
9 220.181.14.* 163蜘蛛
10 220.181.15.* 163蜘蛛
11 220.181.28.* 163蜘蛛
12 220.181.31.* 163蜘蛛
13 222.185.245.* 163蜘蛛
14 202.165.100.* 3721蜘蛛
15 220.181.19.* 網路蜘蛛
16 159.226.50.* 網路蜘蛛
17 202.108.11.* 網路蜘蛛
18 202.108.22.* 網路蜘蛛
19 202.108.23.* 網路蜘蛛
20 202.108.249.* 網路蜘蛛
21 202.108.250.* 網路蜘蛛
22 61.135.145.* 網路蜘蛛
23 61.135.146.* 網路蜘蛛
24 64.124.85.* become
25 61.151.243.* china蜘蛛
26 202.165.96.* gais.cs.ccu.e.tw
27 216.239.33.* google蜘蛛
28 216.239.35.* google蜘蛛
29 216.239.37.* google蜘蛛
30 216.239.39.* google蜘蛛
31 216.239.51.* google蜘蛛
32 216.239.53.* google蜘蛛
33 216.239.55.* google蜘蛛
34 216.239.57.* google蜘蛛
35 216.239.59.* google蜘蛛
36 64.233.161.* google蜘蛛
37 64.233.189.* google蜘蛛
38 66.102.11.* google蜘蛛
39 66.102.7.* google蜘蛛
40 66.102.9.* google蜘蛛
41 66.249.64.* google蜘蛛
42 66.249.65.* google蜘蛛
43 66.249.66.* google蜘蛛
44 66.249.71.* google蜘蛛
45 66.249.72.* google蜘蛛
46 72.14.207.* google蜘蛛
47 61.135.152.* iask蜘蛛
48 65.54.188.* msn蜘蛛
49 65.54.225.* msn蜘蛛
50 65.54.226.* msn蜘蛛
51 65.54.228.* msn蜘蛛
52 65.54.229.* msn蜘蛛
53 207.46.98.* msn蜘蛛
54 207.68.157.* msn蜘蛛
55 194.224.199.* noxtrumbot
56 220.181.8.* Outfox
57 221.239.209.* Outfox
58 217.212.224.* psbot
59 219.133.40.* QQ蜘蛛
60 202.96.170.* QQ蜘蛛
61 202.104.129.* QQ蜘蛛
62 61.135.157.* QQ蜘蛛
63 219.142.118.* sina蜘蛛
64 219.142.78.* sina蜘蛛
65 61.135.132.* sohu蜘蛛
66 220.181.26.* sohu蜘蛛
220.181.19.*
67 61.135.158.* tom蜘蛛
68 66.196.90.* yahoo蜘蛛
69 66.196.91.* yahoo蜘蛛
70 68.142.249.* yahoo蜘蛛
71 68.142.250.* yahoo蜘蛛
72 68.142.251.* yahoo蜘蛛
73 202.165.102.* yahoo中國蜘蛛
74 202.160.178.* yahoo中國蜘蛛
75 202.160.179.* yahoo中國蜘蛛
76 202.160.180.* yahoo中國蜘蛛
77 202.160.181.* yahoo中國蜘蛛
78 202.160.183.* yahoo中國蜘蛛
79 72.30.101.* yahoo蜘蛛
80 72.30.102.* yahoo蜘蛛
81 72.30.103.* yahoo蜘蛛
82 72.30.104.* yahoo蜘蛛
83 72.30.107.* yahoo蜘蛛
84 72.30.110.* yahoo蜘蛛
85 72.30.111.* yahoo蜘蛛
86 72.30.128.* yahoo蜘蛛
87 72.30.129.* yahoo蜘蛛
88 72.30.131.* yahoo蜘蛛
89 72.30.133.* yahoo蜘蛛
90 72.30.134.* yahoo蜘蛛
91 72.30.135.* yahoo蜘蛛
92 72.30.216.* yahoo蜘蛛
93 72.30.226.* yahoo蜘蛛
94 72.30.252.* yahoo蜘蛛
95 72.30.97.* yahoo蜘蛛
96 72.30.98.* yahoo蜘蛛
97 72.30.99.* yahoo蜘蛛
98 74.6.74.* yahoo蜘蛛
99 202.108.4.* 中搜蜘蛛
100 202.108.4.* 中搜蜘蛛
101 202.108.33.* 中搜蜘蛛
102 202.96.51.* 中搜蜘蛛
103 219.142.53.* 中搜蜘蛛
I. 當發現有仿冒百度蜘蛛的ip訪問網站時該怎麼辦
1、可以不用管。
2、看看網站空間有沒有相關管理選項屏蔽掉假冒ip。
3、仿冒蜘蛛的一般也是蜘蛛，可以通過修改網站robot.txt文件來自定義蜘蛛訪問規則，不過很多流氓蜘蛛會無視robot協議，效果不一定樂觀。
J. 網站優化，網站建設中蜘蛛不爬行網站的原因有哪些
一、網路蜘蛛把你屏蔽了。
1、在注冊自己域名的時候，要看看域名之前有沒有被用過，如果網站的域名之前被用過，甚至是被搜索引擎懲罰或者被K過，如果是這樣，蜘蛛自然不會來這些網站了，如果該域名的網站之前是用作一些不健康，非法用途的，那蜘蛛已經把網站拉黑，再也不會來了。
2、查看與自己同樣IP地址的網站有沒有被懲罰過的經歷，如果有被搜索引擎懲罰或者被K，那很顯然，搜索引擎已經把這個伺服器屏蔽了。由此可見，選擇一個獨立的IP對網站優化是何等的重要。
二、在無意中，你主動把蜘蛛屏蔽了。
如果網站在有意或者無意中把蜘蛛屏蔽了，那蜘蛛自然無法爬行你的網站。下面可能有這些原因?
1、很多站長都知道屏蔽蜘蛛的辦法就是robots文件，任何一個搜索引擎的申明robots.com可以屏蔽他們的蜘蛛。所以讓網站一直處於保密狀態，安裝好程序，在網站上線時要下載robots.com的文件，有可能是書寫錯誤才導致了網站的屏蔽，或者是在網站建設的時候自己就屏蔽了蜘蛛來檢測網站。
2、服務商屏蔽蜘蛛，如果蜘蛛的過多的爬行網站，導致伺服器認為DOOS攻擊自動把蜘蛛的IP給屏蔽了，這種情況可能導致網站經常被K.如果這樣的話，只能換服務商。
三、學會善用軟體來分析網站日誌了解蜘蛛爬行的規律。
在網站優化中，網站日誌非常重要，所以要學會用軟體來分析蜘蛛爬行過哪些文件夾，爬行次數等。現在市場上這類軟體很多，比如光年軟體對分析網站日誌就很有用，愛站也具備網站分析的功能。
網站日誌的分析對於那些老站長不是很難，只要從日誌代碼查看到日誌分析就可以很輕松的解決問題。