如何检测服务器是否屏蔽蜘蛛ip
A. 请教,怎么样检测,服务器是不是屏蔽了蜘蛛的IP呢
一、网络设置的问题 这种原因比较多出现在需要手动指定IP、网关、DNS服务器联网方式下，及使用代理服务器上网的。仔细检查计算机的网络设置。 二、DNS服务器的问题 当IE无法浏览网页时，可先尝试用IP地址来访问，如用 Bbs.winzheng.com 的 ，如果可以访问，那么应该是DNS的问题，造成DNS的问题可能是连网时获取DNS出错或DNS服务器本身问题，这时你可以手动指定DNS服务（地址可以是你当地ISP提供的DNS服务器地址，也可以用其它地方可正常使用DNS服务器地址。）在网络的属性里进行，（控制面板—网络和拔号连接—本地连接—右键属性—TCP/IP协议—属性—使用下面的DNS服务器地址）。不同的ISP有不同的DNS地址。有时候则是路由器或网卡的问题，无法与ISP的DNS服务连接，这种情况的话，可把路由器关一会再开，或者重新设置路由器。还有一种可能，是本地DNS缓存出现了问题。为了提高网站访问速度，系统会自动将已经访问过并获取IP地址的网站存入本地的DNS缓存里，一旦再对这个网站进行访问，则不再通过DNS服务器而直接从本地DNS缓存取出该网站的IP地址进行访问。所以，如果本地DNS缓存出现了问题，会导致网站无法访问。可以在“运行”中执行ipconfig /flushdns来重建本地DNS缓存。 三、IE浏览器本身的问题 当IE浏览器本身出现故障时，自然会影响到浏览了；或者IE被恶意修改破坏也会导致无法浏览网页。这时可以尝试用“黄山IE修复专家”来修复（建议到安全模式下修复），或者重新IE（如重装IE遇到无法重新的问题，可参考：附一解决无法重装IE） 四、网络防火墙的问题 如果网络防火墙设置不当，如安全等级过高、不小心把IE放进了阻止访问列表、错误的防火墙策略等，可尝试检查策略、降低防火墙安全等级或直接关掉试试是否恢复正常。 五、网络协议和网卡驱动的问题 IE无法浏览，有可能是网络协议（特别是TCP/IP协议）或网卡驱动损坏导致，可尝试重新网卡驱动和网络协议。 六、HOSTS文件的问题 HOSTS文件被修改，也会导致浏览的不正常，解决方法当然是清空HOSTS文件里的内容。 七、系统文件的问题 当与IE有关的系统文件被更换或损坏时，会影响到IE正常的使用，这时可使用SFC命令修复一下，WIN98系统可在“运行”中执行SFC，然后执行扫描；WIN2000/XP/2003则在“运行”中执行sfc /scannow尝试修复。 其中当只有IE无法浏览网页，而QQ可以上时，则往往由于winsock.dll、wsock32.dll或wsock.vxd（VXD只在WIN9X系统下存在）等文件损坏或丢失造成，Winsock是构成TCP/IP协议的重要组成部分，一般要重装TCP/IP协议。但xp开始集成TCP/IP协议，所以不能像98那样简单卸载后重装，可以使用 netsh 命令重置 TCP/IP协议，使其恢复到初次安装操作系统时的状态。具体操作如下： 点击“开始 运行”，在运行对话框中输入“CMD”命令，弹出命令提示符窗口，接着输入“netsh int ip reset c:\resetlog.txt”命令后会回车即可，其中“resetlog.txt”文件是用来记录命令执行结果的日志文件，该参数选项必须指定，这里指定的日志文件的完整路径是“c:\resetlog.txt”。执行此命令后的结果与删除并重新安装 TCP/IP 协议的效果相同。 小提示：netsh命令是一个基于命令行的脚本编写工具，你可以使用此命令配置和监视Windows 系统，此外它还提供了交互式网络外壳程序接口，netsh命令的使用格式请参看帮助文件（在令提示符窗口中输入“netsh/?”即可）。 第二个解决方法是修复以上文件，WIN9X使用SFC重新提取以上文件，WIN2000/XP/2003使用sfc /scannow命令修复文件,当用sfc /scannow无法修复时，可试试网上发布的专门针对这个问题的修复工具WinSockFix. 八、杀毒软件的实时监控问题 这倒不是经常见，但有时的确跟实时监控有关，因为现在杀毒软件的实时监控都添加了对网页内容的监控。举一个实例：KV2005就会在个别的机子上会导致IE无法浏览网页（不少朋友遇到过），其具体表现是只要打开网页监控，一开机上网
B. 如何查看某个IP是否被百度蜘蛛屏蔽了
首先查看网站的robots.txt，通常这个文件是在根目录下的网站:
用户代理:*
不允许:
这样的表示是一个“挡箭牌”所有的搜索引擎。
用户代理:Baispider
不允许:/
说，这屏蔽网络蜘蛛。
第二种观点的站点代码设置屏蔽:
间网站页面代码的
"robots"内容=“无存档">
或“Baispider”=“无存档”>
C. 如何识别ip是否为百度蜘蛛爬虫ip
登录网站空间后台，找到当天的网站日志
按住“ctrl+F”搜索“spider"爬行记录。
选中其中一个“spider”对应的ip地址
打开电脑cmd窗口。
在CMD窗口中输入“tracert+ip”回车。tracert后面一定要空格之后在输入ip地址
查看是否有“spider”字样，如果有说明是网络的蜘蛛，如果没有则不是
D. 怎么判断爬虫服务器的ip被网站封了
设置putty
打开putty，找到左边的SSH，选择Tunnels，然后在Source
port上填入你想要的端口号，然后Add一下，下面选择Dynamic即可。现在你机器的127.0.0.1:端口号(例如：127.0.0.1:9999，当然使用localhost替换127.0.0.1也是可以的)就是代理服务器了。设置好后需要用putty登录到服务器，并保持登录状态。然后设置一下浏览器的代理服务器就可以了。
设置FireFox
工具–>选项–>高级–>网络，在SOCKS主机填入本机的IP以及刚才设置的代理端口号即可。
这样设置之后，浏览器打开网站显示的就是服务器的IP了,直接用你的浏览器访问网站，如果能不能打开对方的网站并且不用代理就能打开说明你的IP被网站封了。如果你的服务器在国外也可以用来访问国外的网站不会被屏蔽。如果想访问facebook这样的大网站还需要设置一下dns。使浏览器解析网站的时候用服务器的dns，在Firefox的地址栏输入
about:config
，找到network.proxy.socks_remote_dns，双击改成true即可。该选项是使用远程代理服务器来解析DNS，避免DNS欺骗。
E. 如何查看自己网站是否有蜘蛛来过
什么是spider？
spider是网络搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在网络搜索引擎中搜索到您网站的网页。
spider对一个网站服务器造成的访问压力如何？
spider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后，spider会暂停一会，以防止增大服务器的访问压力。所以在一般情况下，spider对您网站的服务器不会造成过大压力。
为什么spider不停的抓取我的网站？
对于您网站上新产生的或者持续更新的页面，spider会持续抓取。此外，您也可以检查网站访问日志中spider的访问是否正常，以防止有人恶意冒充spider来频繁抓取您的网站。 如果您发现spider非正常抓取您的网站，请反馈至[email protected]，并请尽量给出spider对贵站的访问日志，以便于我们跟踪处理。
我不想我的网站被spider访问，我该怎么做？
spider遵守互联网robots协议。您可以利用robots.txt文件完全禁止spider访问您的网站，或者禁止spider访问您网站上的部分文件。 注意：禁止spider访问您的网站，将使您的网站上的网页，在网络搜索引擎以及所有网络提供搜索引擎服务的搜索引擎中无法被搜索到。
关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法
为什么我的网站已经加了robots.txt，还能在网络搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然spider已经停止访问您网站上的网页，但网络搜索引擎数据库中已经建立的网页索引信息，可能需要二至四周才会清除。 另外也请检查您的robots配置是否正确。
网络蜘蛛在robots.txt中的名字是什么？
“spider”全部为小写字母。
spider多长时间之后会重新抓取我的网页？
网络搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，spider会重新访问和更新一个网页。
知道了什么是网络蜘蛛，那么怎么才能知道蜘蛛是否来过你的站？这个可以从你服务器或者虚拟主机的日志中看出来，比如我用的虚拟主机的完整使用日志中有这样的记录：
220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baispider+(+http://www..com/search/spider.htm)"这就说明网络蜘蛛来过我的站了，如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，我的就查到sogou也来过我的站，IIS日志与Apache的日志是一样的，都可以查到。
各类蜘蛛IP收集，不一定完全准确。
序号 IP 注释
1 202.106.186.* 163蜘蛛
2 202.108.36.* 163蜘蛛
3 202.108.44.* 163蜘蛛
4 202.108.45.* 163蜘蛛
5 202.108.5.* 163蜘蛛
6 202.108.9.* 163蜘蛛
7 220.181.12.* 163蜘蛛
8 220.181.13.* 163蜘蛛
9 220.181.14.* 163蜘蛛
10 220.181.15.* 163蜘蛛
11 220.181.28.* 163蜘蛛
12 220.181.31.* 163蜘蛛
13 222.185.245.* 163蜘蛛
14 202.165.100.* 3721蜘蛛
15 220.181.19.* 网络蜘蛛
16 159.226.50.* 网络蜘蛛
17 202.108.11.* 网络蜘蛛
18 202.108.22.* 网络蜘蛛
19 202.108.23.* 网络蜘蛛
20 202.108.249.* 网络蜘蛛
21 202.108.250.* 网络蜘蛛
22 61.135.145.* 网络蜘蛛
23 61.135.146.* 网络蜘蛛
24 64.124.85.* become.com
25 61.151.243.* china蜘蛛
26 202.165.96.* gais.cs.ccu.e.tw
27 216.239.33.* google蜘蛛
28 216.239.35.* google蜘蛛
29 216.239.37.* google蜘蛛
30 216.239.39.* google蜘蛛
31 216.239.51.* google蜘蛛
32 216.239.53.* google蜘蛛
33 216.239.55.* google蜘蛛
34 216.239.57.* google蜘蛛
35 216.239.59.* google蜘蛛
36 64.233.161.* google蜘蛛
37 64.233.189.* google蜘蛛
38 66.102.11.* google蜘蛛
39 66.102.7.* google蜘蛛
40 66.102.9.* google蜘蛛
41 66.249.64.* google蜘蛛
42 66.249.65.* google蜘蛛
43 66.249.66.* google蜘蛛
44 66.249.71.* google蜘蛛
45 66.249.72.* google蜘蛛
46 72.14.207.* google蜘蛛
47 61.135.152.* iask蜘蛛
48 65.54.188.* msn蜘蛛
49 65.54.225.* msn蜘蛛
50 65.54.226.* msn蜘蛛
51 65.54.228.* msn蜘蛛
52 65.54.229.* msn蜘蛛
53 207.46.98.* msn蜘蛛
54 207.68.157.* msn蜘蛛
55 194.224.199.* noxtrumbot
56 220.181.8.* Outfox
57 221.239.209.* Outfox
58 217.212.224.* psbot
59 219.133.40.* QQ蜘蛛
60 202.96.170.* QQ蜘蛛
61 202.104.129.* QQ蜘蛛
62 61.135.157.* QQ蜘蛛
63 219.142.118.* sina蜘蛛
64 219.142.78.* sina蜘蛛
65 61.135.132.* sohu蜘蛛
66 220.181.26.* sohu蜘蛛
220.181.19.*
67 61.135.158.* tom蜘蛛
68 66.196.90.* yahoo蜘蛛
69 66.196.91.* yahoo蜘蛛
70 68.142.249.* yahoo蜘蛛
71 68.142.250.* yahoo蜘蛛
72 68.142.251.* yahoo蜘蛛
73 202.165.102.* yahoo中国蜘蛛
74 202.160.178.* yahoo中国蜘蛛
75 202.160.179.* yahoo中国蜘蛛
76 202.160.180.* yahoo中国蜘蛛
77 202.160.181.* yahoo中国蜘蛛
78 202.160.183.* yahoo中国蜘蛛
79 72.30.101.* yahoo蜘蛛
80 72.30.102.* yahoo蜘蛛
81 72.30.103.* yahoo蜘蛛
82 72.30.104.* yahoo蜘蛛
83 72.30.107.* yahoo蜘蛛
84 72.30.110.* yahoo蜘蛛
85 72.30.111.* yahoo蜘蛛
86 72.30.128.* yahoo蜘蛛
87 72.30.129.* yahoo蜘蛛
88 72.30.131.* yahoo蜘蛛
89 72.30.133.* yahoo蜘蛛
90 72.30.134.* yahoo蜘蛛
91 72.30.135.* yahoo蜘蛛
92 72.30.216.* yahoo蜘蛛
93 72.30.226.* yahoo蜘蛛
94 72.30.252.* yahoo蜘蛛
95 72.30.97.* yahoo蜘蛛
96 72.30.98.* yahoo蜘蛛
97 72.30.99.* yahoo蜘蛛
98 74.6.74.* yahoo蜘蛛
99 202.108.4.* 中搜蜘蛛
100 202.108.4.* 中搜蜘蛛
101 202.108.33.* 中搜蜘蛛
102 202.96.51.* 中搜蜘蛛
103 219.142.53.* 中搜蜘蛛
F. 网站一直没有蜘蛛来爬，能不能帮我看下到底问题在哪
您好！
遇到这样的问题，情况只可能俩种：
一、你屏蔽蜘蛛了
我们屏蔽了蜘蛛，蜘蛛当然不可能来抓取我们的网站拉。
1.首先我们要检测自己的网站robots.txt文件，看看文件的书写是否正确，是否有大小写混乱的情况出现，是否建站初期的时候有屏蔽所有蜘蛛的爬行的指令忘记修改了。正常情况下robots.txt检测的事情就直接交给站长工具检查就可以了
2.服务器商是否屏蔽了蜘蛛的爬行。别认为这事不可能，当初主机屋，就误把网络蜘蛛当成黑客攻击给屏蔽了，不懂导致多少人被K站。如果是主机商屏蔽了蜘蛛的爬行尽早换主机吧，时间等不起。
二、你被蜘蛛屏蔽了
1.查看自己的域名以前的主人，看看域名以前是否做了违法的站点。如果是的话那么蜘蛛不爬是完全有道理的，就好比Maas以前论坛那个域名以前是做liuhecai站的。至今搜狗和谷歌蜘蛛压根没来过。
2.查看下自己同服务器的站点，是否有非常严重违规的作弊行为，若有的话，搜索引擎很有可能屏蔽整条IP的站点，为了自己的网站发展健康还是选择独立IP的服务器吧。
如果发现自己网站的爬行日志压根没出现蜘蛛来访，那么我们就应该考虑自己的站点是否出现以上的情况，应该及时的清理。然后向相关的搜索引擎提交，或者利用高质量的外链引导蜘蛛爬行。
G. 如何判断服务器IP是否被屏蔽
你想判断服务器IP被什么屏蔽？
长城防火墙吗？
最简单的方法就是服务器正常并且没有屏蔽你本地IP，你在本地用SSH连接一下，如果本地链接不上，国外连接上，那就是被屏蔽了
没有解决办法
H. 如何识别搜索引擎蜘蛛IP
这个可以从你服务器或者虚拟主机的日志中看出来，比如我用的虚拟主机的完整使用日志中有这样的记录：
220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baispider+(+/search/spider.htm:/search/spider.htm)"这就说明网络蜘蛛来过我的站了，如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，我的就查到sogou也来过我的站，IIS日志与Apache的日志是一样的，都可以查到。
各类蜘蛛IP收集，不一定完全准确。
序号 IP 注释
1 202.106.186.* 163蜘蛛
2 202.108.36.* 163蜘蛛
3 202.108.44.* 163蜘蛛
4 202.108.45.* 163蜘蛛
5 202.108.5.* 163蜘蛛
6 202.108.9.* 163蜘蛛
7 220.181.12.* 163蜘蛛
8 220.181.13.* 163蜘蛛
9 220.181.14.* 163蜘蛛
10 220.181.15.* 163蜘蛛
11 220.181.28.* 163蜘蛛
12 220.181.31.* 163蜘蛛
13 222.185.245.* 163蜘蛛
14 202.165.100.* 3721蜘蛛
15 220.181.19.* 网络蜘蛛
16 159.226.50.* 网络蜘蛛
17 202.108.11.* 网络蜘蛛
18 202.108.22.* 网络蜘蛛
19 202.108.23.* 网络蜘蛛
20 202.108.249.* 网络蜘蛛
21 202.108.250.* 网络蜘蛛
22 61.135.145.* 网络蜘蛛
23 61.135.146.* 网络蜘蛛
24 64.124.85.* become
25 61.151.243.* china蜘蛛
26 202.165.96.* gais.cs.ccu.e.tw
27 216.239.33.* google蜘蛛
28 216.239.35.* google蜘蛛
29 216.239.37.* google蜘蛛
30 216.239.39.* google蜘蛛
31 216.239.51.* google蜘蛛
32 216.239.53.* google蜘蛛
33 216.239.55.* google蜘蛛
34 216.239.57.* google蜘蛛
35 216.239.59.* google蜘蛛
36 64.233.161.* google蜘蛛
37 64.233.189.* google蜘蛛
38 66.102.11.* google蜘蛛
39 66.102.7.* google蜘蛛
40 66.102.9.* google蜘蛛
41 66.249.64.* google蜘蛛
42 66.249.65.* google蜘蛛
43 66.249.66.* google蜘蛛
44 66.249.71.* google蜘蛛
45 66.249.72.* google蜘蛛
46 72.14.207.* google蜘蛛
47 61.135.152.* iask蜘蛛
48 65.54.188.* msn蜘蛛
49 65.54.225.* msn蜘蛛
50 65.54.226.* msn蜘蛛
51 65.54.228.* msn蜘蛛
52 65.54.229.* msn蜘蛛
53 207.46.98.* msn蜘蛛
54 207.68.157.* msn蜘蛛
55 194.224.199.* noxtrumbot
56 220.181.8.* Outfox
57 221.239.209.* Outfox
58 217.212.224.* psbot
59 219.133.40.* QQ蜘蛛
60 202.96.170.* QQ蜘蛛
61 202.104.129.* QQ蜘蛛
62 61.135.157.* QQ蜘蛛
63 219.142.118.* sina蜘蛛
64 219.142.78.* sina蜘蛛
65 61.135.132.* sohu蜘蛛
66 220.181.26.* sohu蜘蛛
220.181.19.*
67 61.135.158.* tom蜘蛛
68 66.196.90.* yahoo蜘蛛
69 66.196.91.* yahoo蜘蛛
70 68.142.249.* yahoo蜘蛛
71 68.142.250.* yahoo蜘蛛
72 68.142.251.* yahoo蜘蛛
73 202.165.102.* yahoo中国蜘蛛
74 202.160.178.* yahoo中国蜘蛛
75 202.160.179.* yahoo中国蜘蛛
76 202.160.180.* yahoo中国蜘蛛
77 202.160.181.* yahoo中国蜘蛛
78 202.160.183.* yahoo中国蜘蛛
79 72.30.101.* yahoo蜘蛛
80 72.30.102.* yahoo蜘蛛
81 72.30.103.* yahoo蜘蛛
82 72.30.104.* yahoo蜘蛛
83 72.30.107.* yahoo蜘蛛
84 72.30.110.* yahoo蜘蛛
85 72.30.111.* yahoo蜘蛛
86 72.30.128.* yahoo蜘蛛
87 72.30.129.* yahoo蜘蛛
88 72.30.131.* yahoo蜘蛛
89 72.30.133.* yahoo蜘蛛
90 72.30.134.* yahoo蜘蛛
91 72.30.135.* yahoo蜘蛛
92 72.30.216.* yahoo蜘蛛
93 72.30.226.* yahoo蜘蛛
94 72.30.252.* yahoo蜘蛛
95 72.30.97.* yahoo蜘蛛
96 72.30.98.* yahoo蜘蛛
97 72.30.99.* yahoo蜘蛛
98 74.6.74.* yahoo蜘蛛
99 202.108.4.* 中搜蜘蛛
100 202.108.4.* 中搜蜘蛛
101 202.108.33.* 中搜蜘蛛
102 202.96.51.* 中搜蜘蛛
103 219.142.53.* 中搜蜘蛛
I. 当发现有仿冒百度蜘蛛的ip访问网站时该怎么办
1、可以不用管。
2、看看网站空间有没有相关管理选项屏蔽掉假冒ip。
3、仿冒蜘蛛的一般也是蜘蛛，可以通过修改网站robot.txt文件来自定义蜘蛛访问规则，不过很多流氓蜘蛛会无视robot协议，效果不一定乐观。
J. 网站优化，网站建设中蜘蛛不爬行网站的原因有哪些
一、网络蜘蛛把你屏蔽了。
1、在注册自己域名的时候，要看看域名之前有没有被用过，如果网站的域名之前被用过，甚至是被搜索引擎惩罚或者被K过，如果是这样，蜘蛛自然不会来这些网站了，如果该域名的网站之前是用作一些不健康，非法用途的，那蜘蛛已经把网站拉黑，再也不会来了。
2、查看与自己同样IP地址的网站有没有被惩罚过的经历，如果有被搜索引擎惩罚或者被K，那很显然，搜索引擎已经把这个服务器屏蔽了。由此可见，选择一个独立的IP对网站优化是何等的重要。
二、在无意中，你主动把蜘蛛屏蔽了。
如果网站在有意或者无意中把蜘蛛屏蔽了，那蜘蛛自然无法爬行你的网站。下面可能有这些原因?
1、很多站长都知道屏蔽蜘蛛的办法就是robots文件，任何一个搜索引擎的申明robots.com可以屏蔽他们的蜘蛛。所以让网站一直处于保密状态，安装好程序，在网站上线时要下载robots.com的文件，有可能是书写错误才导致了网站的屏蔽，或者是在网站建设的时候自己就屏蔽了蜘蛛来检测网站。
2、服务商屏蔽蜘蛛，如果蜘蛛的过多的爬行网站，导致服务器认为DOOS攻击自动把蜘蛛的IP给屏蔽了，这种情况可能导致网站经常被K.如果这样的话，只能换服务商。
三、学会善用软件来分析网站日志了解蜘蛛爬行的规律。
在网站优化中，网站日志非常重要，所以要学会用软件来分析蜘蛛爬行过哪些文件夹，爬行次数等。现在市场上这类软件很多，比如光年软件对分析网站日志就很有用，爱站也具备网站分析的功能。
网站日志的分析对于那些老站长不是很难，只要从日志代码查看到日志分析就可以很轻松的解决问题。