教你如何识别伪装的百度蜘蛛(Baiduspider)

通常来说,蜘蛛百度蜘蛛常见的ip段只有2个,一个是电信(220.181.108.*)、一个是网通(123.125.71.*)。很多人认为不同ip段的Baiduspider代表着不同的的权重,其实这是一个很荒诞的误区!百度Baiduspider没有权重之说,电信、网通多线路同时访问各大网站,分工合作而已!

下面进入主题,谈谈如何识别伪装的Baiduspider:

1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器(win+r,输入cmd调出) 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。  

教你如何识别伪装的百度蜘蛛(Baiduspider)

3、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。引

以上方法来自百度官方文件,Ian的电脑系统是win7的,亲测了第二种方法,上面的是本人测试的结果截图。图中解析出ip为220.181.108.92的Baiduspider“名称”为“baiduspider-220-181-108-92.crawl.baidu.com”,后缀符合上述的“*.baidu.com 或*.baidu.jp”,因此可以判断出ip为220.181.108.92是真正的Baiduspider。

一般需要判断辨别Baiduspider真伪的情况在网站运营推广中比较罕见,一般用在遇到网站被大规模攻击采集的时候。

欢迎转载,转载时请您以链接形式注明来源! 本文地址:http://www.seobn.com/189.html
上一篇:快速提升百度SEO网站站内优化的方案
下一篇:剖析百度索引量与收录量的区别