您当前的位置:站优云SEO > SEO技术 >

怎样才能识别正确的百度蜘蛛呢

发布时间 2021-01-25 站优云 浏览次数:

  许多SEO从业者在不久触碰这一制造行业的情况下,常常会问--百度蜘蛛是啥?人们能够了解为百度蜘蛛就是说用于爬取网站连接的IP,网编常常会听见百度蜘蛛来的太经常,服务器要被捕爆掉,当你没法识别百度蜘蛛,你如何判断是百度蜘蛛抓爆的呢?也是出现百度蜘蛛也不来啦的状况,也有许多网站想要百度蜘蛛的IP段,想把IP添加权限,但没法识别百度搜索IP.

  那怎样才能识别正确的百度蜘蛛呢?来吧来吧,只需做着二点,就能正确识别百度蜘蛛

  一、查询UA,假如UA都错误,能够断定非网页搜索的搜索引擎蜘蛛,现阶段向社会公布过的UA是:

  移动UA:Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/534.46(KHTML,likeGecko)Version/5.1MobileSafari/10600.6.3(compatible;Baiduspider/2.0;+)

  PCUA:Mozilla/5.0(compatible;Baiduspider/2.0;+)

  新增渲染UA:

  移动UA:Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOSX)AppleWebKit/601.1.46(KHTML,likeGecko)Version/9.0Mobile/13B143Safari/601.1(compatible;Baiduspider-render/2.0;+)

  PCUA:Mozilla/5.0(compatible;Baiduspider-render/2.0;+)

  二、反查IP

  站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

  (1)、在linux平台下,您可以使用hostip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

  (2)、在windows平台或者IBMOS/2平台下,您可以使用nslookupip命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入nslookupxxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

  (3)、在macos平台下,您可以使用dig命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入digxxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

返回首页
分享:
Copyright © 2014-2020 www.gxny17.com All Rights Reserved.站优云 版权所有