在分析网站日志时，我们经常会遇到伪装成baiduspider的访问者。这些数据会严重影响我们对日志分析的准确性。
这些伪装者为什么会冒充baiduspider访问我们的网站呢？主要原因是那些采集内容的人知道，很多工具可以监控到某个IP访问网站的频率。如果一个IP在一天内访问了你的网站一万次，这显然是不正常的。但如果这个访问者是baiduspider，那这种频率就显得合理了。
那么，我们该如何辨别baiduspider的真假呢？
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
百度移动端的爬虫UA如下：
Mozilla/5.0 (Linux; U; Android 4.2.2; zh-cn;) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
以上是百度常规爬虫和渲染爬虫的UA，红色字体标出了它们的区别。
百度虚拟主播
百度智能云平台的一站式、灵活化的虚拟主播直播解决方案
36 查看详情
区分百度PC端和移动端的爬虫可以通过以下方法：
通过关键词“Android”或“Mobile”来识别，判断为移动端访问或抓取。通过关键词“Baiduspider/2.0”或“Baiduspider-render/2.0”来判断是否为百度爬虫。
那么，站长如何通过IP来判断这个spider是否来自百度搜索引擎呢？
可以通过DNS反查的方式来解决这个问题。根据平台不同，验证方法如下：
在Linux平台下，可以使用
host
命令反解IP来判断是否来自Baiduspider的抓取。Baiduspider的hostname以
.baidu.com
或
.baidu.jp
的格式命名，非
.baidu.com
或
.baidu.jp
即为冒充。
2. 在Windows平台或IBM OS/2平台下，可以使用
nslookup
命令反解IP来判断是否来自Baiduspider的抓取。打开命令处理器输入
nslookup xxx.xxx.xxx.xxx
（IP地址）就能解析IP，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以
.baidu.com
或
.baidu.jp
的格式命名，非
.baidu.com
或
.baidu.jp
即为冒充。
在macOS平台下，可以使用
dig
命令反解IP来判断是否来自Baiduspider的抓取。打开命令处理器输入
dig xxx.xxx.xxx.xxx
（IP地址）就能解析IP，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以
.baidu.com
或
.baidu.jp
的格式命名，非
.baidu.com
或
.baidu.jp
即为冒充。
以上就是怎么识别百度蜘蛛Baiduspider的真假呢？官方推荐方法的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/399627.html
微信扫一扫 
支付宝扫一扫 
