2018年最新搜索引擎蜘蛛大全 今天冬镜SEO讲的是2018年最新各大搜索引擎蜘蛛名称整理分享 各大seo搜索引擎的蜘蛛会不断地访问抓取我们站点的内容，也会消耗一定的站点流量 有时候就需要屏蔽某些蜘蛛访问我们的站点，文章尾部会讲解决办法 了解各大搜索引擎蜘蛛爬虫，对我们进行网站SEO优化起到很大作用 冬镜SEO收集了各大搜索引擎的蜘蛛爬虫UA，以便你需要时查阅
搜索引擎蜘蛛 1、百度蜘蛛：BaiduSpider 常见的Baiduspider和Baiduspider-image（抓取图片） 百度公司还有其它几个蜘蛛：Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）、Baiduspider-mobile（抓取wap），都不常见 百度蜘蛛爬虫UA： PC端：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html) 移动端：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html) 图片：“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)” 2、谷歌蜘蛛：Googlebot 有人说谷歌蜘蛛是GoogleBot，官方谷歌蜘蛛最新名称为Googlebot，还发现了Googlebot-Mobile，看名字是应该是抓取wap内容的 谷歌蜘蛛爬虫UA： “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” 图片：“Googlebot-Image/1.0” 3、360蜘蛛：360Spider 它是一个十分“勤奋抓爬”的蜘蛛 360蜘蛛爬虫UA： Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 4、搜狗蜘蛛：Sogou News Spider 搜狗公司还有其它几个蜘蛛：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider，冬镜在日志中只发现了常见的Sogou News Spider。（参考大神百度的robots文件，搜狗蜘蛛名称可以用Sogou概括，但有没有用就不知道了.） 搜狗蜘蛛爬虫UA： “Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)” 5、必应蜘蛛：bingbot 必应蜘蛛爬虫UA： “Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)” 6、SOSO蜘蛛：Sosospider 腾讯已玩死，交给搜狗公司了 soso蜘蛛爬虫UA： “Sosospider+(+http://help.soso.com/webspider.htm)” 7、雅虎蜘蛛：Yahoo! Slurp China（雅虎中国）或Yahoo! Slurp（雅虎英文） 雅虎蜘蛛爬虫UA： 雅虎中国：“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)” 雅虎英文：“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)” 8、MSN蜘蛛：msnbot，msnbot-media 重庆SEO好像只见到msnbot-media在狂爬…… MSN蜘蛛爬虫UA： *msnbot/1.0 (+http://search.msn.com/msnbot.htm”) 其它还有 一搜蜘蛛：YisouSpider、Alexa蜘蛛：ia_archiver、宜搜蜘蛛：EasouSpider、即刻蜘蛛：JikeSpider，以及还有YandexBot、AhrefsBot和ezooms.bot等这些蜘蛛，据说这几个国外的蜘蛛都不咋好
搜索引擎蜘蛛名称 其实常用的搜索引擎就那么几个，只要在robots.txt文件里把常用的搜索引擎蜘蛛放进来就行，其它的可以统统屏蔽。
2024最新激活全家桶教程，稳定运行到2099年，请移步至置顶文章：https://sigusoft.com/99576.html
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。 文章由激活谷谷主-小谷整理,转载请注明出处：https://sigusoft.com/73407.html
