2019年最新的搜索引擎蜘蛛爬虫整理汇总

  • 时间:2019-06-20 17:14 编辑:Admin 来源:网络 阅读:264
  • 扫一扫,手机访问
摘要:了解各大搜索引擎蜘蛛爬虫,对我们进行网站SEO优化起到很大作用;舍力收集了各大搜索引擎的蜘蛛爬虫UA,以便你需要时查阅。1、百度蜘蛛:BaiduSpider常见的Baiduspider和Baiduspider-image(抓取图片)百度公司还有其它几个蜘蛛:Baidusp

了解各大搜索引擎蜘蛛爬虫,对我们进行网站SEO优化起到很大作用;舍力收集了各大搜索引擎的蜘蛛爬虫UA,以便你需要时查阅。

1、百度蜘蛛:BaiduSpider

常见的Baiduspider和Baiduspider-image(抓取图片)

百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见。

百度蜘蛛爬虫UA:

PC端:

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动端:

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

图片:

“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

2、谷歌蜘蛛:Googlebot

有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的。

谷歌蜘蛛爬虫UA:

“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

图片:

“Googlebot-Image/1.0”

3、360蜘蛛:360Spider

它是一个十分“勤奋抓爬”的蜘蛛。

360蜘蛛爬虫UA:

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

4、搜狗蜘蛛:Sogou News Spider

搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,冬镜在日志中只发现了常见的Sogou News Spider。(参考大神百度的robots文件,搜狗蜘蛛名称可以用Sogou概括,但有没有用就不知道了。)

搜狗蜘蛛爬虫UA:

“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

5、必应蜘蛛:bingbot

必应蜘蛛爬虫UA:

“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”

6、SOSO蜘蛛:Sosospider

腾讯已玩死,交给搜狗公司。

soso蜘蛛爬虫UA:

“Sosospider+(+http://help.soso.com/webspider.htm)”

7、雅虎蜘蛛:Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)

雅虎蜘蛛爬虫UA:

雅虎中国:

“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”

雅虎英文:

“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”

8、MSN蜘蛛:msnbot,msnbot-media

好像只见到msnbot-media在狂爬……

MSN蜘蛛爬虫UA:

*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

  • 全部评论(0)
上一篇:已是第一篇内容
下一篇:解决宝塔面板服务器中空间不足文件爆满的小技巧
资讯详情页最新发布上方横幅
最新发布的资讯信息
【电脑技巧|系统相关】Centos 7升级内核/Centos yum update失败无法启动解决办法 不能启动解决方案(2019-06-28 17:10)
【最新活动|】CentOS 设置网络(修改IP 网关 DNS)上网,配置静态IP地址(2019-06-28 15:33)
【电脑技巧|系统相关】Centos查看端口占用情况和开启端口命令/Linux系统(2019-06-28 08:38)
【最新活动|】修改 Seafile 安装目录的位置/数据目录更改(2019-06-27 14:27)
【电脑技巧|软件使用】seafile磁盘空间满了解决办法/扩容硬盘/增加硬盘方法(2019-06-27 14:24)
【电脑技巧|系统相关】CentOS 7 查看硬盘/磁盘相关命令(2019-06-27 13:29)
【电脑技巧|系统相关】CentOS 7 DNS Resolv 设置和重启无效的解决方法(2019-06-26 16:37)
【电脑技巧|网络技巧】常用收藏夹标签使用技巧(2019-06-22 18:20)
【电脑技巧|建站知识】2019年最新的搜索引擎蜘蛛爬虫整理汇总(2019-06-20 17:14)
【电脑技巧|建站知识】解决宝塔面板服务器中空间不足文件爆满的小技巧(2019-03-26 18:29)
底部广告
网站首页 | 关于我们 | 广告合作 | 联系我们 | 隐私条款 | 免责声明
CopyRight 2014-2024 幸运软件站 | 苏ICP备16036938号
联系客服
平台客服 平台小二 招商入驻 联系客服
2099731648
手机版

扫一扫进手机版
返回顶部