记录世界美好
分享网络资源教程,一起看有趣的事
登录     注册    

2021各搜索引擎蜘蛛爬虫名称UA-user-agent汇总大全

最新各大搜索引擎蜘蛛爬虫名称UA-user-agent汇总大全

2021各搜索引擎蜘蛛爬虫名称UA-user-agent汇总大全(图1)

说在前面:还有未统计的,站长发现后,直接屏蔽即可。本文各搜索引擎蜘蛛爬虫名称汇总时间为:2021年4月15号


一、先说主流:

大多常见的蜘蛛名称


1、百度蜘蛛:Baiduspider 

国内网站大多数流量都来自百度,所以推荐放行。

百度其它蜘蛛:

Baiduspider-image(抓取图片)

Baiduspider-video(抓取视频)

Baiduspider-news(抓取新闻)

Baiduspider-mobile(抓取wap)

Baidu-Transcoder(抓取mp3)


2、谷歌蜘蛛:Googlebot

这个蜘蛛任劳任怨,勤奋的不行,世界第一大搜索引擎,推荐放行。

googlebot(抓取网页)

googlebot-image(抓取图片)

googlebot-mobile(抓取wap)

Mediapartners-Google(抓取广告)


3、360蜘蛛:360Spider

这个蜘蛛任劳任怨,勤奋的不行,国内主流搜索引擎,推荐放行。


4、搜狗蜘蛛:sogou spider 

搜狗蜘蛛太多了!我参考百度的robots文件,去统计的搜狗各个蜘蛛名称(统计时间2021年4月)

Sogou web spider

Sogou inst spider

Sogou spider2

Sogou blog

Sogou News Spider

Sogou Orion spider

ChinasoSpider

Sosospider

你们自己看命名去想是干什么的吧,我懒得写了。


5、必应蜘蛛:Bingbot

必应是微软的搜索引擎,微软的IE浏览器和Edge浏览器会默认使用该搜索引擎,占有率也还可以,不屏蔽。


6、SOSO蜘蛛:Sosospider

SOSO蜘蛛没了,跟搜狗合并了,但是这个蜘蛛的名字还是存在的!


7、一搜蜘蛛/神马搜索:yisouspider

神马搜索是UC和阿里2013年已经成立合资公司推出的移动搜索引擎。简单说就是UC浏览器的蜘蛛


8、雅虎蜘蛛:“zhiYahoo! Slurp China”或者Yahoo!

已经退出搜索引擎


9、MSN蜘蛛:msnbot,msnbot-media

MSNBOT是bing搜索的蜘蛛,MSN和bing是一家的,可以只保留Bingbot。


10、一淘网蜘蛛:EtaoSpider

看你是什么站了


二、非主流(没用的蜘蛛)

还有一些蜘蛛,不会给网站带来流量,还会占用资源,建议屏蔽之。


1、有道蜘蛛:YoudaoBot

网易有道的蜘蛛,并不会带来流量。


2、即刻蜘蛛:JikeSpider

“即刻搜索”是由人民搜索网络股份公司于2011年6月20日推出的通用搜索引擎平台,建议屏蔽。


3、宜搜蜘蛛:EasouSpider

宜搜是主要针对手机端的搜索引擎,非常傻帽的一个爬虫,建议屏蔽之。


4、头条号:ToutiaoSpider

今日头条的头条号蜘蛛,不能带来流量,屏蔽好啦。


5、今日头条:Bytespider

今日头条旗下,抓取太频繁了,还是建议封掉。


6、英国谋搜索引擎:MJ12bot

官方解释为:成千上万的企业使用13种语言和60多个国家来绘制互联网地图,独立于基于消费者的搜索引擎。


7、国外的谋网站分析平台:YandexBot

他分析个derder,屏蔽。


8、Alexa蜘蛛:ia_archiver

Alexa 的网站和网站审计爬虫。没什么意思。


9、美国SEO综合分析网站的蜘蛛:SEMrush

他分析个derder,屏蔽。


10、美国 Ask Jeeves:Teoma

在美国占 5% 的搜索份额,没什么意思


11、3D 打印公司:gigabot

毫无卵用,屏蔽即可。


12、日本 NTT DoCoMo:DOCOMO Sprider

是垃圾搜索引擎爬虫,请直接封掉!

分享到: 更多 0

本文链接:http://www.dzcc.cc/jiaocheng/82.html

未经允许不得转载:宋先生博客 » 2021各搜索引擎蜘蛛爬虫名称UA-user-agent汇总大全
【免责声明】

dzcc.cc提供的一切软件、教程和内容仅限用于学习和研究;禁止一切形式转载到其它平台!绝不允许将上述内容用于商业或者非法用途,否则,一切后果请用户自负。如一些网络资源您必须在下载后24小时之内,从电脑或手机彻底删除。本站部分资源来源于网络,如版权争议与本站无关,望您知悉。我们非常重视版权保护,如有侵权请邮件与我们联系处理。敬请谅解!

加载中~