这些搜索引擎蜘蛛，需要屏蔽吗

最近一直在研究网站日志，发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站，会浪费服务器的资源。对于一些搜索引擎蜘蛛，时不时来抓取我们的网站，需要屏蔽吗？以下请大家自行判断哟。文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

一. 搜索引擎蜘蛛类型

1. 蜘蛛：SemrushBot

SEMrush，可能有小伙伴知道，它是一款功能强大的SEO及SEM综合工具，在在线营销市场上占据着举足轻重的地位；它的原理就是SEMrush的服务器搜刮互联网上所有有价值的网站，将网站的数据存入到数据库，对其进行分析归类，是一款很好的网站分析工具，可以说是分析自己网站和竞争对手网站状况的一大神器。

2. 蜘蛛：AhrefsBot

Ahrefs是一款非常著名的外链分析工具，它拥有自己的爬虫蜘蛛AhrefBot和强大的数据库，在查询外链方面，准确率非常高，所以它的价格不便宜，一个月99美金，让May只能望而止步。

3. 蜘蛛：dotbot

Dotbot是Moz的网络爬虫蜘蛛，Moz相信不少的SEOer人员使用过，帮助分析网站运行情况的一款工具，立志打造世界上最准确的SEO数据。

二. 搜索引擎蜘蛛屏蔽方式

以上这些蜘蛛，如果你觉得需要屏蔽的话，可以参考下面的屏蔽方式：

User-agent: SemrushBot

Disallow：/

User-agent: AhrefsBot

Disallow: /

User-agent: dotbot

Disallow: /

May的SEO博客目前发现了这三款不常见的搜索引擎蜘蛛，赶紧检查一下你的网站日志中是否也有这些蜘蛛呢？或者还有其他蜘蛛？欢迎大家评论交流哦。