这些搜索引擎蜘蛛,需要屏蔽吗

最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于一些搜索引擎蜘蛛,时不时来抓取我们的网站,需要屏蔽吗?以下请大家自行判断哟。文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

这些搜索引擎蜘蛛,你屏蔽了吗文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

一. 搜索引擎蜘蛛类型

1. 蜘蛛:SemrushBot

SEMrush,可能有小伙伴知道,它是一款功能强大的SEO及SEM综合工具,在在线营销市场上占据着举足轻重的地位;它的原理就是SEMrush的服务器搜刮互联网上所有有价值的网站,将网站的数据存入到数据库,对其进行分析归类,是一款很好的网站分析工具,可以说是分析自己网站和竞争对手网站状况的一大神器。

2. 蜘蛛:AhrefsBot

Ahrefs是一款非常著名的外链分析工具,它拥有自己的爬虫蜘蛛AhrefBot和强大的数据库,在查询外链方面,准确率非常高,所以它的价格不便宜,一个月99美金,让May只能望而止步。

3. 蜘蛛:dotbot

Dotbot是Moz的网络爬虫蜘蛛,Moz相信不少的SEOer人员使用过,帮助分析网站运行情况的一款工具,立志打造世界上最准确的SEO数据。

二. 搜索引擎蜘蛛屏蔽方式

以上这些蜘蛛,如果你觉得需要屏蔽的话,可以参考下面的屏蔽方式:

User-agent: SemrushBot

Disallow:/

User-agent: AhrefsBot

Disallow: /

User-agent: dotbot

Disallow: /

May的SEO博客目前发现了这三款不常见的搜索引擎蜘蛛,赶紧检查一下你的网站日志中是否也有这些蜘蛛呢?或者还有其他蜘蛛?欢迎大家评论交流哦。

 

我的微信
扫一扫微信,添加好友
weinxin
我的微信公众号
关注公众号,了解最新动态
weinxin
 
  • 本文由 MAY的SEO博客 发表于 2019年6月4日
  • 转载请务必保留本文链接:https://may90.com/seo/xspider.html
360搜索引擎蜘蛛,再见了! 个人博客

360搜索引擎蜘蛛,再见了!

之前因为搜狗不收录MAY的SEO博客,为此我还特意写了一篇文章来对搜狗道再见;没想到这次我又要对360搜索引擎说再见了,恕我无能,实在是没有精力在这么折腾下去了。具体是什么原因呢?请听我细细说来。 最...
评论  8  访客  4  作者  4
    • 红嘴鸭 4

      多谢大佬的分享

        • MAY的SEO博客

          @ 红嘴鸭 谢谢支持。

        • 北京seo快速排名 2

          之前对网站日志了解比较少,最近开始专注这些方面,发现确实是这样,学习到了,会持续关注的哈。

          • 电炖锅的那些事 1

            多谢你的分享。
            网站日志还得要再仔细分析。

            • boke112导航 6

              除了常见的,其他的都可以禁止或屏蔽

                • MAY的SEO博客

                  @ boke112导航 是的,一些不必要的蜘蛛时不时来抓取网站,会浪费服务器资源;甚至网站的一些数据会暴露给第三方。

              发表评论

              匿名网友
              :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:
              确定