这些搜索引擎蜘蛛,需要屏蔽吗

2019年6月4日14:40:51 8 351

最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于一些搜索引擎蜘蛛,时不时来抓取我们的网站,需要屏蔽吗?以下请大家自行判断哟。

这些搜索引擎蜘蛛,你屏蔽了吗

一. 搜索引擎蜘蛛类型

1. 蜘蛛:SemrushBot

SEMrush,可能有小伙伴知道,它是一款功能强大的SEO及SEM综合工具,在在线营销市场上占据着举足轻重的地位;它的原理就是SEMrush的服务器搜刮互联网上所有有价值的网站,将网站的数据存入到数据库,对其进行分析归类,是一款很好的网站分析工具,可以说是分析自己网站和竞争对手网站状况的一大神器。

2. 蜘蛛:AhrefsBot

Ahrefs是一款非常著名的外链分析工具,它拥有自己的爬虫蜘蛛AhrefBot和强大的数据库,在查询外链方面,准确率非常高,所以它的价格不便宜,一个月99美金,让May只能望而止步。

3. 蜘蛛:dotbot

Dotbot是Moz的网络爬虫蜘蛛,Moz相信不少的SEOer人员使用过,帮助分析网站运行情况的一款工具,立志打造世界上最准确的SEO数据。

二. 搜索引擎蜘蛛屏蔽方式

以上这些蜘蛛,如果你觉得需要屏蔽的话,可以参考下面的屏蔽方式:

User-agent: SemrushBot

Disallow:/

User-agent: AhrefsBot

Disallow: /

User-agent: dotbot

Disallow: /

May的SEO博客目前发现了这三款不常见的搜索引擎蜘蛛,赶紧检查一下你的网站日志中是否也有这些蜘蛛呢?或者还有其他蜘蛛?欢迎大家评论交流哦。

 

  • 支付宝扫码赞助
  • weinxin
  • 微信扫码赞助
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:8   其中:访客  4   博主  4

    • 红嘴鸭 红嘴鸭 4

      多谢大佬的分享

        • MAY的SEO博客 MAY的SEO博客 Admin

          @红嘴鸭 谢谢支持。

        • 北京seo快速排名 北京seo快速排名 1

          之前对网站日志了解比较少,最近开始专注这些方面,发现确实是这样,学习到了,会持续关注的哈。

          • 电炖锅的那些事 电炖锅的那些事 0

            多谢你的分享。
            网站日志还得要再仔细分析。

            • boke112导航 boke112导航 5

              除了常见的,其他的都可以禁止或屏蔽

                • MAY的SEO博客 MAY的SEO博客 Admin

                  @boke112导航 是的,一些不必要的蜘蛛时不时来抓取网站,会浪费服务器资源;甚至网站的一些数据会暴露给第三方。