这些搜索引擎蜘蛛，需要屏蔽吗

SEO优化87,7088

最近一直在研究网站日志，发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站，会浪费服务器的资源。对于一些搜索引擎蜘蛛，时不时来抓取我们的网站，需要屏蔽吗？以下请大家自行判断哟。

这些搜索引擎蜘蛛，你屏蔽了吗文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

一. 搜索引擎蜘蛛类型

1. 蜘蛛：SemrushBot文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

SEMrush，可能有小伙伴知道，它是一款功能强大的SEO及SEM综合工具，在在线营销市场上占据着举足轻重的地位；它的原理就是SEMrush的服务器搜刮互联网上所有有价值的网站，将网站的数据存入到数据库，对其进行分析归类，是一款很好的网站分析工具，可以说是分析自己网站和竞争对手网站状况的一大神器。文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

2. 蜘蛛：AhrefsBot文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

Ahrefs是一款非常著名的外链分析工具，它拥有自己的爬虫蜘蛛AhrefBot和强大的数据库，在查询外链方面，准确率非常高，所以它的价格不便宜，一个月99美金，让May只能望而止步。文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

3. 蜘蛛：dotbot文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

Dotbot是Moz的网络爬虫蜘蛛，Moz相信不少的SEOer人员使用过，帮助分析网站运行情况的一款工具，立志打造世界上最准确的SEO数据。文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

二. 搜索引擎蜘蛛屏蔽方式

以上这些蜘蛛，如果你觉得需要屏蔽的话，可以参考下面的屏蔽方式：文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

User-agent: SemrushBot文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

Disallow：/文章源自MAY的SEO博客-https://may90.com/seo/xspider.html

User-agent: AhrefsBot

Disallow: /

User-agent: dotbot

Disallow: /

May的SEO博客目前发现了这三款不常见的搜索引擎蜘蛛，赶紧检查一下你的网站日志中是否也有这些蜘蛛呢？或者还有其他蜘蛛？欢迎大家评论交流哦。

 

我的微信
扫一扫微信，添加好友
weinxin
我的微信
我的微信公众号
关注公众号，了解最新动态
weinxin
我的公众号
 
  • 本文由 MAY的SEO博客 发表于 2019年6月4日
  • 转载请务必保留本文链接：https://may90.com/seo/xspider.html
  • 搜索引擎蜘蛛
谷歌分析Google Analytics的4个必要设置

加载中...

360搜索引擎蜘蛛，再见了！ 个人博客

360搜索引擎蜘蛛，再见了！

之前因为搜狗不收录MAY的SEO博客，为此我还特意写了一篇文章来对搜狗道再见；没想到这次我又要对360搜索引擎说再见了，恕我无能，实在是没有精力在这么折腾下去了。具体是什么原因呢？请听我细细说来。 最...
7,50712搜索引擎蜘蛛
百度搜索引擎蜘蛛真假，你认识吗？ 百度SEO优化

百度搜索引擎蜘蛛真假，你认识吗？

我们都知道，要想让我们网站收录，比如增加百度收录，就要想方设法让百度蜘蛛来抓取我们的网站。那百度搜索引擎蜘蛛真假，你认识吗？ 正确识别百度搜索引擎蜘蛛，只需要两步，这也是百度官方对外公布的说法哟。 一...
6,537百度搜索引擎蜘蛛真假，你认识吗？已关闭评论SEO学习 搜索引擎蜘蛛
评论  8  访客  4  作者  4
    • 红嘴鸭 4
      1F

      多谢大佬的分享

        • MAY的SEO博客
          B1

          @ 红嘴鸭 谢谢支持。

        • 北京seo快速排名 2
          2F

          之前对网站日志了解比较少，最近开始专注这些方面，发现确实是这样，学习到了，会持续关注的哈。

            • MAY的SEO博客
              B1

              @ 北京seo快速排名 分析网站日志能发现不少问题。

            • 电炖锅的那些事 1
              3F

              多谢你的分享。
              网站日志还得要再仔细分析。

                • MAY的SEO博客
                  B1

                  @ 电炖锅的那些事 是的，要重视网站日志的分析。

                • boke112导航 6
                  4F

                  除了常见的，其他的都可以禁止或屏蔽

                    • MAY的SEO博客
                      B1

                      @ boke112导航 是的，一些不必要的蜘蛛时不时来抓取网站，会浪费服务器资源；甚至网站的一些数据会暴露给第三方。

                  评论已关闭！