这些搜索引擎蜘蛛,需要屏蔽吗

MAY的SEO博客
MAY的SEO博客
MAY的SEO博客
590
文章
762
评论
2019年6月4日14:40:51 8 5,847

最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于一些搜索引擎蜘蛛,时不时来抓取我们的网站,需要屏蔽吗?以下请大家自行判断哟。

这些搜索引擎蜘蛛,你屏蔽了吗

一. 搜索引擎蜘蛛类型

1. 蜘蛛:SemrushBot

SEMrush,可能有小伙伴知道,它是一款功能强大的SEO及SEM综合工具,在在线营销市场上占据着举足轻重的地位;它的原理就是SEMrush的服务器搜刮互联网上所有有价值的网站,将网站的数据存入到数据库,对其进行分析归类,是一款很好的网站分析工具,可以说是分析自己网站和竞争对手网站状况的一大神器。

2. 蜘蛛:AhrefsBot

Ahrefs是一款非常著名的外链分析工具,它拥有自己的爬虫蜘蛛AhrefBot和强大的数据库,在查询外链方面,准确率非常高,所以它的价格不便宜,一个月99美金,让May只能望而止步。

3. 蜘蛛:dotbot

Dotbot是Moz的网络爬虫蜘蛛,Moz相信不少的SEOer人员使用过,帮助分析网站运行情况的一款工具,立志打造世界上最准确的SEO数据。

二. 搜索引擎蜘蛛屏蔽方式

以上这些蜘蛛,如果你觉得需要屏蔽的话,可以参考下面的屏蔽方式:

User-agent: SemrushBot

Disallow:/

User-agent: AhrefsBot

Disallow: /

User-agent: dotbot

Disallow: /

May的SEO博客目前发现了这三款不常见的搜索引擎蜘蛛,赶紧检查一下你的网站日志中是否也有这些蜘蛛呢?或者还有其他蜘蛛?欢迎大家评论交流哦。

 

  • 我的微信
  • 扫一扫微信,添加好友
  • weinxin
  • 我的微信公众号
  • 关注公众号,了解最新动态
  • weinxin
MAY的SEO博客
  • 本文由 发表于 2019年6月4日14:40:51
  • 转载请务必保留本文链接:https://may90.com/seo/xspider.html
为什么我的网站在搜索引擎中搜索不到? SEO资源

为什么我的网站在搜索引擎中搜索不到?

也许您已经完成了很多工作,比如选择了一个性能非常好的服务器、安装了WordPress建站程序、购买了一个高大上的主题,并发布了一些文章。但在搜索引擎中搜索,却没有任何结果。为什么我的网站在搜索引擎中搜...
蜘蛛抓取频次对SEO优化的影响(全新解读) 百度SEO优化

蜘蛛抓取频次对SEO优化的影响(全新解读)

蜘蛛抓取频次,这个概念好像被很多SEO优化人员忽视,特别是一些中小型站点。但就在前些时间,May发现我的SEO博客上经常出现一些莫名其妙的蜘蛛,甚至因为360蜘蛛的多次访问,直接导致服务器崩溃。不管您...
网站标题频繁修改,来自搜索引擎蜘蛛的困惑 SEO优化

网站标题频繁修改,来自搜索引擎蜘蛛的困惑

也许你一想到蜘蛛就会毛骨悚然,而我,却是一只人见人爱的蜘蛛。在SEO圈子里可以说是“名人”,每天SEOer都想着法地吸引我,他们居然还说:没了我,会活不下去。原来我有这般魅力???但是不知道他们是真爱...
360搜索引擎蜘蛛,再见了! 个人博客

360搜索引擎蜘蛛,再见了!

之前因为搜狗不收录MAY的SEO博客,为此我还特意写了一篇文章来对搜狗道再见;没想到这次我又要对360搜索引擎说再见了,恕我无能,实在是没有精力在这么折腾下去了。具体是什么原因呢?请听我细细说来。 3...
百度搜索引擎蜘蛛真假,你认识吗? 百度SEO优化

百度搜索引擎蜘蛛真假,你认识吗?

我们都知道,要想让我们网站收录,比如增加百度收录,就要想方设法让百度蜘蛛来抓取我们的网站。那百度搜索引擎蜘蛛真假,你认识吗? 正确识别百度搜索引擎蜘蛛,只需要两步,这也是百度官方对外公布的说法哟。 一...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

评论:8   其中:访客  4   博主  4
    • 红嘴鸭 红嘴鸭 4

      多谢大佬的分享

      • 北京seo快速排名 北京seo快速排名 2

        之前对网站日志了解比较少,最近开始专注这些方面,发现确实是这样,学习到了,会持续关注的哈。

        • 电炖锅的那些事 电炖锅的那些事 1

          多谢你的分享。
          网站日志还得要再仔细分析。

          • boke112导航 boke112导航 6

            除了常见的,其他的都可以禁止或屏蔽

              • MAY的SEO博客 MAY的SEO博客

                @ boke112导航 是的,一些不必要的蜘蛛时不时来抓取网站,会浪费服务器资源;甚至网站的一些数据会暴露给第三方。