最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于一些搜索引擎蜘蛛,时不时来抓取我们的网站,需要屏蔽吗?以下请大家自行判断哟。文章源自MAY的SEO博客-https://may90.com/seo/xspider.html
文章源自MAY的SEO博客-https://may90.com/seo/xspider.html
一. 搜索引擎蜘蛛类型
1. 蜘蛛:SemrushBot
SEMrush,可能有小伙伴知道,它是一款功能强大的SEO及SEM综合工具,在在线营销市场上占据着举足轻重的地位;它的原理就是SEMrush的服务器搜刮互联网上所有有价值的网站,将网站的数据存入到数据库,对其进行分析归类,是一款很好的网站分析工具,可以说是分析自己网站和竞争对手网站状况的一大神器。
2. 蜘蛛:AhrefsBot
Ahrefs是一款非常著名的外链分析工具,它拥有自己的爬虫蜘蛛AhrefBot和强大的数据库,在查询外链方面,准确率非常高,所以它的价格不便宜,一个月99美金,让May只能望而止步。
3. 蜘蛛:dotbot
Dotbot是Moz的网络爬虫蜘蛛,Moz相信不少的SEOer人员使用过,帮助分析网站运行情况的一款工具,立志打造世界上最准确的SEO数据。
二. 搜索引擎蜘蛛屏蔽方式
以上这些蜘蛛,如果你觉得需要屏蔽的话,可以参考下面的屏蔽方式:
User-agent: SemrushBot
Disallow:/
User-agent: AhrefsBot
Disallow: /
User-agent: dotbot
Disallow: /
May的SEO博客目前发现了这三款不常见的搜索引擎蜘蛛,赶紧检查一下你的网站日志中是否也有这些蜘蛛呢?或者还有其他蜘蛛?欢迎大家评论交流哦。
1F
多谢大佬的分享
B1
@ 红嘴鸭 谢谢支持。
2F
之前对网站日志了解比较少,最近开始专注这些方面,发现确实是这样,学习到了,会持续关注的哈。
B1
@ 北京seo快速排名 分析网站日志能发现不少问题。
3F
多谢你的分享。
网站日志还得要再仔细分析。
B1
@ 电炖锅的那些事 是的,要重视网站日志的分析。
4F
除了常见的,其他的都可以禁止或屏蔽
B1
@ boke112导航 是的,一些不必要的蜘蛛时不时来抓取网站,会浪费服务器资源;甚至网站的一些数据会暴露给第三方。