SEO优化禁止抓取和收录是同样的机制吗?(深度解析)

有很多站长分不清楚搜索引擎“抓取”、“收录”,这两者之间的关系很难理解清楚,举个例子来说,比如我们设置了robots.txt禁止搜索引擎抓取某页面,但该页面还是出现在了搜索引擎搜索结果中。这到底是怎么回事呢?本文同大家一起深度解析:SEO优化禁止抓取和收录,是同样的机制吗?文章源自MAY的SEO博客-https://may90.com/seo/forbidden.html

SEO优化禁止抓取和收录是同样的机制吗?(深度解析)

SEO优化禁止抓取和收录是同样的机制吗?(深度解析)

就像我们开篇举的例子来说,很多小伙伴都有遇到过这样的问题:在robots.txt禁止搜索引擎抓取某链接,但该链接还是出现在了搜索引擎结果中。为什么会这样?这里我们需要知道:禁止搜索引擎抓取和禁止搜索引擎收录是两个完全不同的机制,不能混为一谈,抓取和收录是两个过程。文章源自MAY的SEO博客-https://may90.com/seo/forbidden.html

robots.txt文件

搜索引擎蜘蛛访问网站时,会首先查看网站根目录下的robotx.txt文件,根据robots.txt指令抓取允许访问的内容。如MAY的SEO博客的robots.txt文件位于:

https://may90.com/robots.txt

当然您的网站可能没有robots.txt文件,则意味着允许搜索引擎抓取网站上的所有内容。在这里,需要我们注意的是:为了避免服务器设置问题,让搜索引擎错误地解读robots文件信息,即使允许搜索引擎抓取网站上所有的内容,也要建一个空的robots.txt文件放在根目录下。

robots.txt相关文章推荐:

robots协议

什么是robots.txt? 如何查看robotx.txt? robots.txt限制如何解除?

如何正确使用robots.txt文件?

事实上,主流搜索引擎都遵守robots文件指令,被robots.txt禁止收录的文件搜索引擎将不再访问也不抓取。但是为什么被robots.txt文件禁止抓取的URL还是出现在了搜索引擎结果中呢?当有导入链接指向这个URL时,搜索引擎就会知道这个URL的存在,虽然不会抓取页面内容,但可能会将这个URL信息存进索引库中,并有可能显示在搜索引擎结果中。那如何避免这种情况的发生呢?

要想URL完全不出现在搜索引擎结果中,就要使用页面上的noindex meta robots标签来禁止搜索引擎收录(索引)。

noindex meta robots标签时页面head部分meta标签的一种,用于指令搜索引擎禁止收录(索引)本页面内容,因此就不会出现在搜索引擎结果中。其格式为:

<meta name="robots" content="noindex">

上面标签的意义在于禁止搜索引擎索引本页面,禁止跟踪本页面上的链接。Google、Bing、Yahoo等都支持meta robots标签,但2014年末百度官方在站长社区有说过暂不支持noindex指令。

因此,使用了robots.txt能禁止搜索引擎抓取,但不一定禁止了收录(索引);使用了noindex meta robots才能禁止搜索引擎收录(索引),只有允许了搜索引擎抓取,才能让蜘蛛发现noindex meta robots, 才不会让页面出现在搜索引擎结果中。禁止抓取、禁止收录是两个不同的机制, 你弄懂了吗?

 

我的微信
扫一扫微信,添加好友
weinxin
我的微信公众号
关注公众号,了解最新动态
weinxin
 
  • 本文由 MAY的SEO博客 发表于 2020年3月7日
  • 转载请务必保留本文链接:https://may90.com/seo/forbidden.html
搜索引擎优化教程7步走 SEO教程

搜索引擎优化教程7步走

搜索引擎优化应该如何开始?我记得我当初学习搜索引擎优化的时候,我几乎被爬虫、反向链接、锚文本、nofollow、noindex、白帽与黑帽等之类的术语所吓倒。不知道您是不是和我一样?如果是,建议您认真...
SEO怎么优化 SEO优化

SEO怎么优化

对于很多新手SEO小伙伴来说,一直都非常关心“SEO怎么优化”,站长圈也一直在讨论这个话题。对于很多公司业务而言,通过SEO获取的流量非常大,而且往往是非常具体的、高意图的流量。也正因为如此,诞生了一...
网站SEO优化基础流程(非常适合新手) SEO优化

网站SEO优化基础流程(非常适合新手)

网站SEO优化属于市场营销的一种,在外行看起来专业性非常强。但在内行眼里,网站SEO优化基础流程是有规律可行的。只要在SEO优化前搞清楚一些基础流程,然后按照流程一步步实施,就算是刚入行的新手,也能少...
SEO优化公司怎么找?(老SEOer的建议) SEO资源

SEO优化公司怎么找?(老SEOer的建议)

如何找到一家靠谱的SEO优化公司?很多企业表示找到一家靠谱的SEO优化公司太难了,找来找去遍地都是一些不靠谱的小皮包公司,不仅最后浪费了金钱,更有可能耽误了公司的推广。我认为一家好的SEO优化公司应该...

发表评论

匿名网友
:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:
确定