SEO优化禁止抓取和收录是同样的机制吗?(深度解析)

MAY的SEO博客
MAY的SEO博客
MAY的SEO博客
614
文章
770
评论
2020年3月7日08:22:08 评论 2,308

有很多站长分不清楚搜索引擎“抓取”、“收录”,这两者之间的关系很难理解清楚,举个例子来说,比如我们设置了robots.txt禁止搜索引擎抓取某页面,但该页面还是出现在了搜索引擎搜索结果中。这到底是怎么回事呢?本文同大家一起深度解析:SEO优化禁止抓取和收录,是同样的机制吗?

SEO优化禁止抓取和收录是同样的机制吗?(深度解析)

SEO优化禁止抓取和收录是同样的机制吗?(深度解析)

就像我们开篇举的例子来说,很多小伙伴都有遇到过这样的问题:在robots.txt禁止搜索引擎抓取某链接,但该链接还是出现在了搜索引擎结果中。为什么会这样?这里我们需要知道:禁止搜索引擎抓取和禁止搜索引擎收录是两个完全不同的机制,不能混为一谈,抓取和收录是两个过程。

robots.txt文件

搜索引擎蜘蛛访问网站时,会首先查看网站根目录下的robotx.txt文件,根据robots.txt指令抓取允许访问的内容。如MAY的SEO博客的robots.txt文件位于:

https://may90.com/robots.txt

当然您的网站可能没有robots.txt文件,则意味着允许搜索引擎抓取网站上的所有内容。在这里,需要我们注意的是:为了避免服务器设置问题,让搜索引擎错误地解读robots文件信息,即使允许搜索引擎抓取网站上所有的内容,也要建一个空的robots.txt文件放在根目录下。

robots.txt相关文章推荐:

robots协议

什么是robots.txt? 如何查看robotx.txt? robots.txt限制如何解除?

如何正确使用robots.txt文件?

事实上,主流搜索引擎都遵守robots文件指令,被robots.txt禁止收录的文件搜索引擎将不再访问也不抓取。但是为什么被robots.txt文件禁止抓取的URL还是出现在了搜索引擎结果中呢?当有导入链接指向这个URL时,搜索引擎就会知道这个URL的存在,虽然不会抓取页面内容,但可能会将这个URL信息存进索引库中,并有可能显示在搜索引擎结果中。那如何避免这种情况的发生呢?

要想URL完全不出现在搜索引擎结果中,就要使用页面上的noindex meta robots标签来禁止搜索引擎收录(索引)。

noindex meta robots标签时页面head部分meta标签的一种,用于指令搜索引擎禁止收录(索引)本页面内容,因此就不会出现在搜索引擎结果中。其格式为:

<meta name="robots" content="noindex">

上面标签的意义在于禁止搜索引擎索引本页面,禁止跟踪本页面上的链接。Google、Bing、Yahoo等都支持meta robots标签,但2014年末百度官方在站长社区有说过暂不支持noindex指令。

因此,使用了robots.txt能禁止搜索引擎抓取,但不一定禁止了收录(索引);使用了noindex meta robots才能禁止搜索引擎收录(索引),只有允许了搜索引擎抓取,才能让蜘蛛发现noindex meta robots, 才不会让页面出现在搜索引擎结果中。禁止抓取、禁止收录是两个不同的机制, 你弄懂了吗?

 

  • 我的微信
  • 扫一扫微信,添加好友
  • weinxin
  • 我的微信公众号
  • 关注公众号,了解最新动态
  • weinxin
MAY的SEO博客
  • 本文由 发表于 2020年3月7日08:22:08
  • 转载请务必保留本文链接:https://may90.com/seo/forbidden.html
[网站提交入口]搜索引擎收录网站提交入口 SEO技术

[网站提交入口]搜索引擎收录网站提交入口

新建网站或博客有一个特别重要的工作就是让搜索引擎爬行并收录我们的网站,其中有一个最简单的方法就是我们主动向搜索引擎提交网址URL,来缩短搜索引擎发现我们网站的时间。本篇文章为您总结搜索引擎收录网站提交...
搜索引擎优化教程7步走 SEO教程

搜索引擎优化教程7步走

搜索引擎优化应该如何开始?我记得我当初学习搜索引擎优化的时候,我几乎被爬虫、反向链接、锚文本、nofollow、noindex、白帽与黑帽等之类的术语所吓倒。不知道您是不是和我一样?如果是,建议您认真...
SEO怎么优化 SEO优化

SEO怎么优化

对于很多新手SEO小伙伴来说,一直都非常关心“SEO怎么优化”,站长圈也一直在讨论这个话题。对于很多公司业务而言,通过SEO获取的流量非常大,而且往往是非常具体的、高意图的流量。也正因为如此,诞生了一...
网站SEO优化基础流程(非常适合新手) SEO优化

网站SEO优化基础流程(非常适合新手)

网站SEO优化属于市场营销的一种,在外行看起来专业性非常强。但在内行眼里,网站SEO优化基础流程是有规律可行的。只要在SEO优化前搞清楚一些基础流程,然后按照流程一步步实施,就算是刚入行的新手,也能少...
SEO优化公司怎么找?(老SEOer的建议) SEO资源

SEO优化公司怎么找?(老SEOer的建议)

如何找到一家靠谱的SEO优化公司?很多企业表示找到一家靠谱的SEO优化公司太难了,找来找去遍地都是一些不靠谱的小皮包公司,不仅最后浪费了金钱,更有可能耽误了公司的推广。我认为一家好的SEO优化公司应该...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: