robots与nofollow在实际应用中有什么区别?

建议提前阅读相关文章:
什么是robots.txt? 如何查看robotx.txt? roots.txt限制如何解除?
如何巧用nofollow标签?

很多刚刚学习SEO优化的小伙伴,robots.txtnofollow在实际应用中总是分不清楚。首先我们先弄清两者之间的概念,再根据实际情况分析两者之间的区别。文章源自MAY的SEO博客-https://may90.com/tech/difference.html

一. 理清基本概念

1. 什么是robots.txt?文章源自MAY的SEO博客-https://may90.com/tech/difference.html

robots.txt是一个文档,存放在网站根目录。当搜索引擎蜘蛛抓取网站时,首先会检查网站上是否存在robots.txt。如果存在,搜索引擎一般都会遵循网站上的robots.txt中的规则来抓取网站内容;如果不存在,搜索引擎蜘蛛就可以访问站点上所有的内容。并不是所有的搜索引擎蜘蛛都会遵循robots.txt,但总体说来大部分搜索引擎蜘蛛都会按照robots.txt规则来抓取网站内容。文章源自MAY的SEO博客-https://may90.com/tech/difference.html

什么是robots.txt文章源自MAY的SEO博客-https://may90.com/tech/difference.html

2. 什么是nofollow?文章源自MAY的SEO博客-https://may90.com/tech/difference.html

我们可以把整个互联网中想象成为一个大型城市的地铁系统,每一站就像是一个独立的站点。搜索引擎蜘蛛想通过某种方式来爬行整个城市的所有站点,而站点与站点之间最合理的方式就是通过相互链接,最后形成一个巨大复杂的蜘蛛网,搜索引擎蜘蛛找到某一链接后会一直爬下去,不断发现新的内容。在这一过程中就会存在有的站点被链接的次数多,有的站点被链接的次数少,那是不是被链接多的站点,排名就越高呢?仅仅只是考虑链接的数量就决定站点排名的高低?曾经有人钻过空子,通过大量的垃圾外链,比如在其他网站上发布大量不相关的内容指向自己网站来提高网站排名,这似乎不太合理。于是搜索引擎改进了算法,甚至还推出了”nofollow“来规范整个链接市场。文章源自MAY的SEO博客-https://may90.com/tech/difference.html

什么是nofollow文章源自MAY的SEO博客-https://may90.com/tech/difference.html

nofollow是HTML页面中a标签的属性值,常见用法如下:文章源自MAY的SEO博客-https://may90.com/tech/difference.html

<a href="URL链接"  rel="nofollow"></a>

一旦a标签加上rel="nofollow"后,就是在告诉搜索引擎不要追踪此”URL链接“,这个链接是不值得信任的,不要将页面的权重分给这个”URL链接“。文章源自MAY的SEO博客-https://may90.com/tech/difference.html

二. 实际应用有什么区别?

1. nofollow同robots.txt一样都能禁止搜索引擎的抓取?文章源自MAY的SEO博客-https://may90.com/tech/difference.html

答案是否定的。很多人认为链接被加上nofollow后就不会被搜索引擎抓取了,比如:文章源自MAY的SEO博客-https://may90.com/tech/difference.html

<a href="https://www.baidu.com" rel="nofollow">百度</a>

假设搜索引擎此时抓取到了May的这篇文章,在May的文章中有一个“百度”的链接,原本搜索引擎是有可能会继续爬行“百度”页面,但是它看到了“百度”加上了一个“nofollow”,这暗示着搜索引擎不能再继续抓取“百度”页面,也不能给“百度”页面传递权重。此路不通,但并不意味着搜索引擎从此就不能再抓取“百度”页面。搜索引擎还是可以通过其他途径来抓取“百度”页面的。文章源自MAY的SEO博客-https://may90.com/tech/difference.html

同理,比如某一站点使用了robots.txt来禁止搜索引擎的抓取,但在其他网站上有链接指向了这个禁止搜索引擎抓取的站点,搜索引擎仍有可能会找到该站点并将其编入索引,出现在搜索结果中。文章源自MAY的SEO博客-https://may90.com/tech/difference.html

2. nofollow与robots.txt屏蔽方式相同?文章源自MAY的SEO博客-https://may90.com/tech/difference.html

答案是否定的。nofollow针对的是单个的访问路径,是链接,挡住搜索引擎继续向前爬行的去路;而robots.txt可以禁止搜索引擎抓取某个单链接、某栏目下的所有页面,甚至是整个网站。文章源自MAY的SEO博客-https://may90.com/tech/difference.html

另外,nofollow标签可以屏蔽站外的链接;但是robots.txt只能屏蔽站内链接,两者之间还是有很大的区别。文章源自MAY的SEO博客-https://may90.com/tech/difference.html

3. 加上nofollow,这个链接就真的没什么价值了吗?文章源自MAY的SEO博客-https://may90.com/tech/difference.html

答案仍然是否定的。上文May一直在说链接被加上了nofollow,就意味着搜索引擎不会追踪此链接,也不会传递权重,那是不是意味着就没有价值了呢?比如说我们站长会经常在别人的网站上留言或跑到论坛上去回帖,我们的链接往往会被加上nofollow,难道你就不去交流互动了吗?至少增加了你网站曝光的机会,增加了用户访问你网站的入口,你网站不管在什么地方在什么时候每出现一次在用户的面前,他就有可能会来访你的网站,这不是直接增加你网站的流量吗?有效的自然流量就会推动你网站的排名。文章源自MAY的SEO博客-https://may90.com/tech/difference.html

robots.txt与nofollow傻傻分不清楚的SEO优化小伙伴,通过上文的讲解,你理清了吗?如果有任何疑问,欢迎在下方留言哦。文章源自MAY的SEO博客-https://may90.com/tech/difference.html

 文章源自MAY的SEO博客-https://may90.com/tech/difference.html

 

  • 我的微信
  • 扫一扫微信,添加好友
  • weinxin
  • 我的微信公众号
  • 关注公众号,了解最新动态
  • weinxin
  • 本文由 发表于 2019年3月19日
  • 转载请务必保留本文链接:https://may90.com/tech/difference.html
如何正确使用robots.txt文件? 谷歌SEO优化

如何正确使用robots.txt文件?

当您网站在进行SEO优化工作时,robots.txt文件是一个功能强大的工具,但应谨慎对待。它可以允许或拒绝搜索引擎访问不同的文件和文件夹,我们应该如何正确使用robots.txt文件? 搜索引擎不断...
评论  5  访客  3  作者  2
    • 子午物联网 3

      这个我能分清

      • boke112导航 6

        我们添加一些外链目的不是为了给搜索引擎爬取,而是方便用户可以直接点击访问过去。这样一来方便了用户,也可以提高目标网站的曝光度,帮他引流过去。所以不要纠结对方是否添加了nofollow。当然,如果是友情链接添加这个标签就有问题了。

          • MAY的SEO博客

            @ boke112导航 站在站长的角度,站内的链接如果做的不是友情链接,最好加上nofollow,以免分散权重。如果你是在其他网站发布的链接,就像你说的不要太纠结是否添加了nofollow。

        发表评论

        匿名网友 填写信息

        :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

        确定