如何正确使用robots.txt文件?

当您网站在进行SEO优化工作时,robots.txt文件是一个功能强大的工具,但应谨慎对待。它可以允许或拒绝搜索引擎访问不同的文件和文件夹,我们应该如何正确使用robots.txt文件?

如何正确使用robots.txt文件?

如何正确使用robots.txt文件?

搜索引擎不断改进爬行方式和算法,这意味着几年前的最佳做法不再起作用,甚至可能损害您的网站。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

如今,最佳做法意味着尽可能少地依赖robots.txt文件。实际上,只有在您遇到复杂的技术难题或没有其他选择时,才真正需要阻止robots.txt文件中的URL。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

对于大多数网站,以下示例是最佳做法:文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

User-agent: *
Allow: /

我们甚至在自己的robots.txt文件中使用此方法。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

该代码的作用是什么?文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

该User-agent: *说明指出,以下任何说明都适用于所有的搜索引擎。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

因为我们没有提供任何进一步的说明,所以我们说“所有爬网程序都可以不受限制地自由爬行该网站”。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

如果您想防止搜索引擎对WordPress网站的某些部分进行爬网或编制索引,通常最好通过添加meta robots标签或robots HTTP标头来做到这一点。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

在搜索结果的可见性之前,搜索引擎需要发现、爬网和索引页面。如果您已通过robots.txt阻止了某些URL,则搜索引擎将无法再通过这些页面来发现其他页面。这可能意味着关键页面不会被发现。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

Robots.txt拒绝链接值文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

SEO的基本规则之一是来自其他页面的链接会影响您的性能。如果某个URL被阻止,不仅搜索引擎不会对其进行爬网,而且它们也可能不会将指向该URL的任何“链接值”或通过该URL分发给网站上的其他页面。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

Google全面呈现您的网站文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

人们过去常常阻止对CSS和JavaScript文件的访问,以使搜索引擎专注于那些最重要的内容页面。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

如今,Google会获取您所有的样式和JavaScript,并完全呈现您的页面。了解页面的布局和表示形式是评估质量的关键部分。因此,当您拒绝Google 访问CSS或JavaScript文件时,Google根本不喜欢它。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

您(通常)不需要链接到您的站点地图文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

robots.txt标准支持将指向您的XML网站地图的链接添加到该文件。这有助于搜索引擎发现站点的位置和内容。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

我们一直觉得这是多余的。您应该已经通过将站点地图添加到 Google Search Console和Bing网站管理员工具 帐户中来访问分析和效果数据。如果这样做,则在robots.txt文件中不需要引用。文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html 文章源自MAY的SEO博客-https://may90.com/seo/google/robots-txt.html

  • 我的微信
  • 扫一扫微信,添加好友
  • weinxin
  • 我的微信公众号
  • 关注公众号,了解最新动态
  • weinxin
  • 本文由 发表于 2019年11月11日
  • 转载请务必保留本文链接:https://may90.com/seo/google/robots-txt.html
robots协议 SEO教程

robots协议

robots协议,又称为爬虫协议、机器人协议,简单地可以理解为是网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不可以抓取。就像是一个门禁设置了规则一样,哪些搜索引擎可以进入并访问哪些内...
评论  0  访客  0

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定