Robots.txt文件被谷歌索引,怎么办

MAY的SEO博客
MAY的SEO博客
MAY的SEO博客
548
文章
758
评论
2019年11月8日15:02:03 2 4,070

John Mueller最近就如何阻止robots.txt和站点地图文件在搜索结果中建立索引提供了一些建议。

Robots.txt文件被谷歌索引,怎么办

Robots.txt文件被谷歌索引,怎么办

Gary Illyes的一条推文提示了这一建议,他随机指出,从技术上讲,robots.txt可以像其他任何URL一样被索引。尽管它为爬网提供了特殊的指导,但没有什么可以阻止它被索引的。

这是Illyes的完整推文:

“被一个内部问题触发:从索引的角度来看,robots.txt只是一个可以对其内容进行索引的url。就像任何其他URL一样,它可以变为规范或可以重复数据删除。

它仅具有爬网的特殊含义,但那里的索引状态根本不重要。”

作为对Google同事的回应,Mueller 说 x-robots-tag HTTP标头可用于阻止robots.txt或站点地图文件的索引编制。然而,这并不是他所要说的全部,因为可以说这是关键所在:

“此外,如果您的robots.txt或站点地图文件针对常规查询(而非站点:)进行排名,则通常表明您的站点确实状况不佳,应予以改善。”

因此,如果您遇到了robots.txt文件在搜索结果中排名的问题,那么使用x-robots-tag HTTP标头阻止它是一个不错的短期解决方案。但是,如果发生这种情况,那么从长远来看,可能会有更大的问题需要解决,正如Mueller建议的那样。

  • 我的微信
  • 扫一扫微信,添加好友
  • weinxin
  • 我的微信公众号
  • 关注公众号,了解最新动态
  • weinxin
MAY的SEO博客
  • 本文由 发表于 2019年11月8日15:02:03
  • 转载请务必保留本文链接:https://may90.com/seo/google/suoyin.html
Google提供的6款免费的谷歌SEO工具 谷歌SEO优化

Google提供的6款免费的谷歌SEO工具

Google创建了许多免费工具,这些工具对于谷歌SEO优化极为有用。这些工具可以为您提供许多帮助,例如与Googlebot交流有关您的网站、分析流量以及提高您网站速度与用户体验等。下面为大家分享Goo...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

评论:2   其中:访客  2   博主  0
    • 无限网赚博客 无限网赚博客 4

      站长我想问一下,你的网站百度移动落地页检测合格吗?