今日看到问答里有人在讨论404页面会被搜索引擎收录吗?关于这个话题,小伙伴们的看法都不统一,有人认为会被收录,也有人认为不会被收录。那么,本篇文章同大家一起深层次思考“404页面会被搜索引擎收录吗”?下面谈一谈个人的看法。
我们所说的404页面具体是指什么?
404页面是客户端在浏览网页时,服务器无法正常提供信息或无法应答,或不知道原因所返回的页面。404页面存在的目的就是为了告诉搜索引擎和用户,这个页面出现了错误或已经不存在了。文章源自MAY的SEO博客-https://may90.com/share/404.html
404页面真的会被搜索引擎收录吗?
其实404页面分为两种情况:一种是软404,会在返回的页面中标明目标网页不存在,返回的状态码是200;另一种是硬404,返回的状态码是404,这才是真正意义上的404页面。文章源自MAY的SEO博客-https://may90.com/share/404.html
不清楚状态码的小伙伴请阅读《HTTP状态码(SEO优化人员必须知道的)》。文章源自MAY的SEO博客-https://may90.com/share/404.html
404页面会被搜索引擎收录吗?
有的小伙伴们说:404页面会被搜索引擎收录。
据May分析,出现这种现象很有可能是以下原因:文章源自MAY的SEO博客-https://may90.com/share/404.html
1. 已经收录过的页面被删除后出现的404,是因为该网页还未被搜索引擎检索到;文章源自MAY的SEO博客-https://may90.com/share/404.html
2. 很有可能是404页面返回的状态码是200,这相当于是在告诉搜索引擎这是一个真实的网页,因此该网页可能会被搜索引擎收录并列在搜索结果中。这其实是一种非常不好的做法,搜索引擎一直在抓取这个没有意义的网页,将时间花费在这些毫无价值的网页上,甚至很有可能会产生大量的重复的404页面。那这类404页面该如何正确处理呢?文章源自MAY的SEO博客-https://may90.com/share/404.html
①. 不存在的网页或已删除的网页,应返回404(未找到)或410(已删除)响应代码,明确告知搜索引擎:该网页不存在。当然还可以向用户显示自定义404页面,引导用户返回首页或其他栏目页;文章源自MAY的SEO博客-https://may90.com/share/404.html
②. 已移动的网站或有明确的替换网页,最佳的做法是使用301重定向到指定的网页;文章源自MAY的SEO博客-https://may90.com/share/404.html
③. 本应返回404状态码却被错误地标记为软404的页面,检查网站程序或404设置或咨询网站开发人员。文章源自MAY的SEO博客-https://may90.com/share/404.html
也有的小伙伴们说:404页面不会被搜索引擎收录。
是的,真正返回404状态码的页面,也就是搜索引擎明知道是死链,是不会被收录的。文章源自MAY的SEO博客-https://may90.com/share/404.html
也有小伙伴问:需要在robots协议中设置disallow: /404.html吗?
May个人认为:只要404.html页面返回的状态码是404,就不会被搜索引擎收录,完全没有必要再多此一举。
以上,完全是May的个人看法。如果您有不同的看法,也欢迎您在评论区留言参与讨论。
1F
严格说,不管页面显示什么内容提示,只要返回码是404就OK的吧,而且正确的,否则就是属于错误
2F
技术类文章,干货,学习到了,知道了哈。
3F
直觉是不会,至少目前还没有发现404页面被收录。
B1
@ Action 嗯,如果404页面返回的是200,就很有可能会被搜索引擎收录。
4F
所以有必要检查自己站点的404页面是否返回404状态码,如果是就不用担心了
B1
@ boke112联盟 一些问答里看到说404页面被百度收录了,所以我就分析了一下原因
5F
文章不错非常喜欢