在逛某问答平台的时候,有小伙伴提问在百度搜索资源平台将测并更新robots.txt,提示:“您的服务器配置有误,百度暂时无法连接您的服务器,请检查服务器的设置,确保您网站的服务器能被正常访问。错误码:301。”如下:文章源自MAY的SEO博客-https://may90.com/seo/baidu/robotstxt.html
文章源自MAY的SEO博客-https://may90.com/seo/baidu/robotstxt.html
真的是网站服务器无法访问的原因吗?
Step 1. 检查网站是否能正常访问?
清理掉浏览器Cookie后再访问网站,查看其是否正常。或者请不同地区的朋友帮忙查看网站是否访问正常。如果网站能正常访问,则说明服务器是正常工作的。
我检查了一下小伙伴提问的网站,发现其可以正常访问。
Step 2. 检查网站是否有robots.txt?
检查网站下是否有robots协议,在网站域名后面加上/robots.txt,如https://may90.com/robots.txt。
我也检查了小伙伴网站的robots.txt,也是正常存在的。
Step 3. 检查网站是否有确定首选域?
在浏览器中分别输入带www和不带www的域名,看是否会统一跳转到某一固定域名上。因为对搜索引擎来说,www和不带www是两个不同的网站。
我检查了一下小伙伴的网站,分别输入www和不带www的域名,发现没有做301重定向,也就是没有确定首选域。
Step 4. 在百度搜索资源平台检测并更新robots
在对应的首选域名下的百度搜索资源平台检测并更新robots.txt。
在上一步中,我有发现小伙伴的网站是没有做301重定向的,于是我试着在我的非首选域名下检测并更新robots,结果如下:
然后我在我的首选域名下检测并更新robots,结果如下:
以上可以大致看出百度搜索资源平台检测robots,提示服务器配置有误,错误码301的原因了,
1检查网站服务器是否能正常访问;若能正常访问,
2检查网站下的robots.txt文件是否存在;若存在,
3检查网站是否有确定首选域,
不管有没有确定首选域,只要是在非首选域名下的百度搜索资源平台账号下检测并更新robots就会提示服务器配置有误。
正确的方法是先确定网站首选域,然后在首选域对应的百度搜索资源平台账号下检测并更新robots。当然百度搜索资源平台经常出现异常,检测并更新robots时,提示“请求失败,我们已记录此问题并将尽快处理,请刷新页面或稍后再试。”这就另当别论了,是平台自己的问题了。
1F
百度搜索资源平台在遭到攻击时,会切换所有网站向平台的主动请求,比如周级收录接口提交,链接诊断工具、robots检测均会出现异常,这是为了减轻他们服务器的压力,攻击停止,功能会慢慢恢复。
B1
@ 魏义齐个人博客 百度搜索资源平台的数据更新非常慢,这是常有的事 这是百度自己的问题,不得不说作为中文最大的搜索引擎某些方面竟然做得太差了