robots协议

robots协议,又称为爬虫协议、机器人协议,简单地可以理解为是网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不可以抓取。就像是一个门禁设置了规则一样,哪些搜索引擎可以进入并访问哪些内容;哪些搜索引擎不可以进入或不可以访问哪些内容。本文分享SEO教程:robots协议。

robots协议文章源自MAY的SEO博客-https://may90.com/jiaocheng/c2.html

一. 什么是robots协议?

robots协议其实就是robots.txt文件,放在网站的根目录,申明网站中哪些内容可以被搜索引擎抓取。搜索引擎蜘蛛在访问某一个网站时,会检查该网站的根目录下是否有robots.txt纯文本:文章源自MAY的SEO博客-https://may90.com/jiaocheng/c2.html

①. 有robots.txt,蜘蛛就会遵守robots.txt申明来确定访问范围;文章源自MAY的SEO博客-https://may90.com/jiaocheng/c2.html

②. 没有robots.txt,蜘蛛就会访问网站上所有的内容。文章源自MAY的SEO博客-https://may90.com/jiaocheng/c2.html

二. robots协议的正确写法

什么是robots.txt? 如何查看robotx.txt? robots.txt限制如何解除?文章源自MAY的SEO博客-https://may90.com/jiaocheng/c2.html

三. robots协议常见问题解答

1. robots协议如何查看?文章源自MAY的SEO博客-https://may90.com/jiaocheng/c2.html

在访问网站的域名后面加上“/robots.txt”,即可访问到该站点下的robots协议。文章源自MAY的SEO博客-https://may90.com/jiaocheng/c2.html

2. robots协议被限制后,如何解除?文章源自MAY的SEO博客-https://may90.com/jiaocheng/c2.html

有时候我们在操作的过程中错误地将robots协议限制,禁止搜索引擎蜘蛛抓取,那如何快速解除呢?文章源自MAY的SEO博客-https://may90.com/jiaocheng/c2.html

①. 将robots禁止抓取,修改为允许;文章源自MAY的SEO博客-https://may90.com/jiaocheng/c2.html

②. 在百度搜索资源平台检测并更新robots协议;

百度搜索资源平台 - 数据监控 - robots - 检测并更新。

③. 在百度搜索资源平台尝试“抓取诊断”。

百度搜索资源平台 - 数据监控 - 抓取诊断 - 输入“robots.txt” - 抓取。

④. 更新sitemap,并重新提交给百度;

百度搜索资源平台 - 链接提交 - sitemap。

⑤. 使用链接提交工具,向搜索引擎推送数据(主动推送或实时推送);

⑥. 到百度反馈中心说明是误操作导致了robots禁封。

3. robots与nofollow有什么区别?

有的小伙伴在某些情况下不清楚是使用robots.txt还是nofollow,推荐阅读《robots与nofollow在实际应用中有什么区别?》。

4. robots协议能禁止抓取死链吗?

在SEO优化过程中难免会产生死链,很多小伙伴采取的方式是使用robots.txt将死链屏蔽掉,但这种方式真的可取吗?May觉得robots协议禁止抓取和屏蔽死链不能混为一谈,robots.txt是告诉搜索引擎哪些页面可以抓取哪些页面不可以抓取。如果要是被百度收录了的链接,后来因为某种原因变成了死链,然后使用robots.txt屏蔽掉这条死链?真的可以吗?事实证明即使禁止抓取,但是百度已存的索引却无法删除。最佳的方法就是将死链在百度搜索资源平台后台进行死链提交,然后百度快照投诉,这样才能彻底删除百度收录及索引。因此,建议大家不要使用robots协议来禁止搜索引擎抓取死链。

5. 搜索引擎蜘蛛如何处理robots.txt?

一般说来,几乎所有的主流搜索引擎蜘蛛都会遵循robots协议,当然也会存在并不遵守此协议的蜘蛛。

①. 如果搜索引擎蜘蛛无法找到网站的robots.txt文件,则会继续抓取该网站;

②. 如果搜索引擎蜘蛛找到网站的robots.txt文件,它通常会遵守此协议上的内容并按照要求来抓取该网站;

③. 如果搜索引擎蜘蛛在尝试访问网站robots.txt文件时遇到了错误,但无法确定是否存在,则不会抓取该网站。

四. 如何生成robots协议?

1. 手写规则生成

①. 新建一个.txt文档;

②. 手写规则,可以参考《什么是robots.txt? 如何查看robotx.txt? robots.txt限制如何解除?》中规则的写法;

③. 通过FTP上传到网站根目录;

④. 验证是否成功,在域名后面加“robots.txt”,检验是否能成功访问。

2. 站长工具生成

①. 打开站长工具网站 http://tool.chinaz.com;

②. robots文件生成 http://tool.chinaz.com/robots/;

③. 将生成的结果保存到.txt记事本,命名为robots.txt;

④. 通过FTP上传到网站根目录;

⑤. 验证。

3. 其他工具

百度搜索“robots.txt”生成工具。

以上,就是SEO教程robots协议的全部内容。

 

关键词:robots协议

我的微信
扫一扫微信,添加好友
weinxin
我的微信
我的微信公众号
关注公众号,了解最新动态
weinxin
我的公众号
 
  • 本文由 MAY的SEO博客 发表于 2019年7月15日
  • 转载请务必保留本文链接:https://may90.com/jiaocheng/c2.html
什么是搜索引擎优化? SEO教程

什么是搜索引擎优化?

我们也许曾在某处看到或听到过“搜索引擎优化”一词。近年来,当数字营销接管传统营销时,搜索引擎优化的重要性和受欢迎程度日益增加。现在,什么是搜索引擎优化? 什么是搜索引擎优化? 搜索引擎优化是数字营销的...
什么是超文本? SEO教程

什么是超文本?

什么是超文本? 什么是超文本?超文本是提供指向其他文本的链接的文本,这些文本可以位于另一个网页,同一页面或文档中。通过单击超文本文档中的链接,用户可以快速跳转到其他内容。尽管超文本通常与网页相关联,但...
如何优化图片alt属性? SEO教程

如何优化图片alt属性?

alt是“alternative text”的缩写,译为“可替代文字”,是图片的简短文字说明。当由于某种原因图片无法查看时,alt将变得很有意义。精心编写的alt标签对您网站的可访问性以及搜索引擎优化...
什么是SEO?(一文秒懂) SEO优化

什么是SEO?(一文秒懂)

身边很多朋友都在问我:“你说你的职业是SEO,什么是SEO?是不是CEO啊?只相差一个字母耶。”每次我都很尴尬笑一笑。虽然只差一个字母,但是区别还是非常大的。对于没有接触过SEO的人来说问这个问题情有...
白帽SEO、黑帽SEO、灰帽SEO是什么? SEO教程

白帽SEO、黑帽SEO、灰帽SEO是什么?

黑帽和白帽在1920年代的西方电影中一直被使用。这是让观众分辨英雄和反派之间区别的简便方法。英雄戴白帽子。小人戴着黑帽子。这些年来,该术语已在各个行业中采用,尤其是安全性。黑帽子和白帽子是描述恶意和道...
    • 大牙鱼博客 4

      robots常常不被人看好,不被人重视,比如我,原来还和搜索引擎有关系,以为就是一个多余的文件,好多次我都直接减除,呵呵

    评论已关闭!