robots协议 SEO教程

robots协议

robots协议,又称为爬虫协议、机器人协议,简单地可以理解为是网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不可以抓取。就像是一个门禁设置了规则一样,哪些搜索引擎可以进入并访问哪些内...
阅读全文