CCbot是什么蜘蛛

MAY的SEO博客
MAY的SEO博客
MAY的SEO博客
605
文章
768
评论
2019年8月21日08:54:24 3 4,603

不清楚您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?

CCbot是什么蜘蛛

CCbot是什么蜘蛛

一. CCbot是什么蜘蛛?

CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。

二. 你如何处理CCbot蜘蛛?

方法1. 使用robots.txt

使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。

①. 不允许任何蜘蛛访问您站点的任何部分

User-agent:*
Disallow:/

②. 允许任何蜘蛛访问您站点的任何部分

User-agent:*
Disallow:

③. 不允许CCbot蜘蛛访问网站的任何部分

User-agent:ccbot
Disallow:/

④. 允许CCbot蜘蛛访问您站点的任何部分

User-agent:ccbot
Disallow:

⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹

User-agent:ccbot
Disallow:/wp-admin

方法2. 使用元标记

可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在<head> 和 </ head> 之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在<head> 和 </ head> 之间的各个页面上添加元标记 。

①. 允许所有蜘蛛访问您的页面

<meta name =“robots”content =“index”/>

②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接

<meta name =“robots”content =“index,follow”/>

③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接

<meta name =“robots”content =“index,nofollow”/>

④. 不允许任何蜘蛛访问您的网页

<meta name =“robots”content =“noindex”/>

⑤. 允许CCbot访问您的网页

<meta name =“ccbot”content =“index”>

⑥. 不允许CCbot访问您的页面

<meta name =“ccbot”content =“noindex”>

⑦. 允许CCbot访问您的页面并跟踪更多页面的链接

<meta name =“ccbot”content =“index,follow”>

如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。

 

关键词:CCbot

  • 我的微信
  • 扫一扫微信,添加好友
  • weinxin
  • 我的微信公众号
  • 关注公众号,了解最新动态
  • weinxin
MAY的SEO博客
  • https://may90.com/wp-content/uploads/2020/08/logo.png
  • 转载请务必保留本文链接:https://may90.com/share/ccbot.html
网关是什么? SEO资源

网关是什么?

网关是什么? 网关连接两个网络,因此一个网络上的设备可以与另一个网络上的设备通信。没有网关,您将无法访问互联网,进行通讯和来回发送数据。网关可以完全用软件,硬件或两者的组合来实现。因为按照定义,网络网...
什么是SMART原则? SEO资源

什么是SMART原则?

人生必须要有目标,有了目标才可能建立适合自己的计划。汽车有了目标,才能很好的行驶;人没了目标,就不能很好的计划生活或学习。根据SMART原则制定明确的计划,帮助我们实现这些目标。MAY的SEO博客为您...
网站备案多少钱?(收费还是免费?) SEO资源

网站备案多少钱?(收费还是免费?)

网站备案就是我们说的域名备案,使用国内空间或服务器就必须备案,目的是国家为了防止不良份子在网上从事非法网站经营活动,对于未备案的网站,一旦被发现将予以罚款或关闭。因此网站备案对于我们企业或者个人来说,...
你陷入这些SEO神话了吗? SEO资源

你陷入这些SEO神话了吗?

我爱SEO,也经常关注SEO,也会经常听到一些SEO神话,其实充其量,它们会给人误导,甚至浪费我们宝贵的时间、金钱与资源,而且这些事情不会改善网站SEO。你陷入这些SEO神话了吗? SEO神话1. 关...
B2B网站大全:外贸B2B网站有哪些? SEO资源

B2B网站大全:外贸B2B网站有哪些?

在过去的几十年中,企业对企业(B2B)行业发展迅猛。B2B网站是允许商业交易的平台。B2B市场很多,但要想在电子商务业务中取得成功,就必须选择合适的市场。因此,MAY的SEO博客为您分享:B2B网站大...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

评论:3   其中:访客  0   博主  0
    • 轩沫博客 轩沫博客 3

      原来还看到一个奇怪的蜘蛛,我以为是采集文章的,查了下IP是一家公司,这公司还跟谷歌有关系。

      • 懿古今 懿古今 6

        对于这种不常见的蜘蛛,我都是直接屏蔽掉,保留一些名气比较大的搜索引擎蜘蛛就行

          • MAY的SEO博客 MAY的SEO博客

            @ 懿古今 是的,我也屏蔽了不少的蜘蛛,不常见的蜘蛛来访,不见得是什么好事。