360搜索引擎蜘蛛,再见了!

MAY的SEO博客
MAY的SEO博客
MAY的SEO博客
614
文章
770
评论
2019年6月15日08:50:06 12 5,757

之前因为搜狗不收录MAY的SEO博客,为此我还特意写了一篇文章来对搜狗道再见;没想到这次我又要对360搜索引擎说再见了,恕我无能,实在是没有精力在这么折腾下去了。具体是什么原因呢?请听我细细说来。

360搜索引擎蜘蛛,再见了!

360搜索引擎蜘蛛,再见了!

最近网站多次出现了504 Gateway Time-out,查看日志,发现竟然是360蜘蛛捣的鬼,360搜索引擎蜘蛛每天都会来光顾一下我的网站,几乎一天一次的频率,有人会说360蜘蛛每天都来访你的网站,这不是好事吗?的确,这是好事,但是你知道吗?短短1~2分钟内360蜘蛛访问达到数百次以上,在日志上返回499状态码,如果此时恰好有百度搜索引擎蜘蛛或其他蜘蛛同时来访网站,同样会返回499状态码;如果此时用户来访问,网站前端出现“504 Gateway Time-out”,是不是很惊讶?

1. 按理来说,360搜索引擎蜘蛛每天都来,这样我的网站收录应该会很好才对,其实不然,到目前为止,360只收录了29条记录,这样的收录结果并不是特别理想;

2. 360蜘蛛,你来就来吧,居然返回499状态码,这是啥个意思?(找了很多资料,也没搞懂为什么会返回499,如果有人知道,还请告知,谢谢)

3. 360蜘蛛每天不定时在1~2分钟之内访问数百次,大大占用了服务器资源,这会造成用户访问速度慢甚至出现“504 Gateway Time-out”等情况;

4. 可以在360站长平台设置蜘蛛抓取频率,需要验证网站,但是想想罢了,懒得折腾了;

5. 网站运营快1年,从未获得360搜索来的流量……

我已经在robots.txt中对360蜘蛛进行了屏蔽,360搜索引擎蜘蛛,再见了!

 

  • 我的微信
  • 扫一扫微信,添加好友
  • weinxin
  • 我的微信公众号
  • 关注公众号,了解最新动态
  • weinxin
MAY的SEO博客
  • 本文由 发表于 2019年6月15日08:50:06
  • 转载请务必保留本文链接:https://may90.com/diary/360spider.html
为什么我的网站在搜索引擎中搜索不到? SEO资源

为什么我的网站在搜索引擎中搜索不到?

也许您已经完成了很多工作,比如选择了一个性能非常好的服务器、安装了WordPress建站程序、购买了一个高大上的主题,并发布了一些文章。但在搜索引擎中搜索,却没有任何结果。为什么我的网站在搜索引擎中搜...
蜘蛛抓取频次对SEO优化的影响(全新解读) 百度SEO优化

蜘蛛抓取频次对SEO优化的影响(全新解读)

蜘蛛抓取频次,这个概念好像被很多SEO优化人员忽视,特别是一些中小型站点。但就在前些时间,May发现我的SEO博客上经常出现一些莫名其妙的蜘蛛,甚至因为360蜘蛛的多次访问,直接导致服务器崩溃。不管您...
网站标题频繁修改,来自搜索引擎蜘蛛的困惑 SEO优化

网站标题频繁修改,来自搜索引擎蜘蛛的困惑

也许你一想到蜘蛛就会毛骨悚然,而我,却是一只人见人爱的蜘蛛。在SEO圈子里可以说是“名人”,每天SEOer都想着法地吸引我,他们居然还说:没了我,会活不下去。原来我有这般魅力???但是不知道他们是真爱...
这些搜索引擎蜘蛛,需要屏蔽吗 SEO优化

这些搜索引擎蜘蛛,需要屏蔽吗

最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于一些搜索引擎蜘蛛,时不时来抓取我们的网站,需要屏蔽吗?以下请大家自行判断哟。 一. 搜...
百度搜索引擎蜘蛛真假,你认识吗? 百度SEO优化

百度搜索引擎蜘蛛真假,你认识吗?

我们都知道,要想让我们网站收录,比如增加百度收录,就要想方设法让百度蜘蛛来抓取我们的网站。那百度搜索引擎蜘蛛真假,你认识吗? 正确识别百度搜索引擎蜘蛛,只需要两步,这也是百度官方对外公布的说法哟。 一...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

评论:12   其中:访客  9   博主  3
    • 心灵博客 心灵博客 4

      1 没用的,360并不遵守robots
      2 未必真的是360来抓取的,并且极有可能不是,请查验日志ip

      • boke112导航 boke112导航 6

        其实这个情况我也遇到过很多次,但是个人认为不是真正的蜘蛛,我遇到过几次都是一些别有用心的人模仿蜘蛛来“攻击”我们的网站,所以如果使用服务器的,建议限制每秒可以访问几次估计会有点用。

          • MAY的SEO博客 MAY的SEO博客

            @ boke112导航 我使用了CDN,看不到蜘蛛访问的真实IP,现在robots.txt屏蔽掉360spider后,发现360spider的访问次数明显少了很多,而且暂时也没有发现504错误了。再观察一段时间。

          • 羊城技工学校 羊城技工学校 0

            楼主的BLOG应该是Wordpress,写得文章都不错,但是更新速度快一点,对SEO会有利,加油一起努力。

            • 也许吧 也许吧 0

              360其实对谁都不友好,除了模仿就是抄。继百度360互抄以后,相关方面越做越废,也包括360搜索的相关产品。

                • MAY的SEO博客 MAY的SEO博客

                  @ 也许吧 也许吧,嘿嘿。

                • 奶爸de笔记 奶爸de笔记 2

                  我的360也才收录几篇,还反馈过。

                  • wordpress建站吧 wordpress建站吧 6

                    屏蔽了也无所谓的,基本不收录也没有流量的。。我的一两年就收录了首页。。其他仿冒的360也可能吧

                    • wordpress建站吧 wordpress建站吧 6

                      有cdn了,网页再搞个缓存插件啊,不会有啥压力的吧

                      • 武陵红苗 武陵红苗 0

                        看看

                        • 简忆博客 简忆博客 1

                          必应和神马不知咋回事,只从必应站长工具改版后,提交了域名及其他链接,基本不收录,什么也不知怎么了,一只不收录。