360搜索引擎蜘蛛,再见了!

之前因为搜狗不收录MAY的SEO博客,为此我还特意写了一篇文章来对搜狗道再见;没想到这次我又要对360搜索引擎说再见了,恕我无能,实在是没有精力在这么折腾下去了。具体是什么原因呢?请听我细细说来。

360搜索引擎蜘蛛,再见了!

360搜索引擎蜘蛛,再见了!

最近网站多次出现了504 Gateway Time-out,查看日志,发现竟然是360蜘蛛捣的鬼,360搜索引擎蜘蛛每天都会来光顾一下我的网站,几乎一天一次的频率,有人会说360蜘蛛每天都来访你的网站,这不是好事吗?的确,这是好事,但是你知道吗?短短1~2分钟内360蜘蛛访问达到数百次以上,在日志上返回499状态码,如果此时恰好有百度搜索引擎蜘蛛或其他蜘蛛同时来访网站,同样会返回499状态码;如果此时用户来访问,网站前端出现“504 Gateway Time-out”,是不是很惊讶?文章源自MAY的SEO博客-https://may90.com/diary/360spider.html

1. 按理来说,360搜索引擎蜘蛛每天都来,这样我的网站收录应该会很好才对,其实不然,到目前为止,360只收录了29条记录,这样的收录结果并不是特别理想;文章源自MAY的SEO博客-https://may90.com/diary/360spider.html

2. 360蜘蛛,你来就来吧,居然返回499状态码,这是啥个意思?(找了很多资料,也没搞懂为什么会返回499,如果有人知道,还请告知,谢谢)文章源自MAY的SEO博客-https://may90.com/diary/360spider.html

3. 360蜘蛛每天不定时在1~2分钟之内访问数百次,大大占用了服务器资源,这会造成用户访问速度慢甚至出现“504 Gateway Time-out”等情况;文章源自MAY的SEO博客-https://may90.com/diary/360spider.html

4. 可以在360站长平台设置蜘蛛抓取频率,需要验证网站,但是想想罢了,懒得折腾了;文章源自MAY的SEO博客-https://may90.com/diary/360spider.html

5. 网站运营快1年,从未获得360搜索来的流量……文章源自MAY的SEO博客-https://may90.com/diary/360spider.html

我已经在robots.txt中对360蜘蛛进行了屏蔽,360搜索引擎蜘蛛,再见了!文章源自MAY的SEO博客-https://may90.com/diary/360spider.html

 文章源自MAY的SEO博客-https://may90.com/diary/360spider.html 文章源自MAY的SEO博客-https://may90.com/diary/360spider.html

  • 我的微信
  • 扫一扫微信,添加好友
  • weinxin
  • 我的微信公众号
  • 关注公众号,了解最新动态
  • weinxin
  • 本文由 发表于 2019年6月15日
  • 转载请务必保留本文链接:https://may90.com/diary/360spider.html
这些搜索引擎蜘蛛,需要屏蔽吗 SEO优化

这些搜索引擎蜘蛛,需要屏蔽吗

最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于一些搜索引擎蜘蛛,时不时来抓取我们的网站,需要屏蔽吗?以下请大家自行判断哟。 一. 搜...
评论  12  访客  9  作者  3
    • 心灵博客 4

      1 没用的,360并不遵守robots
      2 未必真的是360来抓取的,并且极有可能不是,请查验日志ip

      • boke112导航 6

        其实这个情况我也遇到过很多次,但是个人认为不是真正的蜘蛛,我遇到过几次都是一些别有用心的人模仿蜘蛛来“攻击”我们的网站,所以如果使用服务器的,建议限制每秒可以访问几次估计会有点用。

          • MAY的SEO博客

            @ boke112导航 我使用了CDN,看不到蜘蛛访问的真实IP,现在robots.txt屏蔽掉360spider后,发现360spider的访问次数明显少了很多,而且暂时也没有发现504错误了。再观察一段时间。

          • 羊城技工学校 0

            楼主的BLOG应该是Wordpress,写得文章都不错,但是更新速度快一点,对SEO会有利,加油一起努力。

            • 也许吧 0

              360其实对谁都不友好,除了模仿就是抄。继百度360互抄以后,相关方面越做越废,也包括360搜索的相关产品。

                • MAY的SEO博客

                  @ 也许吧 也许吧,嘿嘿。

                • 奶爸de笔记 2

                  我的360也才收录几篇,还反馈过。

                  • wordpress建站吧 6

                    屏蔽了也无所谓的,基本不收录也没有流量的。。我的一两年就收录了首页。。其他仿冒的360也可能吧

                      • MAY的SEO博客

                        @ wordpress建站吧 屏蔽掉后,近段时间都没有出现504了。

                      • wordpress建站吧 6

                        有cdn了,网页再搞个缓存插件啊,不会有啥压力的吧

                        • 武陵红苗 0

                          看看

                          • 简忆博客 2

                            必应和神马不知咋回事,只从必应站长工具改版后,提交了域名及其他链接,基本不收录,什么也不知怎么了,一只不收录。

                          发表评论

                          匿名网友 填写信息

                          :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

                          确定