之前因为搜狗不收录MAY的SEO博客,为此我还特意写了一篇文章来对搜狗道再见;没想到这次我又要对360搜索引擎说再见了,恕我无能,实在是没有精力在这么折腾下去了。具体是什么原因呢?请听我细细说来。文章源自MAY的SEO博客-https://may90.com/diary/360spider.html
最近网站多次出现了504 Gateway Time-out,查看日志,发现竟然是360蜘蛛捣的鬼,360搜索引擎蜘蛛每天都会来光顾一下我的网站,几乎一天一次的频率,有人会说360蜘蛛每天都来访你的网站,这不是好事吗?的确,这是好事,但是你知道吗?短短1~2分钟内360蜘蛛访问达到数百次以上,在日志上返回499状态码,如果此时恰好有百度搜索引擎蜘蛛或其他蜘蛛同时来访网站,同样会返回499状态码;如果此时用户来访问,网站前端出现“504 Gateway Time-out”,是不是很惊讶?文章源自MAY的SEO博客-https://may90.com/diary/360spider.html
1. 按理来说,360搜索引擎蜘蛛每天都来,这样我的网站收录应该会很好才对,其实不然,到目前为止,360只收录了29条记录,这样的收录结果并不是特别理想;
2. 360蜘蛛,你来就来吧,居然返回499状态码,这是啥个意思?(找了很多资料,也没搞懂为什么会返回499,如果有人知道,还请告知,谢谢)
3. 360蜘蛛每天不定时在1~2分钟之内访问数百次,大大占用了服务器资源,这会造成用户访问速度慢甚至出现“504 Gateway Time-out”等情况;
4. 可以在360站长平台设置蜘蛛抓取频率,需要验证网站,但是想想罢了,懒得折腾了;
5. 网站运营快1年,从未获得360搜索来的流量……
我已经在robots.txt中对360蜘蛛进行了屏蔽,360搜索引擎蜘蛛,再见了!
1F
1 没用的,360并不遵守robots
2 未必真的是360来抓取的,并且极有可能不是,请查验日志ip
2F
其实这个情况我也遇到过很多次,但是个人认为不是真正的蜘蛛,我遇到过几次都是一些别有用心的人模仿蜘蛛来“攻击”我们的网站,所以如果使用服务器的,建议限制每秒可以访问几次估计会有点用。
B1
@ boke112导航 我使用了CDN,看不到蜘蛛访问的真实IP,现在robots.txt屏蔽掉360spider后,发现360spider的访问次数明显少了很多,而且暂时也没有发现504错误了。再观察一段时间。
3F
楼主的BLOG应该是Wordpress,写得文章都不错,但是更新速度快一点,对SEO会有利,加油一起努力。
4F
360其实对谁都不友好,除了模仿就是抄。继百度360互抄以后,相关方面越做越废,也包括360搜索的相关产品。
B1
@ 也许吧 也许吧,嘿嘿。
5F
我的360也才收录几篇,还反馈过。
6F
屏蔽了也无所谓的,基本不收录也没有流量的。。我的一两年就收录了首页。。其他仿冒的360也可能吧
B1
@ wordpress建站吧 屏蔽掉后,近段时间都没有出现504了。
7F
有cdn了,网页再搞个缓存插件啊,不会有啥压力的吧
8F
看看
9F
必应和神马不知咋回事,只从必应站长工具改版后,提交了域名及其他链接,基本不收录,什么也不知怎么了,一只不收录。