无耻的soso网络蜘蛛(Sosospider)导致服务器瘫痪

    |     2008年10月8日   |   技术   |     0 条评论   |    121

长时间以来我的博客都受到大量访问,可是却没有什么人回复,这令我很是奇怪,并导致我的服务商停我的站点。郁闷之后查找原因,终于发现一切都是 [color=#32CD32]搜搜(soso)[/color] 造成的。
在我的日志里能看到成千上万的诸如
124.115.0.190 – – [18/Jan/2008:21:48:58 +0900] “GET xxx 403 185 xxx “Sosospider+(+http://help.soso.com/webspider.htm)”

按照连接于是我到它的网站访问了一下,看到下述的回答:

[quote]4.sosospider访问给我的网站造成很大负载怎么办?
sosospider的正常访问并不会对您的网站造成很大负载。如果您发现有名为Sosospider的agent抓取影响了您正常的服务,请尽快和我们联系。您可以将信息反馈至sosospider@tencent.com,如果能够提供您网站该时段的访问日志将更加有利于我们的分析。

5.我可以拒绝sosospider访问我的站点么?
sosospider遵循robots协议。该协议的详细信息可以参考http://www.robotstxt.org/wc/robots.html(英文网站)。注意:禁止sosospider访问您的网站,将使您的网站在搜搜网页搜索引擎中无法被用户搜索到,请慎重使用。[/quote]

[b][size=5]点评一下:[/size][/b]

4: 不会造成”很大”负载?开玩笑,疯狂抓取的我的站CPU都超20%

5:纯粹扯淡,我一开始按照 5. 来设置robots.txt

回复 取消