噂のNaverロボット

投稿日:

030918a.gif
このサーバは基本的にとぉ〜っても寂れたサーバ(^^;なんですが、こんな場末のサーバでも、時々アクセスが沸き返ってしまうことがあったりします。

これは本当に「時々」なんですけどね(^^;)

で、今日は昼間にこの「沸き返り」状態に突入し、MySQLのプロセスが1時間以上負荷率70%を越え続ける状態になってましたが、これが噂の

dloader(NaverRobot)/1.5

でした。以前から「韓国製のロボットはあまり行儀が良くない」と聞いてはいたんですが、

030918b.gif

1〜2秒間隔でリクエストを送りつけ続けるのはあんまりです(他のロボットは大体1分〜最短でも10秒程度:^^;) これが静的なページでもちょっとした負荷ですが、データベース連動の動的生成ページでコレやられちゃうとかなりタイヘンなことになってしまいまして、

Sep 16 11:14:42 sendmail[657]: rejecting connections on daemon MTA: load average: 12
Sep 16 11:14:57 sendmail[657]: rejecting connections on daemon MTA: load average: 16
Sep 16 11:15:12 sendmail[657]: rejecting connections on daemon MTA: load average: 17
Sep 16 11:15:27 sendmail[657]: rejecting connections on daemon MTA: load average: 20
Sep 16 11:15:42 sendmail[657]: rejecting connections on daemon MTA: load average: 20
Sep 16 11:15:57 sendmail[657]: rejecting connections on daemon MTA: load average: 23
Sep 16 11:16:12 sendmail[657]: rejecting connections on daemon MTA: load average: 26
Sep 16 11:16:27 sendmail[657]: rejecting connections on daemon MTA: load average: 26
Sep 16 11:16:42 sendmail[657]: rejecting connections on daemon MTA: load average: 27
Sep 16 11:16:57 sendmail[657]: rejecting connections on daemon MTA: load average: 28

↑やはりこうなりました(^_^;) 「負荷率が12(デフォルト値)を越えるシステムでは、sendmailがまず音を上げちゃう」という何度も実証済みの事実を再検証するハメに。

今後もこんな状態があまり続くようなら、本当にロボットはじきをしなくちゃいけなくなるかもしれません。下手するとサーバがコケちゃうし。

NaverのロボットはUserAgentを偽装する事もあるようなんで、UA見るんじゃなくてIPを範囲指定してdeny指定する等の自衛措置も、本格的に考えとかないとイカンようです。とほほ…。