bingbot壊れた…?

投稿日:

なんかbingbotが…猛ってます(^_^;)

120912a.jpg

今朝からいきなり秒10回以上のバーストアクセスを、多IPから繰り返すようになりました。

UAは全て

Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)

で、アクセス元も全て

msnbot-***-***-***-***.search.msn.com

ということでどうもDDoSを企図したものではない(止めようと思えば止められる)ようなのですが、結果的にかなり負荷になるアクセスを行ってきやがる。

いままでこんな事なかったんだけどなぁ? bingbotは日に何百回というアクセスをずーっと続ける恒常型の(メリハリの少ない)クローラーだと思ってたんだけど…なにか変わったのか、壊れたのか。

MRTGによるbingbotの来襲記録(青線)

120912b.jpg

ログをgrepするカウント処理がちと重いので高負荷時はクローラー数を記録しないようにしているのですが、記録が途切れた後にbingbot来襲数がぽんと増えてる→bingbot急襲の負荷が馬鹿にならない様子が見て取れます。

とにかく、この密度のアクセスはちとサーバ負荷的にしんどいので、robots.txtに

User-Agent: msnbot
Crawl-delay: 10

User-Agent: bingbot
Crawl-delay: 10

を追記。

Bingウェブマスターツールの「クロール制御」もデフォルト値に戻しておこう。

これで落ち着いてくれれば良いのですが。