bingbot壊れた…?
なんかbingbotが…猛ってます(^_^;)
今朝からいきなり秒10回以上のバーストアクセスを、多IPから繰り返すようになりました。
UAは全て
Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)
で、アクセス元も全て
msnbot-***-***-***-***.search.msn.com
ということでどうもDDoSを企図したものではない
いままでこんな事なかったんだけどなぁ? bingbotは日に何百回というアクセスをずーっと続ける恒常型の(メリハリの少ない)クローラーだと思ってたんだけど…なにか変わったのか、壊れたのか。
MRTGによるbingbotの来襲記録(青線)
ログをgrepするカウント処理がちと重いので高負荷時はクローラー数を記録しないようにしているのですが、記録が途切れた後にbingbot来襲数がぽんと増えてる→bingbot急襲の負荷が馬鹿にならない様子が見て取れます。
とにかく、この密度のアクセスはちとサーバ負荷的にしんどいので、robots.txtに
User-Agent: msnbot
Crawl-delay: 10
User-Agent: bingbot
Crawl-delay: 10
Crawl-delay: 10
User-Agent: bingbot
Crawl-delay: 10
を追記。
Bingウェブマスターツールの「クロール制御」もデフォルト値に戻しておこう。
これで落ち着いてくれれば良いのですが。