サーバが壊れててんてこ舞い

投稿日:

ココとか自前のサーバを幾つか持ってるワタシなんですが、メールサーバ等の「堅牢性を要求されるサーバ」は自分で管理する自信が無い→メインサーバは、法人/個人ともデータセンターに設置されてる(プロの管理する/堅牢な/ちゃんとした)レンタルサーバを借りてたりします。

ところがぎっちょん、先週その「壊れないために借りてる」「プロの管理するサーバ」が、しかも法人のメインで使ってる奴が見事にブチ壊れてしまいまして、先週は1週間、そっちへの対応にかかりきりとなってました。こ、このクソ忙しい時期に…(T_T)

崩壊の軌跡>


  • 日曜の未明、サーバがハードウェア的にクラッシュ!
  • 完全にクラッシュしてしまい復旧の見込みが立たないため、新規サーバを立ち上げ。この見切り/立ち上げに非常に手間取り、なんとか立ち上がったのは火曜の午後
  • 復旧した新サーバに「壊れた旧サーバで生き残ったデータ」を吸い出したところ、新サーバも(ソフトウェア的に)クラッシュ!
  • 新サーバの復旧に努力するがどうにも復旧の見込みが立たないので、新たに新〃サーバを調達して立ち上げ直すことに
  • 新〃サーバが立ち上がって使えるようになったのは次の日曜の昼前(T_T)

ということで、本当に丸1週間、このトラブルに振り回し続けてもらいました。とほほ…(>_<;)

確かに「サーバクラッシュ」ってのは不慮の事故なんですが、復旧に必要以上に手間取ったり「直そうとして壊してしまう」のは人災としかいいようがない→「常に備えよ!」というフリードリヒ大王の金言に、いつも以上に深く肯いてしまう(間抜けな)ワタシでした。あぅ。

その後の調査で、サーバクラッシュの原因は「一部ユーザのCGI過使用」と「ウイルスによる一斉メール送信」による過負荷→ハードウェア破損→ディスク書込失敗だったらしいと言う事になりました。
で、データ保全を主にミラーリングに頼り、バックアップを1世代しか取ってなかった→破損後のデータをバックアップに書き込んでからハードウェアがトンでしまった→万事休すとなったみたい。とほほ…(^^;;

「壊れにくい」は「壊れない」と同義じゃないんで、リスクの管理と代替計画/資源の用意ってのは常に必要なんですよねぇ。一応理屈では解ってるつもりなんですが、費用対効果とかもありますし、「原則論を忠実に実践」するのってホンマに難しいっす(T_T)

-----------------------------

サーバ管理者、経営者に朗報! 安価で安全な新方法論 サイバーノーガード戦法! [NetSecurity]

脆弱性をついた攻撃あるいは脆弱性の情報公開があったら、相手を不正アクセス法と威力業務妨害で告訴する。今回の事件でわかるように、脆弱性を放置し個人情報を漏洩させても運営者は全くおとがめなしで安全である。これは運営者からすると、訴えたもん勝ちといえる。警察のお墨付きというわけである。

・・・・・・たぶんネタなんだと思うんですが、全然笑えないですねぇ(^^;;