元旦の朝、CentOS 5.5で稼働しているサーバーがダウンしましたorz
外出先でしたが、会社へ急ぎ駆けつけると、
Creating root device.
Mounting root filesystem.
EXT3-fs: INFO: recovery required on readonly filesystem.
EXT3-fs: write access will be enabled during recovery.
kjournald starting. Commit interval 5 seconds
EXT3-fs: md2: orphan cleanup on readonly fs
上記の状態で停止しておりました。
状況から察するに何かしらの原因で再起動したところ、ファイルシステムの修復が必要となり、処理を進行しようとして止まってしまった。といったところでしょうか。
通常であれば、「EXT3-fs: md2: orphan cleanup on readonly fs」の後に処理が進んで、「EXT3-fs: recovery complete.」となって、OSが起動するのですが、今回は小一時間程度(会社に着くまで)止まっていた模様です。
そのため、強制的に再起動しましたが、変わらない状態でしたので、シングルユーザーモードで起動を試すもNG。
最終的にOSのCDを用意して、レスキューモードでfsckを実行したところ、無事復旧しました。
実際の所、僅かに3 inodeの修復で起動したので、それほど深刻ではなかったのでしょうか?
だとしたら、なんでレスキューモードまでしないと復旧しなかったのでしょうか?
「lost+found」ディレクトリに残骸は見当たらなかったので、少しは安心できましたが、色々不審な点は残っています。が、取り敢えず解決ということで帰宅しました。
休み明けには、フルバックアップを取っておかないと・・・。
復旧手順
- 強制再起動 → NG(変わらず)
- シングルユーザーモード → NG(変わらず)
- OSのCDからレスキューモードでfsck → OK