コグノスケ

Linuxのファイルシステム再考

目次: Linux

せっかくファイルサーバのRAIDを組み直すのだから、使用するファイルシステムも再考することにしました。

こんな話、前にも書きましたね（2009年2月1日の日記参照）。Linuxのファイルシステムは一長一短で選ぶのが難しいのです。

ext2/ext3

Linuxのデフォルトだったファイルシステム。枯れていて安定で速度も出る。最大の欠点はfsckが遅すぎること。待てど暮らせど一向に終わらないのです。

ext4

Linuxのデフォルトとなる（もうなってるかな）ジャーナルファイルシステム。一応ext3ベースだけど中身がかなり変わっている？安定で速度も出るけど、欠点はやはりfsckが遅い。ext3（数時間）から劇的改善されたext4（数十分）とのことですが、遅い、遅すぎるわ。

ReiserFS

Hans Reiserさん作のLinux初のジャーナルファイルシステム。Hansさん逮捕につき、NamesysとSuSEのナイスガイ達がメンテしていたものの、唯一の味方SuSE Linuxに標準ファイルシステムから外され、Linux 2.6.33でロック周りをめちゃくちゃイジられてバグバグになり、もはや死亡寸前？

XFS

SGIのジャーナルファイルシステム。SGI IRIXからの移植。シーケンシャルリード、ライトが速い、起動時のチェックもやたら早い。しかしファイル作成は遅い。巨大ファイルを読みながらディレクトリ削除なんて、ハエが止まるレベルの遅さ。

JFS

IBMのジャーナルファイルシステム。IBM AIXからの移植＆バージョンアップ。AIXのJFSと区別するためJFS2とも呼ばれる。ネット上のベンチマークを見る限り、XFSに似ている、つまりファイル作成が遅いみたい。微妙だ。

ZFS

Sunのジャーナルファイルシステム。Sunの自信作だけあって、便利で速いらしい。しかしライセンス非互換＆特許問題でLinuxに取り込めない。Fuse経由で使うのはイマイチだし、ネット上のベンチマークを見る限り、やはりXFSレベルのファイル作成スピードらしい。微妙だ。

NTFS

Microsoftのジャーナルファイルシステム。仕様は公開されていないはずなのに、カーネルハッカー達により解析され、今やLinuxからread/writeが可能。スゴい。とはいえLinuxで日常的に使うファイルシステムに適しているか？というと疑問符が付く。

BtrFS

Oracleのジャーナルファイルシステム。次期Linux標準を目指しスクラッチから作成された。現在も絶賛開発中なので、これからもしばらくUnstable状態が続きそう。大事なデータを置く場所には適さないだろう。

ここしばらくXFSを使ってきたけれど、ファイル削除が遅くてもう我慢ならない。じゃあ代替案は？と考えても、ご臨終寸前のReiserFSも、XFSと性能が似たり寄ったりのJFSも、どちらも微妙極まりないんだよなあ。

ダメ元でJFSにしてみるか、無難にext4にするしかなさそうですね…。

HDDがやばい

先週くらいからファイルサーバに書き込むとプチフリするようになりました。サーバを見に行くとRAID 5のrebuildで頑張っていました。あれ？ディスク入れ替えてないのになんでrebuildが走ってるの？？

ひとまずdmesgを見るとHDDのリードエラーが記録されていました。ついでにSMARTもチェックすると、リードエラーだかシークエラーだかが記録されています。どうも故障寸前っぽいです。やばい。

ファイルサーバには、sdb, sdc, sdd, sde, sdfの5台HDDが繋がっていて、そのうちsdbが死にかけているようです。

俺の対応がやばい

本来であればやばくなったsdbを引っこ抜いて、新しいディスクに入れ替えればOKなのですが、間違ってsd"f" を引っこ抜いて再起動してしまいました。

5台縦に並んでいたのを見て、 sdbが一番「下」で、sdfが一番「上」だとは思わなかったのよね。マズったね、どうするね、これ…。

何がやばい？

何を言ってるかわからねーｔ（略）なので、実際どうやばいのか図示します。

[本来の対処]
1. やばいディスクを取って、元気なディスク4台の縮退モードで動かす
   sdb, sdc, sdd, sde, sdf→ [sdb], sdc, sdd, sde, sdf
   ↑やばいディスク
2. 元気なディスクを足す（ただし足しただけではスペア状態なので、
   読み書きには使えない）
   [sdb'], sdc, sdd, sde, sdf
   ↑元気なディスクと入れ替え（スペア状態）
3. rebuildしてRAID復活
   sdb', sdc, sdd, sde, sdf
   ↑rebuildによりRAIDの仲間入り

以上が本来の対処なのですが、間違って下記のようにしてしまいました。

[俺の対処]
1. 元気なディスクを取って、やばい＋元気なディスク4台の
   縮退モードで動かしてしまった（！）
   sdb, sdc, sdd, sde, sdf→sdb, sdc, sdd, sde, [sdf]
   ↑やばいディスク
   （... 再起動 ...）
   sdb, sdc, sdd, sde, [sdf]
   ~~~~~~~~~~~~~~~~~~~
   ↑再起動によりRAIDが書き換わり、sdfの内容と食い違うため、
     sdfは元のRAIDには戻せない！

ここから5台構成に戻すには、何食わぬ顔でsdfを戻しrebuildする方法がありますが、壊れかけのsdbを酷使するため危険です…。もしrebuild中にsdbが壊れるとsdb, sdfの2台が故障したことになり、RAID 5のデータが消滅します。

2-1. 何食わぬ顔でsdfを戻す（sdfはスペアになる）
     sdb, sdc, sdd, sde, [sdf]
                         ↑スペア状態
3-1. rebuildしてRAID復活？
     sdb, sdc, sdd, sde, sdf
     ↑rebuildにより負荷かかって故障→RAIDデータ消滅の可能性大

この方法はリスクがでかすぎるだろってことで、新たにHDDを買ってきてちまちまコピーしています。データが1.5TBもあって面倒くさい…。まあ、全部俺のせいだけどな！ちくしょー…orz