コグノスケ

HDDがやばい

先週くらいからファイルサーバに書き込むとプチフリするようになりました。サーバを見に行くとRAID 5のrebuildで頑張っていました。あれ？ディスク入れ替えてないのになんでrebuildが走ってるの？？

ひとまずdmesgを見るとHDDのリードエラーが記録されていました。ついでにSMARTもチェックすると、リードエラーだかシークエラーだかが記録されています。どうも故障寸前っぽいです。やばい。

ファイルサーバには、sdb, sdc, sdd, sde, sdfの5台HDDが繋がっていて、そのうちsdbが死にかけているようです。

俺の対応がやばい

本来であればやばくなったsdbを引っこ抜いて、新しいディスクに入れ替えればOKなのですが、間違ってsd"f" を引っこ抜いて再起動してしまいました。

5台縦に並んでいたのを見て、 sdbが一番「下」で、sdfが一番「上」だとは思わなかったのよね。マズったね、どうするね、これ…。

何がやばい？

何を言ってるかわからねーｔ（略）なので、実際どうやばいのか図示します。

[本来の対処]
1. やばいディスクを取って、元気なディスク4台の縮退モードで動かす
   sdb, sdc, sdd, sde, sdf→ [sdb], sdc, sdd, sde, sdf
   ↑やばいディスク
2. 元気なディスクを足す（ただし足しただけではスペア状態なので、
   読み書きには使えない）
   [sdb'], sdc, sdd, sde, sdf
   ↑元気なディスクと入れ替え（スペア状態）
3. rebuildしてRAID復活
   sdb', sdc, sdd, sde, sdf
   ↑rebuildによりRAIDの仲間入り

以上が本来の対処なのですが、間違って下記のようにしてしまいました。

[俺の対処]
1. 元気なディスクを取って、やばい＋元気なディスク4台の
   縮退モードで動かしてしまった（！）
   sdb, sdc, sdd, sde, sdf→sdb, sdc, sdd, sde, [sdf]
   ↑やばいディスク
   （... 再起動 ...）
   sdb, sdc, sdd, sde, [sdf]
   ~~~~~~~~~~~~~~~~~~~
   ↑再起動によりRAIDが書き換わり、sdfの内容と食い違うため、
     sdfは元のRAIDには戻せない！

ここから5台構成に戻すには、何食わぬ顔でsdfを戻しrebuildする方法がありますが、壊れかけのsdbを酷使するため危険です…。もしrebuild中にsdbが壊れるとsdb, sdfの2台が故障したことになり、RAID 5のデータが消滅します。

2-1. 何食わぬ顔でsdfを戻す（sdfはスペアになる）
     sdb, sdc, sdd, sde, [sdf]
                         ↑スペア状態
3-1. rebuildしてRAID復活？
     sdb, sdc, sdd, sde, sdf
     ↑rebuildにより負荷かかって故障→RAIDデータ消滅の可能性大

この方法はリスクがでかすぎるだろってことで、新たにHDDを買ってきてちまちまコピーしています。データが1.5TBもあって面倒くさい…。まあ、全部俺のせいだけどな！ちくしょー…orz