コグノスケ


link 未来から過去へ表示(*)  link 過去から未来へ表示

link もっと前
2009年2月3日 >>> 2009年1月25日
link もっと後

2009年2月1日

Linuxのファイルシステム選びは難しいね

目次: Linux

Linuxのファイルシステム選びはいつも迷います。どれも決め手に欠けるんです…。

ext2/ext3
Linuxのデフォルトとも言えるファイルシステム。枯れていて安定で速度もそこそこ。最大の欠点はfsckが遅すぎること。待てど暮らせど一向に終わらないのです。
ReiserFS
Hans Reiserさん率いるNamesysのファイルシステム。細かいファイルの扱いが速くて省スペース。しかし起動時のチェックが遅くてイライラする。それと作者が逮捕されてしまい、次期バージョンReiser4の先行きが不安。
XFS
SGIのファイルシステム。SGI IRIXからの移植。大きいファイルの扱いが速くて起動時のチェックも何もしてないんじゃないかってくらい早い。しかしファイルやディレクトリの作成がやたら遅い。
JFS
IBMのファイルシステム。IBM AIXからの移植&バージョンアップ。AIXのJFSと区別するためJFS2とも呼ばれる。ReiserFSとXFSの中間、という評判を目にするものの真相は知らない。使っている人を見かけないので、使うにはちょっと勇気が要る。
ZFS
Sunの自信作だけあって、速いらしい。しかしライセンス問題でLinuxに取り込まれる気配がない。Fuse経由で使うのはイマイチだな。

先日組んだ 3TBのRAIDをReiserFSにしたら起動時のチェックに数分かかって腹立ってきたので、XFSに切り替えました。3TBの広さを活かして、大きいファイルメインで運用します。

ルートディレクトリを置くパーティションには細かいファイルが多いので、ReiserFSを使おうと思います。

誰かJFS使っている人いませんかねー…?

編集者:すずき(2023/04/29 22:00)

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



2009年1月31日

ソフトウェアRAIDの拡張

今ハードディスクがとても安いので、1TBのディスクを3個買いました。HDDを注文したときから、後でディスクを追加(5台まで増築予定)したときに拡張できるのか?と気になっていました。

世の中に同じ想いの方がどれだけいるか知りませんが、一度作ったRAID 5アレイを拡張する方法を紹介します。当方の実験環境はDebian GNU/Linux(etch) です。

例としてディスク3本からなるRAID-5アレイを作り、そこへ1本追加する様子を示したいと思います。実験のため100MBのパーティションでアレイを作っていますが、HDD全体を使っていても同じ手順でできるはずです。

RAID-5アレイの構築
# mdadm --create /dev/md0 -n 3 -l 5 -a p /dev/sdb1 /dev/sdc1 /dev/sdd1
mdadm: array /dev/md0 started.

# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath] [faulty]
md0 : active raid5 sdd1[2] sdc1[1] sdb1[0]
      208640 blocks level 5, 64k chunk, algorithm 2 [3/3] [UUU]

unused devices: <none>

LinuxでソフトウェアRAIDアレイをいじるにはmdadmコマンドを使います。まず --createで100MB x 3(-n 3)の領域からなるRAID-5アレイ(-l 5)を作りました。容量は200MBです。今回はパーティションを作らないので関係ありませんが、パーティションが作れるアレイ(-a p)にするのが無難でしょう。

次にアレイ上の領域にファイルシステムを作り、マウントします。

アレイ上にファイルシステムを構築
# mkreiserfs /dev/md0
mkreiserfs 3.6.19 (2003 www.namesys.com)
(... 略 ...)
Guessing about desired format.. Kernel 2.6.25 is running.
Format 3.6 with standard journal
Count of blocks on the device: 52160
Number of blocks consumed by mkreiserfs formatting process: 8213
Blocksize: 4096
Hash function used to sort names: "r5"
Journal Size 8193 blocks (first block 18)
Journal Max transaction length 1024
inode generation number: 0
UUID: 27c689b4-5cee-4223-9d7c-adb29cfdeb7c
ATTENTION: YOU SHOULD REBOOT AFTER FDISK!
        ALL DATA WILL BE LOST ON '/dev/md0'!
Continue (y/n):y
Initializing journal - 0%....20%....40%....60%....80%....100%
Syncing..ok

Tell your friends to use a kernel based on 2.4.18 or later, and especially not a
kernel based on 2.4.9, when you use reiserFS. Have fun.

ReiserFS is successfully created on /dev/md0.

# mount /dev/md0 /mnt/md0
# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda1             62498888   1879688  60619200   4% /
/dev/md0                208628     32840    175788  16% /mnt/md0

おなじみの mkfsコマンドでファイルシステムを作り、マウントして容量を確認しています。例ではReiserFSですが、ext2, XFS, JFSの場合でもresizeツールがあれば同じ手順で拡張できます。

次にアレイを拡張します。ファイルシステムを利用中の場合は、一度アンマウントしてアレイを変更できるようにしてから作業してください。

アレイを拡張する
# umount /mnt/md0

# mdadm --add /dev/md0 /dev/sdb2
mdadm: added /dev/sdb2

# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90.03
  Creation Time : Sun Feb  1 04:05:28 2009
     Raid Level : raid5
     Array Size : 208640 (203.78 MiB 213.65 MB)
    Device Size : 104320 (101.89 MiB 106.82 MB)
(... 略 ...)

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1

       3       8       18        -      spare   /dev/sdb2

# mdadm --grow /dev/md0 -n 4
mdadm: Need to backup 384K of critical section..
mdadm: ... critical section passed.

# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath] [faulty]
md0 : active raid5 sdb2[3] sdd1[2] sdc1[1] sdb1[0]
      208640 blocks super 0.91 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
      [===>.................]  reshape = 15.6% (16384/104320) finish=0.8min speed=1638K/sec

unused devices: <none>

(... しばし待ちます ...)

# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath] [faulty]
md0 : active raid5 sdb2[3] sdd1[2] sdc1[1] sdb1[0]
      312960 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

unused devices: <none>

まず --addでスペアディスクを追加します。例では /dev/sdb2です。次に --growでRAIDアレイのディスク数を変更します。するとアレイのreshapeが始まります。容量が大きいほど時間がかかるので、しばし待ってください。reshape中のアレイの容量は200MBですが、reshapeが終わると容量が300MBに増加していることがわかると思います。

次にファイルシステムの領域を拡張します。

ファイルシステムを拡張する
# resize_reiserfs /dev/md0
resize_reiserfs 3.6.19 (2003 www.namesys.com)

ReiserFS report:
blocksize             4096
block count           78240 (52160)
free blocks           70026 (43947)
bitmap block count    3 (2)

Syncing..done


resize_reiserfs: Resizing finished successfully.

# mount /dev/md0 /mnt/md0
# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda1             62498888   1879692  60619196   4% /
/dev/md0                312944     32840    280104  11% /mnt/md0

ReiserFSの場合は、resize_reiserfsコマンドで領域のサイズ変更ができます。サイズを指定しなければ自動的にパーティションサイズの最大まで拡張してくれます。サイズを減らす(シュリンク)機能はベータ版らしく、実行すると警告が出ます。

編集者:すずき(2009/02/01 05:49)

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



2009年1月30日

ソフトウェアRAIDのディスク交換

RAID-5, 6あるいは1などでディスクが壊れた際の交換方法を紹介します。

ディスクが壊れた
# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda1             62498888   1879716  60619172   4% /
/dev/md0                521580    521580         0 100% /mnt/md0

# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90.03
  Creation Time : Sat Jan 31 16:05:28 2009
     Raid Level : raid5
     Array Size : 521600 (509.46 MiB 534.12 MB)
    Device Size : 104320 (101.89 MiB 106.82 MB)
(... 略 ...)

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       18        3      active sync   /dev/sdb2
       4       8       50        4      active sync   /dev/sdd2
       5       8       34        5      active sync   /dev/sdc2

# mdadm --fail /dev/md0 /dev/sdb1
mdadm: set /dev/sdb1 faulty in /dev/md0

# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90.03
  Creation Time : Sat Jan 31 16:15:28 2009
     Raid Level : raid5
     Array Size : 521600 (509.46 MiB 534.12 MB)
    Device Size : 104320 (101.89 MiB 106.82 MB)
(... 略 ...)

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       18        3      active sync   /dev/sdb2
       4       8       50        4      active sync   /dev/sdd2
       5       8       34        5      active sync   /dev/sdc2

       6       8       17        -      faulty spare   /dev/sdb1

LinuxでソフトウェアRAIDアレイをいじるにはmdadmコマンドを使います。使用中のRAIDアレイ(100MBディスク6本からなるRAID-5アレイ)で故障を発生させます。といっても実際にディスクを破壊するわけにはいきませんので、--failでシステムに故障を伝えます。故障したデバイスはfaulty spareという状態に変更されます。

次に故障したディスクを外します。

ディスクを取り除く
# mdadm --remove /dev/md0 /dev/sdb1
mdadm: hot removed /dev/sdb1

# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90.03
  Creation Time : Sat Jan 31 16:28:28 2009
     Raid Level : raid5
     Array Size : 521600 (509.46 MiB 534.12 MB)
    Device Size : 104320 (101.89 MiB 106.82 MB)
(... 略 ...)

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       18        3      active sync   /dev/sdb2
       4       8       50        4      active sync   /dev/sdd2
       5       8       34        5      active sync   /dev/sdc2

故障したディスク(faulty spare)を --removeに指定して、アレイから取り除きます。アレイから取り除けるのは、故障している、していないに関わらずスペアディスクのみです。活きているディスクを --removeしようとしても失敗します。

次に新たなディスクを追加します。

ディスクを追加する
# mdadm --add /dev/md0 /dev/sdb1
mdadm: added /dev/sdb1

# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath] [faulty]
md0 : active raid5 sdb1[6] sdd2[4] sdc2[5] sdb2[3] sdd1[2] sdc1[1]
      521600 blocks level 5, 64k chunk, algorithm 2 [6/5] [_UUUUU]
      [====>................]  recovery = 20.5% (22272/104320) finish=0.0min speed=22272K/sec

unused devices: <none>

# mdadm --detail /dev/md0
/dev/md0:
        Version : 00.90.03
  Creation Time : Sat Jan 31 16:58:28 2009
     Raid Level : raid5
     Array Size : 521600 (509.46 MiB 534.12 MB)
    Device Size : 104320 (101.89 MiB 106.82 MB)
(... 略 ...)

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       18        3      active sync   /dev/sdb2
       4       8       50        4      active sync   /dev/sdd2
       5       8       34        5      active sync   /dev/sdc2

新たなディスクを --addで加えることでディスクの数が6本に戻ります。するとリカバリが始まります。今まで通り --detailで見ても良いですが、/proc/mdstatにもっとわかりやすい進行表示が出ます。

素晴らしいことにRAID-5アレイを止めなくとも、上記の作業が全てできます。リカバリ処理もI/O帯域を食いつぶさないように加減しますから、ユーザは --removeしてディスク交換して --addすれば、後はシステムがよきに計らってくれるわけです。便利ですね。

編集者:すずき(2009/02/01 06:22)

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



2009年1月25日

VAIOが嫌われた

SeaMonkeyでVAIO type Gのサイトを見ると100%フリーズします。一方IE7だと正常に表示されます。

SeaMonkeyがクラッシュするなら開発元にレポートを送れるけど、フリーズだとどうしようもないですね。しかもどういう条件で再現するのか試しているうちに、一切フリーズしなくなってしまいました。真相は闇の中です。

もちろん今も正常に表示されます。原因はフラッシュ周りかと思ったけど、IEは動いていたしなあ?一体なんだったんだろうか。キャッシュが壊れたのかなあ?

編集者:すずき(2009/02/08 14:55)

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



link もっと前
2009年2月3日 >>> 2009年1月25日
link もっと後

管理用メニュー

link 記事を新規作成

<2009>
<<<02>>>
1234567
891011121314
15161718192021
22232425262728

最近のコメント5件

  • link 21年3月13日
    すずきさん (03/05 15:13)
    「あー、このプログラムがまずいんですね。ご...」
  • link 21年3月13日
    emkさん (03/05 12:44)
    「キャストでvolatileを外してアクセ...」
  • link 24年1月24日
    すずきさん (02/19 18:37)
    「簡単にできる方法はPowerShellの...」
  • link 24年1月24日
    KKKさん (02/19 02:30)
    「追伸です。\nネットで調べたらマイクロソ...」
  • link 24年1月24日
    KKKさん (02/19 02:25)
    「私もエラーで困ってます\n手動での回復パ...」

最近の記事3件

  • link 24年3月25日
    すずき (03/26 03:20)
    「[Might and Magic Book One TASのその後] 目次: Might and Magicファミコン版以前(...」
  • link 21年10月4日
    すずき (03/26 03:14)
    「[Might and Magicファミコン版 - まとめリンク] 目次: Might and Magicファミコン版TASに挑...」
  • link 24年3月19日
    すずき (03/20 02:52)
    「[モジュラージャックの規格] 古くは電話線で、今だとEthernetで良く見かけるモジュラージャックというコネクタとレセプタク...」
link もっとみる

こんてんつ

open/close wiki
open/close Linux JM
open/close Java API

過去の日記

open/close 2002年
open/close 2003年
open/close 2004年
open/close 2005年
open/close 2006年
open/close 2007年
open/close 2008年
open/close 2009年
open/close 2010年
open/close 2011年
open/close 2012年
open/close 2013年
open/close 2014年
open/close 2015年
open/close 2016年
open/close 2017年
open/close 2018年
open/close 2019年
open/close 2020年
open/close 2021年
open/close 2022年
open/close 2023年
open/close 2024年
open/close 過去日記について

その他の情報

open/close アクセス統計
open/close サーバ一覧
open/close サイトの情報

合計:  counter total
本日:  counter today

link About www.katsuster.net
RDFファイル RSS 1.0

最終更新: 03/26 03:20