つぶねこ

　何事もメモである。というわけで
　まずはLinuxシングルドライブreiserfs

tiobench --numruns 4 --dir /mnt/sdb/ --threads 1
No size specified, using 1792 MB
Run #4: /usr/bin/tiotest -t 1 -f 1792 -r 4000 -b 4096 -d /mnt/sdb/ -T
Unit information
================
File size = megabytes
Blk Size  = bytes
Rate      = megabytes per second
CPU%      = percentage of CPU used during the test
Latency   = milliseconds
Lat%      = percent of requests that took longer than X seconds
CPU Eff   = Rate divided by CPU% - throughput per cpu load
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    1   58.62 14.67%     0.262      456.28   0.00000  0.00000   399
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    1    0.67 0.854%    23.396      651.18   0.00000  0.00000    78
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    1   52.14 40.04%     0.254    14168.86   0.00044  0.00000   130
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    1    1.78 0.774%     0.157       24.73   0.00000  0.00000   230

tiobench --numruns 4 --dir /mnt/sdb/ --threads 2
No size specified, using 1792 MB
Run #4: /usr/bin/tiotest -t 2 -f 896 -r 2000 -b 4096 -d /mnt/sdb/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    2   42.31 20.77%     0.730     1403.99   0.00000  0.00000   204
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    2    0.70 0.820%    43.787      579.55   0.00000  0.00000    86
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    2   43.38 86.91%     0.605    19488.65   0.00132  0.00000    50
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    2    1.77 2.107%     0.258      203.21   0.00000  0.00000    84

tiobench --numruns 4 --dir /mnt/sdb/ --threads 4
No size specified, using 1792 MB
Run #4: /usr/bin/tiotest -t 4 -f 448 -r 1000 -b 4096 -d /mnt/sdb/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    4   27.42 26.18%     2.242     3291.54   0.00000  0.00000   105
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    4    0.68 1.536%    87.880      814.29   0.00000  0.00000    44
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    4   34.86 166.0%     1.423    21004.12   0.00392  0.00000    21
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    4    1.61 3.344%     3.710     1147.34   0.00000  0.00000    48

tiobench --numruns 4 --dir /mnt/sdb/ --threads 8
No size specified, using 1792 MB
Run #4: /usr/bin/tiotest -t 8 -f 224 -r 500 -b 4096 -d /mnt/sdb/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    8   24.03 44.76%     5.057     5837.55   0.00000  0.00000    54
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    8    0.80 2.896%   147.462     1021.28   0.00000  0.00000    28
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    8   33.91 321.8%     2.750    25215.68   0.02638  0.00000    11
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    8    1.68 9.160%     0.249       17.55   0.00000  0.00000    18

　続いてmdによるRAID5、SATA4台のreiserfs場合～

tiobench --numruns 4 --dir /home/ --threads 1
No size specified, using 1022 MB
Run #4: /usr/bin/tiotest -t 1 -f 1022 -r 4000 -b 4096 -d /home/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    1   71.29 63.59%     0.217      218.35   0.00000  0.00000   112
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    1    1.04 1.208%    15.055      141.74   0.00000  0.00000    86
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    1   43.95 39.86%     0.352     3810.52   0.00000  0.00000   110
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    1    1.43 0.760%     0.084       30.02   0.00000  0.00000   188

tiobench --numruns 4 --dir /home/ --threads 2
No size specified, using 1022 MB
Run #4: /usr/bin/tiotest -t 2 -f 511 -r 2000 -b 4096 -d /home/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    2   65.50 96.41%     0.464      764.62   0.00000  0.00000    68
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    2    1.50 2.681%    18.618      214.08   0.00000  0.00000    56
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    2   45.45 82.75%     0.670     6621.71   0.00076  0.00000    55
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    2    1.16 1.057%     0.124      145.55   0.00000  0.00000   110

tiobench --numruns 4 --dir /home/ --threads 4
No size specified, using 1022 MB
Run #4: /usr/bin/tiotest -t 4 -f 255 -r 1000 -b 4096 -d /home/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    4   62.78 140.0%     0.947     1177.52   0.00000  0.00000    45
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    4    2.18 5.916%    27.001      233.06   0.00000  0.00000    37
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    4   46.23 166.5%     1.189     7490.56   0.00192  0.00000    28
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    4    1.22 2.567%     0.521      486.34   0.00000  0.00000    47

tiobench --numruns 4 --dir /home/ --threads 8
No size specified, using 1022 MB
Run #4: /usr/bin/tiotest -t 8 -f 127 -r 500 -b 4096 -d /home/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    8   61.42 231.0%     1.860     8310.28   0.00115  0.00000    27
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    8    2.73 14.09%    39.358      403.94   0.00000  0.00000    19
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    8   47.39 328.6%     2.192    19993.01   0.00922  0.00000    14
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    8    1.13 5.121%     8.045     8028.87   0.07500  0.00000    22

　もちろん各種チューニングによって結果は変わるはず。
　と、しかしこれは、IOzoneみたいにグラフ化しにゃいと実に見にくいにゃ(しろよ)
　ひとまず、SATAシングルドライブで同時2本程度は結構持つものの、4本ににゃった時点でかにゃり酷いことに。RAID5にしておけば、4本程度まではまず問題にゃいっていうかLatencyが低いまま押さえられてて負荷に強いことが見て取れる。
　あとはRAID10をいろんにゃオプションで生成して実験してみるべきにゃんだがめんどくさいよにゃぁ

　WindowsServer2003とかのAD環境があって、ドメイン所属のPC群がアクセスするファイル鯖をLinux+Samba3で作るには、という長年いろんにゃ手法が出てるぽい話を。
　まずは脳内構想を練ってみる・・・も、端から忘れるのでメモ。
　
　安サーバにHDD4台でRAID10。mdのfarとかnearとかoffsetの設定を考えてみる。
　LVMでスナップショットを取れるように。これをsambaで公開し直してクライアントから過去のファイルを参照できるように。
　FSはXFSかReiserFSだろうか。XFSはヘッドシークが多い気がするんだがデフラグやスナップショットその他の安心感が。ReiserFSは細かいファイルに強いイメージがあるので実験してみたい。スナップショットはどーしようか・・・とはいえsambaさえ落とせば基本的にバックアップはどのタイミングで取っても大丈夫だろう。
　1パーテーションを小さくしてあまりファイル数が多くにゃりすぎにゃいようにしよう。
　バックアップはrdiff-backupだろうか。LVMと合わせればいつでも取れるはず。
　sambaのゴミ箱も公開する。ファイルが堆積するだろうから定期的にcronで消せばよい。
　複数ファイル鯖を短期間で同期させて予備にしたいところ。rsyncすればいいだけって気はするが、リアルタイムでレプリケーションする方法はあるのかにゃ。
　DFSで何とにゃくリダイレクトとかしたら負荷分散用に細分化できるかにゃ。
　samba3でsecurity = ADSにゃ方法が有るらしいのでこれを採用。何が違うのかよく分からにゃい。
　Winbindは使った方がいいのだろうか。ユーザ増えてくると使った方がいいんだろうにゃぁ。
　uidとかの同期はさせたほうがいいのかしら。レプリケーションとかするにゃらしにゃいとまずいかも。
　ドメイン環境ってことは時刻同期は重要だよね。ntpか何かで常にクロックがずれにゃいように。
　sambaのチューニングがよく分からにゃい。oplockってカーネル対応してるの？？
　キャッシュ周りのkernelチューニングはどうにゃんだろう。flush間隔を広げた方がトータルのパフォーマンスは上がると思うんだけど定期的にすごく重くにゃる瞬間が発生するようにゃ・・・
　ディレクトリエントリを常時キャッシュしてるだけでずいぶん違うようにゃ気はする。cronでfindでも回してみよう。
　mdの警告メールとかとか、LAN内にsmtp鯖が必要。
　syslogは沢山吐かせるとディスク負荷ににゃるねえ。RAID10で4台だからシステムも同じディスクににゃらざるを得にゃい。やはり別のsyslog鯖へ吐くべきだろう。とにゃるとsyslog-ngやmultilogを採用した方が良さそうだ。
　ログ周りを考えるに、NIC2枚で別のネットワークへ繋がっていた方がよさそうだ。
　sambaに必要にゃメモリとCPUが分からにゃい。Winと違って結構必要にゃ気がする。
　
　もうWin鯖でいいや(ぉぃ