つぶねこ

　ML115にゃvmwareホストが特に激しい。解決法は、にゃにやらカーネルにいろいろオプション渡せ、ということらしいが、やっても多少改善される程度。
　grubのmenu.lstに
　kernel /boot/vmlinuz-2.6.18 root=/dev/sda1 ro clock=pit nosmp noapic nolapic
　って感じで追記。
　カーネルオプションが通らにゃい場合はapicとかacpiとか軒並み切って再構築。
　さらに.vmxに
　tools.syncTime = "TRUE"
　か、ntpdateしまくるとかしてにゃんとか。
　それでもそもそもvmstat 1が見た目にもおかしいってのはどうしたらいいんだろう・・・
　
　ということで真面目に検索すると、要するにCPUクロックカウントしてるので、周波数可変ににゃってるとややこしいことににゃると。というわけでvmホストのBIOSでAPMとか省電力とか全部切りでほぼ解決。

　4.5k

　まぁ何はともあれ、手近にゃところから手をつけてみる。
　
　aptitude install samba krb5-config krb5-user 他
　/etc/resolv.conf

search neko.local
ip_of_ad1_with_dns
ip_of_ad2_with_dns

　この辺は微妙。既にDNSの建ってるAD鯖があるにゃらそれでいいんじゃにゃいの、というわけにゃんだが、何とにゃれば/etc/hostsで正逆引き出来るようにAD鯖や自鯖を登録しておく必要があるかも知れにゃい。
　
　/etc/krb5.conf

[libdefaults]
	default_realm = NEKO.LOCAL
[realms]
	NEKO.LOCAL = {
		kdc = ad1.neko.local
	}
[domain_realms]
	.neko.local = NEKO.LOCAL

　domain_realmsの設定は無くても動く気がする。ていうかこれで合ってるのかしら？ケロちゃんのお勉強せずに使って大丈夫にゃのかしら？
　
　/etc/samba/smb.conf

security = ADS
ads server = ad1.neko.local
realm = NEKO.LOCAL
add user script = /usr/sbin/adduser --quiet --disabled-password --gecos "" %u

　kinit dom_admin_name@NEKO.LOCAL
　net ads join
　/etc/init.d/samba restart
　これでWinドメインからtest01/domain_passでログオン出来るようににゃる。
　意外と簡単。
　linux側のユーザアカウントは自動生成される。ちょっとどうかにゃーって気はするのでWinbindとかと組み合わせる手もあるらしい。

　3.5k

　久々にローカルファイル鯖＠linuxのupdateをしたらカーネルが入ったのでついでに再起動。
　そしたらいつまで待っても帰ってこにゃい。どこで凍ったのか・・・
　
　というわけで帰宅してモニタさがして繋げてKBさがしてつっこんで、えらい苦労して画面読んだところ、にゃんか/dev/sdbをmountしようとして云々、というところでinitramfsで止まってた。/が見あたらねえってことらしい。えーっと？
　というわけで/dev/md2を/tmpとかにmountして/boot/grub/menu.lstを覗いてみれば、いつのまーにか /vmlinuz-2.6.18-5-686 root=/dev/sda2 roとかににゃってるし。そこは/dev/md2にしたはずだが・・・
　ひとまず書き換えて再起動して問題は解決したが、原因が分からず。やだにゃあ

　3.5k

　何事もメモである。というわけで
　まずはLinuxシングルドライブreiserfs

tiobench --numruns 4 --dir /mnt/sdb/ --threads 1
No size specified, using 1792 MB
Run #4: /usr/bin/tiotest -t 1 -f 1792 -r 4000 -b 4096 -d /mnt/sdb/ -T
Unit information
================
File size = megabytes
Blk Size  = bytes
Rate      = megabytes per second
CPU%      = percentage of CPU used during the test
Latency   = milliseconds
Lat%      = percent of requests that took longer than X seconds
CPU Eff   = Rate divided by CPU% - throughput per cpu load
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    1   58.62 14.67%     0.262      456.28   0.00000  0.00000   399
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    1    0.67 0.854%    23.396      651.18   0.00000  0.00000    78
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    1   52.14 40.04%     0.254    14168.86   0.00044  0.00000   130
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    1    1.78 0.774%     0.157       24.73   0.00000  0.00000   230

tiobench --numruns 4 --dir /mnt/sdb/ --threads 2
No size specified, using 1792 MB
Run #4: /usr/bin/tiotest -t 2 -f 896 -r 2000 -b 4096 -d /mnt/sdb/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    2   42.31 20.77%     0.730     1403.99   0.00000  0.00000   204
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    2    0.70 0.820%    43.787      579.55   0.00000  0.00000    86
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    2   43.38 86.91%     0.605    19488.65   0.00132  0.00000    50
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    2    1.77 2.107%     0.258      203.21   0.00000  0.00000    84

tiobench --numruns 4 --dir /mnt/sdb/ --threads 4
No size specified, using 1792 MB
Run #4: /usr/bin/tiotest -t 4 -f 448 -r 1000 -b 4096 -d /mnt/sdb/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    4   27.42 26.18%     2.242     3291.54   0.00000  0.00000   105
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    4    0.68 1.536%    87.880      814.29   0.00000  0.00000    44
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    4   34.86 166.0%     1.423    21004.12   0.00392  0.00000    21
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    4    1.61 3.344%     3.710     1147.34   0.00000  0.00000    48

tiobench --numruns 4 --dir /mnt/sdb/ --threads 8
No size specified, using 1792 MB
Run #4: /usr/bin/tiotest -t 8 -f 224 -r 500 -b 4096 -d /mnt/sdb/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    8   24.03 44.76%     5.057     5837.55   0.00000  0.00000    54
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    8    0.80 2.896%   147.462     1021.28   0.00000  0.00000    28
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    8   33.91 321.8%     2.750    25215.68   0.02638  0.00000    11
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.15-060225-1               1792  4096    8    1.68 9.160%     0.249       17.55   0.00000  0.00000    18

　続いてmdによるRAID5、SATA4台のreiserfs場合～

tiobench --numruns 4 --dir /home/ --threads 1
No size specified, using 1022 MB
Run #4: /usr/bin/tiotest -t 1 -f 1022 -r 4000 -b 4096 -d /home/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    1   71.29 63.59%     0.217      218.35   0.00000  0.00000   112
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    1    1.04 1.208%    15.055      141.74   0.00000  0.00000    86
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    1   43.95 39.86%     0.352     3810.52   0.00000  0.00000   110
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    1    1.43 0.760%     0.084       30.02   0.00000  0.00000   188

tiobench --numruns 4 --dir /home/ --threads 2
No size specified, using 1022 MB
Run #4: /usr/bin/tiotest -t 2 -f 511 -r 2000 -b 4096 -d /home/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    2   65.50 96.41%     0.464      764.62   0.00000  0.00000    68
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    2    1.50 2.681%    18.618      214.08   0.00000  0.00000    56
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    2   45.45 82.75%     0.670     6621.71   0.00076  0.00000    55
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    2    1.16 1.057%     0.124      145.55   0.00000  0.00000   110

tiobench --numruns 4 --dir /home/ --threads 4
No size specified, using 1022 MB
Run #4: /usr/bin/tiotest -t 4 -f 255 -r 1000 -b 4096 -d /home/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    4   62.78 140.0%     0.947     1177.52   0.00000  0.00000    45
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    4    2.18 5.916%    27.001      233.06   0.00000  0.00000    37
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    4   46.23 166.5%     1.189     7490.56   0.00192  0.00000    28
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    4    1.22 2.567%     0.521      486.34   0.00000  0.00000    47

tiobench --numruns 4 --dir /home/ --threads 8
No size specified, using 1022 MB
Run #4: /usr/bin/tiotest -t 8 -f 127 -r 500 -b 4096 -d /home/ -T
Sequential Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    8   61.42 231.0%     1.860     8310.28   0.00115  0.00000    27
Random Reads
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    8    2.73 14.09%    39.358      403.94   0.00000  0.00000    19
Sequential Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    8   47.39 328.6%     2.192    19993.01   0.00922  0.00000    14
Random Writes
                              File  Blk   Num                   Avg      Maximum      Lat%     Lat%    CPU
Identifier                    Size  Size  Thr   Rate  (CPU%)  Latency    Latency      >2s      >10s    Eff
---------------------------- ------ ----- ---  ------ ------ --------- -----------  -------- -------- -----
2.6.18-5-486                  1022  4096    8    1.13 5.121%     8.045     8028.87   0.07500  0.00000    22

　もちろん各種チューニングによって結果は変わるはず。
　と、しかしこれは、IOzoneみたいにグラフ化しにゃいと実に見にくいにゃ(しろよ)
　ひとまず、SATAシングルドライブで同時2本程度は結構持つものの、4本ににゃった時点でかにゃり酷いことに。RAID5にしておけば、4本程度まではまず問題にゃいっていうかLatencyが低いまま押さえられてて負荷に強いことが見て取れる。
　あとはRAID10をいろんにゃオプションで生成して実験してみるべきにゃんだがめんどくさいよにゃぁ

　2.7k

　WindowsServer2003とかのAD環境があって、ドメイン所属のPC群がアクセスするファイル鯖をLinux+Samba3で作るには、という長年いろんにゃ手法が出てるぽい話を。
　まずは脳内構想を練ってみる・・・も、端から忘れるのでメモ。
　
　安サーバにHDD4台でRAID10。mdのfarとかnearとかoffsetの設定を考えてみる。
　LVMでスナップショットを取れるように。これをsambaで公開し直してクライアントから過去のファイルを参照できるように。
　FSはXFSかReiserFSだろうか。XFSはヘッドシークが多い気がするんだがデフラグやスナップショットその他の安心感が。ReiserFSは細かいファイルに強いイメージがあるので実験してみたい。スナップショットはどーしようか・・・とはいえsambaさえ落とせば基本的にバックアップはどのタイミングで取っても大丈夫だろう。
　1パーテーションを小さくしてあまりファイル数が多くにゃりすぎにゃいようにしよう。
　バックアップはrdiff-backupだろうか。LVMと合わせればいつでも取れるはず。
　sambaのゴミ箱も公開する。ファイルが堆積するだろうから定期的にcronで消せばよい。
　複数ファイル鯖を短期間で同期させて予備にしたいところ。rsyncすればいいだけって気はするが、リアルタイムでレプリケーションする方法はあるのかにゃ。
　DFSで何とにゃくリダイレクトとかしたら負荷分散用に細分化できるかにゃ。
　samba3でsecurity = ADSにゃ方法が有るらしいのでこれを採用。何が違うのかよく分からにゃい。
　Winbindは使った方がいいのだろうか。ユーザ増えてくると使った方がいいんだろうにゃぁ。
　uidとかの同期はさせたほうがいいのかしら。レプリケーションとかするにゃらしにゃいとまずいかも。
　ドメイン環境ってことは時刻同期は重要だよね。ntpか何かで常にクロックがずれにゃいように。
　sambaのチューニングがよく分からにゃい。oplockってカーネル対応してるの？？
　キャッシュ周りのkernelチューニングはどうにゃんだろう。flush間隔を広げた方がトータルのパフォーマンスは上がると思うんだけど定期的にすごく重くにゃる瞬間が発生するようにゃ・・・
　ディレクトリエントリを常時キャッシュしてるだけでずいぶん違うようにゃ気はする。cronでfindでも回してみよう。
　mdの警告メールとかとか、LAN内にsmtp鯖が必要。
　syslogは沢山吐かせるとディスク負荷ににゃるねえ。RAID10で4台だからシステムも同じディスクににゃらざるを得にゃい。やはり別のsyslog鯖へ吐くべきだろう。とにゃるとsyslog-ngやmultilogを採用した方が良さそうだ。
　ログ周りを考えるに、NIC2枚で別のネットワークへ繋がっていた方がよさそうだ。
　sambaに必要にゃメモリとCPUが分からにゃい。Winと違って結構必要にゃ気がする。
　
　もうWin鯖でいいや(ぉぃ

　相当痛んでたらしい

　ML115にdebianでNASっぽいものを作ってみる話で、アクセスの無いときはHDD電源を落とすとかがんばってそれにゃりに出来たのだが、ちょっと改良。
　HDD回転停止させて出てくる不満点は何たって初回アクセス時の起動待ち。致し方にゃいとはいえやはりおもしろくにゃい。
　で、そういやNTFSでも似たようにゃことしたにゃぁ、という、ディレクトリエントリのキャッシュをやってみる。
　方法は単純に　find / >/dev/null　を定期的に動かすだけ～
　といいたいがいらんディレクトリまで見させるとディスク書き込みが発生したりとかややこしいので、今回はsambaで公開してる/homeのみを巡回。さらにファイル属性その他も拾っとくべきにゃので-printf "%a%A@%c%f%F%g%h%i%m%n%s%t%u%Y"とかにゃんとか適度に。sambaからのアクセスを装ってmount -t cifs //localhost/homes /home/tmp -o iocharset=utf8とかしたディレクトリ相手に。
　これで、sambaから見た範囲ではどのディレクトリを見に行ってもHDDアクセスはにゃくにゃり、HDD起動無しの快速レスポンスとにゃる。ACL？それは拾えてにゃいようにゃ・・・
　さらにreiserfsのおまけ機能のおかげか、.md5のようにゃ微細にゃファイルがキャッシュされてることがある。もちろんHDD稼働時においてもエントリのリストアップは瞬時に帰ってくるようににゃる。
　
　～ memo ～

umount /mnt/preread
rmdir /mnt/preread
mkdir /mnt/preread
chmod 777 /mnt/preread
mount -t cifs //localhost/homes /mnt/preread -o iocharset=utf8,username=neko
echo start.
while : ; do
    nice -19 find /mnt/preread -printf "%a%A@%c%f%F%g%h%i%m%n%s%t%u%Y\n" ;
    sleep 10
done|
nice -19 perl -e 'use Time::HiRes qw(sleep);while(<>){sleep(0.001)}'