nexenta@vmwareでvmxnet3が使えにゃい状態だったのだが、いつの間にか整備されてた。
　但し微妙に排他にゃ挙動することがあるので、その場合は
　
　toolsを入れてreboot
　apt-get install --reinstall nexenta-vmxnet3
　してreboot
　vmware-config-tools.pl
　を叩いてvmxnet3関連を全てスキップしてreboot
　
　で多分にゃんとかにゃる気味。多分もうちょっと簡略化できるだろうが。
　
　にゃおnexenta-pvscsiもパッケージとして存在しているようだが、ライセンス的変にゃ上限に引っかかることがあるかも知れにゃい。

　ZFSでsyspoolを別のドライブに移動させたりする場合の作業メモ。
　状態として

echo |format
       0. c0t0d0 <DEFAULT cyl 3184 alt 2 hd 255 sec 63>
       1. c0t1d0 <DEFAULT cyl 3184 alt 2 hd 255 sec 63>

　で

zpool status
        syspool     ONLINE       0     0     0
          c0t0d0s0  ONLINE       0     0     0

　みたいにゃ状況だとすると、
　formatで
　fdisk
　partition
　label
　をそれぞれ実行後、

prtvtoc /dev/dsk/c0t0d0s0 | fmthard -s - /dev/rdsk/c0t1d0s0
zpool attach -f syspool c0t0d0s0 c0t1d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c0t1d0s0

　でいけるはず。
　もしprtvtocで

fmthard: Partition 2 specifies the full disk and is not equal
full size of disk.  The full disk capacity is

　とか、
　installgrubで

Partition 0 of the disk has an incorrect offset

　とか言われたら、formatのとこの作業が抜けてる気味。

　NICを挿したはいいが、ドライバがにゃい！
　ということのようにゃので、仕方にゃいからOpenSolarisの/kernel/drv以下あたりからceのドライバを引っぱってくる。たぶんamd64のだけで良いと思うがもう分からん。ce.confも一応touchしてみたり。
　
　で動くかと思いきや自動認識しにゃいのでprtconfでNICを探す。pci100bとつくのが今回挿したSun GigaSwiftっぽいので、

add_drv -v -i "pci100b,35" ce

　みたいにすると/etc/path_to_instにceが4行追加されて、/etc/driver_aliasesにもce "pci100b,35"みたいにゃのが追加される。
　にゃんか今時じゃにゃいドライバにゃので扱いにも注意ぽいんだが、まぁにゃんとかにゃるだろう。
　とりあえずVLAN使うとMTU削られるとか、細々とアレである

　iostat -eすると出てくる各ディスク毎のエラー数統計だが、ホットスワップにゃ環境だったりするとzfs側ではzpool clearして対処完了してもこっちには残ったままににゃる。

           ---- errors ---
device  s/w h/w trn tot
sd0       0  64   0  64
sd1       0   0   0   0
sd2       0   0   0   0
sd3       0   0   0   0
sd4       0   0   0   0
sd5       0   0   0   0
sd6       0   0   0   0

　このまま放置しても動作には影響にゃいし再起動すれば直るんだけどディスク入れ替えたのにカウンタがリセットされにゃいというのは困ったものにゃのでオンラインでこれをクリアしたい。
　・・・というFAQはもちろんあるわけで

error_reset.sh:
echo target : sd$1
sd=$(echo "*sd_state::softstate $1" | mdb -kw)
es=$(echo "$sd::print struct sd_lun un_errstats"| mdb -k | cut -d" " -f3)
ks=$(echo "$es::print kstat_t ks_data" |  mdb -k | cut -d" " -f3)
ha=$(echo "$ks::print -a struct sd_errstats sd_harderrs.value.ui32" | mdb -k | cut -d" " -f1)
echo $ha/W 0 | mdb -kw
ha=$(echo "$ks::print -a struct sd_errstats sd_softerrs.value.ui32" | mdb -k | cut -d" " -f1)
echo $ha/W 0 | mdb -kw
ha=$(echo "$ks::print -a struct sd_errstats sd_transerrs.value.ui32" | mdb -k | cut -d" " -f1)
echo $ha/W 0 | mdb -kw

　こういう.shでクリアできるようだ。
　引数にはiostat -eした時のsd?の数字を渡す

./error_reset.sh 0
target : sd0
0xffffff03eec71d30:             0x40            =       0x0
0xffffff03eec71d00:             0               =       0x0
0xffffff03eec71d60:             0               =       0x0

　とこんにゃ感じでクリアできる。

　ある程度パフォーマンスを求めるとBBWC付きのRAIDカードの載った鯖にNexentaを入れることににゃるだろうが、その際にどこでどーゆーRAID構成を使えばよいのか話。
　
　問題ににゃるポイントはいくつか。
　・RAID5/6読み込みパフォーマンス。ZFSが圧倒的に遅い。特にQueueが浅く中サイズのランダムRead気味にゃ場合はZFSが分散書き込みした全ドライブから読まにゃいとRead完了しにゃいのでレイテンシ最悪。HW-RAIDであればほぼドライブ数分のRAID0相当ににゃるので最高レベルの性能ににゃる。
　・RAID5/6書き込みパフォーマンス。ドライブ数が多くにゃってくるとZFSが速い。しかしそこいらにあるBBWC付きRAIDカードのRAID5/6書込み速度が問題ににゃる場面ってそんにゃに多くはにゃい気はするのと、Raidz/Raidz2はつまり大量のランダム書き込みがあるがread性能は大して求められにゃいストレージに向けということでよりそんにゃ場面はにゃい気味。
　・RAID1書き込みパフォーマンス。ZFSのmirrorにゃどは全ての構成ドライブに書き終えるまで処理が止まるので基本的に遅い。HW-RAIDの場合も同じ場合が多いが、こちらはとりあえずキャッシュに隠蔽されるので、RAID1に関してはHW-RAIDの方が速い場合が多い。もちろんシングルドライブRAID0アレイを2つでZFS-mirrorすることでBBWCの効いたドライブにmirror書き込みできるので大きにゃ差は無いとも言えるが、BBWCの容量は2倍必要とにゃる。
　・耐障害性。ZFS圧勝。まずRebuild時に全域読むことが少にゃいので過負荷で連鎖大惨事ににゃることが少にゃい。まぁ満杯までデータ入ってたら大差にゃいが。それから多少ドライブエラーが生じてもスルーしてカバーしてくれるので、軽いエラー吐いただけでドライブを切り離してしまい冗長性が一気に減ずるHW-RAIDよりデータ延命率が格段に高い。
　・サイレントクラッシュ。HWでRAID1したドライブをZFSで使用してたらチェックサムエラーで一部ファイルが破損したことが。ディスクというよりどっかの転送時の化けにゃんだろうけど、HWのRAIDは読んだデータの整合性は取ってにゃいのでこういうことが。ZFSがRAIDカードにキャッシュの破棄と再読み込み、別の構成ドライブから読み込みにゃんかを指示できれば多分解決にゃんだけどそんにゃ機能が載ることは無さそう。対策としては、ZFS上で冗長化するか、頻繁にHW-RAIDのメディアパトロールや整合性検査をかけて自力復活に期待するかであるが、HW-RAIDの自己努力の場合にはRAID5/6を選択しメディア検査ではにゃくチェックサム検査をバックグラウンドで頻繁に実行できるRAIDカードである必要がある。
　・故障予防。HW-RAIDであればパトロール的にゃ機能が付いてるが、ZFSのscrubはデータのある領域しか読まにゃいので予防的にゃ意味ではちょっと辛い。dd等で自作の全域readを組んでおけば解決できるが割と面倒。
　・I/O負荷。やはりソフトウェアでRAID処理する分、I/Oは2倍程度まで増えることににゃる。大量書き込み時にちょっとしんどい目。但し圧縮その他を有効にしてる場合はそっちが主にゃ負荷ににゃる。
　・保守性。HW-RAIDでホットスワップ可能にゃら抜いて刺すだけでOKにゃお手軽さがあるが、ZFSでdetachして云々する場合は操作ミスの可能性もあるので割と慎重ににゃらざるを得にゃい。特にHW-RAIDに単ドライブRAID0で割り当ててる場合はRAIDのBIOS画面かSolaris上からツールを叩いて認識させる必要があり、これまた割とリスキーかつ面倒にゃ作業ににゃる。
　
　で、実際どうすんのって話で、
　
　・HW-RAID1を複数作成 → zpool create HDD1 HDD2 HDD3・・・のパターン。容量は1/2で我慢だがドライブ故障時はHW-RAIDが教えてくれるし修復も簡単。但しサイレントクラッシュされるとお手上げ。
　・HW-RAIDでRAID5作成 → zpool create HDD1のパターン。もうZFS RAID関係無し。ドライブ数が多い場合は怖いのでRAID50とかRAID6とかに。サイレントクラッシュとかリビルドとかがトラウマ要因だが日々のパトロールでかにゃり緩和されるはず。
　・zpool create mirror HDD1 HDD2 mirror HDD3 HDD4・・・のパターン。ランダムリード性能を確保しつつある程度高い耐障害性を確保的にゃ。オールマイティに可もにゃく不可もにゃく。これ以外に構成上read性能上げる方法がにゃい。
　・zpool create raidz HDD1 HDD2 HDD3 HDD4・・・のパターン。使い道に悩むが性能を要求しにゃいNAS的にゃ用途であれば割と普通に使える。大量メモリ大量L2ARCすればそれにゃりに使える。raidz2にすれば最高クラスの堅牢度ににゃるのでガチにゃデータ用にはいい感じ。
　
　とまぁあんまり選択肢にゃいにゃぁという。これといった決め手に欠けるZFSさんにしょんぼり。

　以前書いたがDedupやL2ARCで使われるARC領域は全ARCの1/4くらいに制限されてる。

echo ::arc | mdb -k

　

hits                      = 6,579,098,581
misses                    =   452,069,693
demand_data_hits          = 1,568,821,337
demand_data_misses        =    35,059,825
demand_metadata_hits      = 3,224,194,606
demand_metadata_misses    =    45,501,861
prefetch_data_hits        =   125,750,375
prefetch_data_misses      =   128,235,341
prefetch_metadata_hits    = 1,660,332,263
prefetch_metadata_misses  =   243,272,666
mru_hits                  = 1,426,213,514
mru_ghost_hits            =    13,497,486
mfu_hits                  = 3,403,854,705
mfu_ghost_hits            =   281,484,703
deleted                   =   250,271,016
recycle_miss              =    65,465,441
mutex_miss                =       415,133
evict_skip                =   414,384,099
evict_l2_cached           =11,321,550,825,472
evict_l2_eligible         = 6,392,283,271,680
evict_l2_ineligible       = 9,111,346,605,568
hash_elements             =     1,457,128
hash_elements_max         =     2,131,419
hash_collisions           = 2,674,957,304
hash_chains               =       255,459
hash_chain_max            =            26
p                         =      5,607 MB
c                         =      8,820 MB
c_min                     =      1,406 MB
c_max                     =     11,255 MB
size                      =      8,820 MB
hdr_size                  =   147,103,056
data_size                 = 8,951,655,424
other_size                =    33,156,048
l2_hits                   =    52,579,407
l2_misses                 =   399,487,072
l2_feeds                  =    12,909,282
l2_rw_clash               =         3,235
l2_read_bytes             = 1,967,823,256,576
l2_write_bytes            = 6,513,012,548,096
l2_writes_sent            =     7,047,789
l2_writes_done            =     7,047,789
l2_writes_error           =             0
l2_writes_hdr_miss        =         2,309
l2_evict_lock_retry       =         1,405
l2_evict_reading          =           184
l2_free_on_write          =     5,408,775
l2_abort_lowmem           =           418
l2_cksum_bad              =             0
l2_io_error               =             0
l2_size                   = 61,163,917,312
l2_hdr_size               =    127,183,488
memory_throttle_count     =             0
arc_no_grow               =             0
arc_tempreserve           =             0 MB
arc_meta_used             =         2,813 MB
arc_meta_limit            =         2,813 MB
arc_meta_max              =         6,029 MB

　c_maxが11Gほどあるが、これはマシンメモリが12Gにゃので-1gくらいした容量が最大ということににゃる。
　これを1/4するとarc_meta_maxの3g弱とにゃる。L2ARCを付けてCacheする場合はここから消費されるので、巨大SSDを付けても全領域使われにゃいと言うことがあり得る。
　L2ARCの1エントリあたりARCを200 bytes消費するらしい(Dedup時はもっと)ので、1エントリ平均を4k位(実際には可変サイズ)だとすると56Gほどが上限とにゃり、l2_sizeの値とだいたい一致する。マシンには64GのSSDが載ってるので微妙に使い切ってにゃい。
　
　で、大雑把に乗っけるSSDサイズとarc_meta_limitの対応表が欲しいのだがブロックサイズ可変にゃために何とも分からにゃい。上述の4KB平均だと見にゃすと、
　乗っけるSSDサイズ、4KBブロック平均の時にarc_metaが消費するメモリ量、arc_meta_limitデフォ時にSSDをL2ARCで使い切るための物理メモリ量は概算で、

L2ARC  32GB : arc_meta_limit 1.5GB : 物理mem   7GB
L2ARC  64GB : arc_meta_limit   3GB : 物理mem  14GB
L2ARC 192GB : arc_meta_limit   9GB : 物理mem  39GB
L2ARC 256GB : arc_meta_limit  12GB : 物理mem  51GB
L2ARC 512GB : arc_meta_limit  25GB : 物理mem 101GB

　と言った感じ。必要物理memはarc_meta_limitをデフォの1/4から3/4あたりまで増やせば1/3くらいで済むはずだが、L2ARCはあまり賢くにゃいし書き込み中は読み込みも遅くにゃるSSDが多いので、metaじゃにゃいARCが十分取れるメモリ量でにゃければ逆効果ににゃるかもしれにゃい。平均ブロックサイズが細かいと数倍食うわけで、まぁ場合によってはちょっとしんどいかにゃぁという。

　フツーのZFS鯖でディスク障害でDegradeという一般的にゃ状態にゃんだが、zfs clearすると割と瞬時に復帰したり。
　で当該ディスク調べてみたら、ddで特定部分読むとI/O Errorが返ってくる。そこ以外は正常。
　にゃのでdegrade後に書かれた部分だけ再同期してすぐ正常に戻っちゃったという。
　よく分からんのはこのディスクのこの部分が自動的にマークされて使用されにゃくにゃるのか、clearした時点で全て正常と見にゃされるのか。
　zdbすると

faulted: 1
aux_state: 'err_exceeded'

　とか付いてるが表面上は正常。
　scrubしても正常。これは偶然まだ未使用にゃのかマークされて未使用にゃのかわからん。scrub時に不良があれば移動させるだろうから、それと同じ処理が走ったとすればマークされて使用されにゃくにゃっていると思われるのだが微妙。
　むろんそんにゃ部分的にも不良発生したドライブ延々と使い続けるのはよろしくにゃいのだが。

　というわけでちょっと長くにゃったのでまとめ。
　例えば以下のようにゃ構成であれば有りかも知れにゃい。
　
　iscsi target複数台
　・安価
　・RAID5(≠RAIDZ)構成。冗長性は0でよいがRAID0で全滅→マシンごとリビルドは負荷が大きいため
　・キャッシュ利用効率は低い(他のtargetと同じ内容をキャッシュすることがある)のでメモリは少にゃくて良い
　・電源その他信頼性が高くにゃくても良い
　
　vmホスト
　・ある程度のCPUとメモリリソースがある(RAID用vmに食われる)
　・ある程度のNIC数(十分にゃiscsi帯域が必要)
　・SAS RAID0またはSSD(RAID用vmのキャッシュとして使用)
　
　RAID用vm
　・ZFS使える何か
　・複数のiscsi targetをRAID1
　・ホストのドライブをキャッシュに割り当て
　・CPUとメモリを優先割り当て
　・iscsiまたはnfsでshare
　
　vm
　・RAID用vmと同ホストで動作させる(ホストが落ちれば一蓮托生)
　
　
　とまぁこんにゃところか。
　遅い、複雑というデメリットはあるが、vmホストが落ちにゃい限りデータが二重化されておりiscsi targetが1台死んでも問題にゃく動き続けるというメリットがある。

　誰しも一度は考えてみるであろう、iscsi数本を束ねてRAIDにしたらどうにゃるんだろう実験。
　まずは物理ZFS iscsi target x2をさらにnexenta vmでRAID1に束ねた物をnfs共有という婉曲にゃ状態でvmを置いてうごかしてみた。
　遅い。
　何はともあれディスクレイテンシが酷すぎる。
　共有をiscsiにしてvmホスト上でローカルマウントしてるnfsをiscsiにしてみると多少速くにゃる。
　
　が、ディスクとしての扱いはある程度正常に動くようで、片側のiscsi targetを削除するとしばらくタイムアウト待ちしていたがfaultににゃって片肺運転に移行した。
　データが複数マシンにミラー保存されるという点では大きにゃメリットがあると言えよう。
　iscsi targetは任意の非冗長化物理マシンで良く、vmホストまたはRAID用vmが死にゃにゃい限りは耐障害性に優れていると言える。つまり各vmホストにRAID用vmを配置すればストレージマシンへの投資を大幅に減らすことが出来る、かもしれにゃい。物理iscsi targetマシンには冗長性が不要で、snapshot等の機能も必要無くにゃる。
　デメリットとしてはやはりパフォーマンスである。ディスクレイテンシはiscsi targetを束ねているvmのCPU割り当てを優遇することで多少改善する。もちろんメモリ割り当ても増やせばキャッシュに載る量が増える。vmホストにSSDやSAS RAIDが載っていればそこにvmdkを置いてcacheとすれば良いだろう。しかしそこまでして尚、各vmホストのCPUとメモリをそれにゃりに食うことは間違いにゃく、あまりスマートにゃ方法とは言い難い。
　また別vmホストのRAID用vm上のvmを動かすことは可能だが冗長性の点でメリットが無くにゃるため、vmをホスト間で移動する際にはvmのストレージも同時に移動させるべきであり、共有ディスクにおける30秒程度でホスト間vm移動という手軽さはスポイルされる。
　RAID用vmをlinux等もうすこし軽量にゃOSにすると多少の改善が見られるが、vm特有の遅さが付きまとうことと、zfsによる手軽にゃsnapshot機能は代え難い物がある。また、vmを使用する上でcompressは非常に有用であるが、vm上で行うとこれもレイテンシの増加を加速させる要因とにゃる。
　キャッシュ類の効率的にはiscsi target側のほぼ全てのキャッシュが無駄にゃので全てRAID用vmに集約したいところだが、そこにリソースがふんだんに余ってにゃい限り厳しいことににゃる。

　Nexentaにiscsi targetを付けてたんだが、停電で落ちたので行方不明に。
　再接続しても自動復帰しにゃいようにゃのでzfs系の復帰を試みる羽目に。
　
　まずzpool cleanしたらscrubが自動で走ったのだが、これがiscsiにゃので劇遅。そこいらのckfs的にゃのが少にゃいのがzfsの売りじゃにゃいのかと。
　で、scrub終わっても

errors: Permanent errors have been detected in the following files:
        <metadata>:<0x0>
        /volumes/tank1/
        /volumes/tank1/share1/

　みたいにゃのが居残る。アクセスは普通に出来てるあたりがまたキモイ。
　で、試しに再度手動でzpool scrubしたら綺麗さっぱり直った。わけがわからにゃいよ

　NexentaStor(CE)に外付けiscsiストレージを繋げようとして、マルチパス設定が見つからず。。。
　まぁそもそもターゲット側の話でもあるんだが、ターゲット側は複数IPで公開してて、まぁそれを全部登録してみたんだがそゆのの一覧とか出にゃいわけでうーん？
　が、複数IPで登録したターゲット名でマウントしたら「Number of Sessions」で設定した数だけTCP張られて別IPに分散して動いてる模様。
　詳細不明だがとりあえずこれでいけてることにしよう。
　
　尚その辺の情報は

iscsiadm list initiator-node
iscsiadm list target -v
iscsiadm list target-param -v

　とかで。
　チューニングはよくわからんので

iscsiadm modify initiator-node -T recv-login-rsp-timeout=5
iscsiadm modify initiator-node -T polling-login-delay=2

　とか設定して実験する予定。さっぱりHITしにゃいんだがデフォでいいということかしら？？
　
　尚、MS iscsi targetに繋げようとすると長時間応答が無くにゃり、終いにcore吐いて再起動かかるので注意(笑)

　vmで作ったNexentaStor(CE)にvmware-toolsをCDからinstしようとしたのだが、VMXNET3が動かにゃい。
　で、NexentaStor評価版のvmイメージがDL出来るので、そっちだとちゃんと動いてる。にゃんぞ。
　てことでフォーラムにあった手法で、CE版でtoolsインストール作業しておいて、

find / -name "vmxnet3*" -exec tar -rf vmxnet3.tar {} \; 

　したものをCE版に上書き展開。再起動すると一応動いた。
　しかしSUNWuiu8の件といいメンテされてにゃさ過ぎー

　vmで作ったNexentaStor(CE)にvmware-toolsをCDからinstしようとしたのだが、

./vmware-install.pl -d

　で失敗する。
　にゃにやら
　/usr/bin/vmware-config-tools.pl
　実行時にSUNWuiu8が無いと怒られてるのだが、aptとかで探しても見あたらにゃい。
　/usr/bin/vmware-config-tools.plを編集してSUNWuiu8のチェック部分を潰したら何とにゃくinstされた。これでいいかどうかは非常に微妙(笑)

　にゃんかNICのRevによるんだろうけど、いつの間にか100baseに落ちて安定してたりとか、その際にSWと音信不通ににゃったりとか、動作の怪しいNICは多い。
　で、1GbEのFull以外を却下しておくと微妙にゃ状態でリンク維持されたりしにゃいので、多少症状が変化する。改善するかというと割と微妙だが。
　
　SW側でもやるべきだけどまずマシン側で。めどいのでその設定スクリプトのメモ。

dladm show-ether | awk 'NR>1 {print}' | sort | 
while read a b ; do echo $a ; done | 
while read a ; do 
    for p in en_10hdx_cap en_10fdx_cap en_100hdx_cap en_100fdx_cap en_1000hdx_cap ; do 
        dladm set-linkprop -p $p=0 $a ; dladm show-linkprop -p $p $a | awk 'NR>1 {print}'
    done
done

　が、bnxはdladmから設定出来にゃい気味。

ndd -set /dev/bnx0 adv_1000hdx_cap 0
ndd -set /dev/bnx0 adv_100fdx_cap 0
ndd -set /dev/bnx0 adv_100hdx_cap 0
ndd -set /dev/bnx0 adv_10fdx_cap 0
ndd -set /dev/bnx0 adv_10hdx_cap 0

ndd -get /dev/bnx1 adv_1000hdx_cap
ndd -get /dev/bnx1 adv_100fdx_cap
ndd -get /dev/bnx1 adv_100hdx_cap
ndd -get /dev/bnx1 adv_10fdx_cap
ndd -get /dev/bnx1 adv_10hdx_cap

　すれば通ってるようだが、これ再起動で元戻っちゃうからrcに書かにゃいとダメ。めどい。/etc/systemに書けるんだろうけど怪しいんでrcがベターだろう。

dladm show-ether | grep "^bnx" | while read a b ; do
    for p in adv_1000hdx_cap adv_100fdx_cap adv_100hdx_cap adv_10fdx_cap adv_10hdx_cap ; do
        ndd -set /dev/$a $p 0
    done
done

　とかか。rcに書くにゃらbnxに限定せず全部これでも良いとも言える。
　尚リモートで走らせて音信不通ににゃってもしらん

　やっぱり定期的に表面検査とかさせにゃいとディスクすぐエラー吐くよね、ってことで、この辺のシステムのRAIDカードにもちゃんと仕事させようという。
　
　LSI系の場合はMegaCliをDLしてきて

./MegaCli -LDInfo -Lall -aALL
./MegaCli -AdpPr -start -aALL
./MegaCli -LDCC -Start -LALL -aALL

　あたりが使える。
　infoでgrepしてエラー検知とかその辺で多分動くだろう。
　パトロールがちゃんと動くので自動か、cron系で手動startさせればよい。
　どーしてもって時には整合性チェックかけてもいい。
　
　Adaptec系の場合は、Adaptec Storage Manager(StorMan)をDLしてきて

./arcconf GETCONFIG 1
./arcconf datascrub 1 period 10 noprompt
./arcconf TASK start 1 LOGICALDRIVE 0 verify_fix noprompt
./arcconf TASK start 1 DEVICE 0 1 verify_fix noprompt

　とかだろうか。
　にゃんかちゃんと動いてるのかどうか怪しいんだが。
　
　ま週1とか月1で全域readするだけで違ってくるんで、この辺ZFSの思想と違うにゃぁってのが不便でもありおもしろくもある。

　やっぱりOpenSolarisのドライバ周りはどうかしてるとしか・・・
　そこいらの鯖でRAID1とか組んでOpenSolaris入れて、稼働中にHDD1つ外したら、RAIDカードはエラー出すんだけどOpenSolarisはI/O止まって凍る(笑)
　これ、OpenIndianaだと起きにゃい。
　にゃんぞ認識するだけじゃにゃくて管理もするパッケージやらドライバやらを入れにゃいとダメにゃのかもしれにゃいけど、そもそも止まるって言う標準仕様はどうにゃんだこれ
　
　ZFSだからRAIDカードにゃんて通す必要は無い、というのは分からんでもにゃいが、RAIDカード経由でしかディスク見えにゃいんだってば。

　さいきんのOpensolarisでZFSにゃnfs鯖の作業手順 更新版
　1st HDDにinst。最小9Gだが20G〜30Gくらいとっとく。
　GUIが有れば適度にIPとか変更。
　以下の順に必要にゃ物だけ実行

dladm show-ether
dladm show-link
ifconfig nic0 plumb
ifconfig -a
echo 123.123.123.123>/etc/hostname.nic0
echo 123.123.123.123 255.255.0.0>>/etc/netmasks
echo 123.123.123.1>/etc/defaultrouter
echo hostname>/etc/nodename
echo domain local>/etc/resolv.conf
echo nameserver 123.123.123.1>>/etc/resolv.conf
svcadm disable svc:/network/physical:nwam
svcadm enable svc:/network/physical:default
cat /etc/nsswitch.dns > /etc/nsswitch.conf
ifconfig -a
init 6

ping 123.123.123.123
ping yahoo.com
ntpdate pool.ntp.org
pfexec pkg install SUNWipkg
pfexec pkg image-update
init 6
pfexec pkg image-update
init 6
pfexec pkg image-update
init 6
zpool upgrade rpool
zfs upgrade -r rpool

echo | format
       0. c8t0d0 <DEFAULT cyl 290 alt 2 hd 255 sec 252>
       1. c8t1d0 <DEFAULT cyl 291 alt 2 hd 255 sec 252>
       2. c9t0d0 <DEFAULT cyl 291 alt 2 hd 255 sec 252>
       3. c9t1d0 <DEFAULT cyl 291 alt 2 hd 255 sec 252>
format c8t1d0 fdisk create SOLARIS2 10GB(シリンダで1stディスクと似たようにゃ感じに指定)
format c9t0d0 fdisk create SOLARIS2 10GB(シリンダで1stディスクと似たようにゃ感じに指定)
format c9t1d0 fdisk create SOLARIS2 10GB(シリンダで1stディスクと似たようにゃ感じに指定)
但しHDDによってセクタ/シリンダとか違ってくるので違うHDD間でミラーする時は注意
format -e c8t1d0 label SMI
format -e c9t0d0 label SMI
format -e c9t1d0 label SMI
prtvtoc /dev/rdsk/c8t0d0s2 | fmthard -s - /dev/rdsk/c8t1d0s2
prtvtoc /dev/rdsk/c8t0d0s2 | fmthard -s - /dev/rdsk/c9t0d0s2
prtvtoc /dev/rdsk/c8t0d0s2 | fmthard -s - /dev/rdsk/c9t1d0s2
zpool attach -f rpool c8t0d0s0 c8t1d0s0
zpool attach -f rpool c8t0d0s0 c9t0d0s0
zpool attach -f rpool c8t0d0s0 c9t1d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c8t1d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c9t0d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c9t1d0s0
zpool list
zpool status

format c8t0d0 fdisk create SOLARIS2 99%
format c8t1d0 fdisk create SOLARIS2 99%
format c9t0d0 fdisk create SOLARIS2 99%
format c9t1d0 fdisk create SOLARIS2 99%

zpool create pool1 raidz c8t0d0p2 c8t1d0p2 c9t0d0p2 c9t1d0p2 c10t0d0p2 c10t1d0p2
zfs create -o atime=off -o casesensitivity=mixed -o snapdir=visible -o aclinherit=passthrough pool1/share
zfs set compression=on pool1/share
zfs set recordsize=64k pool1/share
zfs set aclmode=passthrough pool1/share
zfs set sharenfs=on pool1/share
chmod 777 /pool1/share
vi /etc/hosts
share

echo set nfs:nfs_allow_preepoch_time = 1 >> /etc/system
echo set nfs:nfs3_max_threads = 1024 >> /etc/system
echo set nfs:nfs3_nra = 32 >> /etc/system
echo set zfs:zfs_nocacheflush = 1 >> /etc/system
echo set zfs:zfs_txg_timeout = 5 >> /etc/system
echo set zfs:zfs_scrub_delay = 100 >> /etc/system
echo set zfs:zfs_scrub_limit = 1 >> /etc/system
echo set zfs:zil_disable = 1 >> /etc/system
echo set zfs:zfs_vdev_max_pending = 10 >> /etc/system



crontab -e
0  4 * * * svcadm restart idmap
0  * * * * ntpdate pool.ntp.org
svcadm restart cron

pkg install SUNWsmbskr
pkg install SUNWsmbs
init 6
svcadm enable -r smb/server
vi resolv.conf
zfs set sharesmb=on pool1/share
zfs set sharesmb=name=share1 pool1/share

smbadm join -w WORKGROUP
echo  other password required  pam_smb_passwd.so.1 nowarn >> /etc/pam.conf
passwd 既存ユーザ(smbpasswd相当)

smbadm join -u domain_admin DOMAIN
svcadm disable smb/server
svcadm enable -r smb/server
chmod -R A=owner@:full_set:fd:allow /pool1/share
chmod -R A+group@:full_set:fd:allow /pool1/share
chmod -R A+everyone@:read_set:fd:allow /pool1/share

sharemgr show -vp
init 6

useradd -b /export/home/ -g staff -m -s /usr/bin/bash user1
vi /etc/auto_home
usermod -d /home/user1 user1
passwd user1
vi /etc/user_attr

vi /rpool/boot/grub/menu.lst
svcadm disable gdm

visudo
user1   ALL=(ALL) NOPASSWD: ALL
Defaults:user1 !env_reset

mkdir -p /vmfs/volumes
cd /vmfs/volumes/
host=`cat /etc/nodename`
ln -s /pool1/share/ ds_$host

ssh-keygen -t rsa
cd
cd .ssh
vi authorized_keys

dladm show-ether
dladm show-link
ifconfig -a
ifconfig nic1 plumb
ifconfig nic2 plumb
dladm create-aggr -l nic1 aggr1
dladm add-aggr -l nic2 aggr1
ifconfig aggr1 plumb
ifconfig aggr1 123.123.123.124 netmask 255.255.0.0 up
ifconfig nic0 down
dladm add-aggr -l nic0 aggr1
dladm show-aggr
cp /etc/hostname.nic1 /etc/hostname.aggr1
dladm modify-aggr -P L2,L3,L4 aggr1
dladm modify-aggr -l passive aggr1
dladm show-aggr -L
dladm show-aggr -x
init 6

　定期snapshotをcronに登録とか、mail送信用スクリプトを適当にゃ所にコピーとか、定期ディスク表面検査とか、ssh関連とかvisudoとか適時設定のこと。

　OpenSolaris上からRAIDカードの管理ってどうするんかね、と言うわけで。
　AdaptecだとStorManてのがDLできるので解凍するとarcconfにゃるコマンドラインでいろいろできるみたい。
　LSIだとたぶんMegaRAID。

　rpoolをRAID1にするためにパーティションを・・・とか以外とよく分からにゃい。
　
　
　[1st] : 1.5T inst済み
　[2nd] : 1.0T ミラー先
　
　format [1st] fdisk

             Total disk size is 60800 cylinders
             Cylinder size is 48195 (512 byte) blocks
      Partition   Status    Type          Start   End   Length    %
      =========   ======    ============  =====   ===   ======   ===
          1       Active    Solaris2          0  1305    1306      2

　format [2nd] fdisk

             Total disk size is 60800 cylinders
             Cylinder size is 32130 (512 byte) blocks
      Partition   Status    Type          Start   End   Length    %
      =========   ======    ============  =====   ===   ======   ===

　format [2nd] fdisk create SOLARIS2 c 1 X active
　X = 48195 / 32130 * 1306

      Partition   Status    Type          Start   End   Length    %
      =========   ======    ============  =====   ===   ======   ===
          1       Active    Solaris2          1  1959    1959      3

　format [1st] partition print

Part      Tag    Flag     Cylinders        Size            Blocks
  0       root    wm       1 - 1302       29.92GB    (1302/0/0) 62749890
  1 unassigned    wm       0               0         (0/0/0)           0
  2     backup    wu       0 - 1302       29.94GB    (1303/0/0) 62798085

　format [2nd] partition print

Total disk cylinders available: 1957 + 2 (reserved cylinders)
Part      Tag    Flag     Cylinders        Size            Blocks
  0 unassigned    wm       0               0         (0/0/0)           0
  1 unassigned    wm       0               0         (0/0/0)           0
  2     backup    wu       0 - 1956       29.98GB    (1957/0/0) 62878410

　format [2nd] partition 0 root wm 3 Xc
　X = 48195 / 32130 * 1302

Part      Tag    Flag     Cylinders        Size            Blocks
  0       root    wm       3 - 1955       29.92GB    (1953/0/0) 62749890
  1 unassigned    wm       0               0         (0/0/0)           0
  2     backup    wu       0 - 1956       29.98GB    (1957/0/0) 62878410

　format [2nd] partition label
　zpool attach -f rpool [1st]s0 [2nd]s0
　installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/[2nd]s0
　
　とか、こうにゃのかにゃぁ？ いまいち仕組みが分かってにゃい

　opensolarisでディスクの表面検査だが、もうにゃんかもうちょっとマシにゃ物はにゃいんかね。
　zpool scrubするとIO負荷高すぎだし、停止したら最初からやり直しだし。
　formatでパーティション指定したら無限ループするし。
　
　もうddで読んでエラーでにゃきゃもうそれでいいや、ってことで、

dd if=/dev/rdsk/c8t0d0p0  bs=1048576 count=9000000 | wc -c

　とかで。値の9TBは大きい目の数字というだけ。
　ま、このp0でいいのかってのが非常に微妙にゃのだが、s2とか状況に応じてやるしかにゃいか
　ディスクの容量

iostat -En | grep -v "^Vendor:" |grep -v "^Media Error:" | grep -v "^Illegal Request:" | 
sed -e 's/Soft Errors:.*//' -e 's/ bytes.*//' -e 's/ *$//' -e 's/.* //' -e 's/^<//' -e 's/\n//'  | 
while read a ; do read b ; echo $a $b ; done

　とwcの出力を比較すると、一応全容量読んで止まってくれてる感じはするんだよね。まぁあんまし検証してにゃいけど。
　
　
　てことで合わせると、

iostat -En | grep -v "^Vendor:" |grep -v "^Media Error:" | grep -v "^Illegal Request:" |
sed -e 's/Soft Errors:.*//' -e 's/ bytes.*//' -e 's/ *$//' -e 's/.* //' -e 's/^<//' -e 's/\n//' |
while read a ; do read b ; echo $a $b ; done |
while read a b ; do 
dd if=/dev/rdsk/${a}p0 bs=512 count=1 >/dev/null 2>/dev/null || continue
echo $b $a start
dd if=/dev/rdsk/${a}p0 bs=1048576 count=`expr $b / 1024 / 1024 + 1` | wc -c
echo $b $a end
done

　みたいにゃ感じ？
　ddでいいの？って点は大いに不安であるが(笑)

　opensolarisでディスクの表面検査だが、fdiskでパーティションを切ってるとメニューから選択できにゃい。
　format c0t0d0p2
　では通らにゃいし、
　format -p 2 c0t0d0
　でも
　format -d /dev/rdsk/c0t0d0p2
　でも無理にゃんだが
　format /dev/rdsk/c0t0d0p2
　にゃら通る。分かるかこんにゃもん！
　しかもanalyzeメニューでsetupしにゃいとパーティション0の情報か何かが使われる。どんだけ使われてにゃいんだこのコマンド・・・
　
　というわけで、

printf "analyze\nsetup\nn\n\n\n\n1\n\n\n\n\n\n\n\n\nread\ny\n" | format /dev/rdsk/c0t0d0p0

　といった形式で再度作り直し。うーん、これは酷い(笑)
　
　全ディスクはもうどっから取るべきか悩ましいので

iostat -en  | sed -e 's/.* //' | grep [0-9] |
while read a ; do test -e /dev/rdsk/$a && echo $a ; done | sort | uniq

　でにゃんとか。
　
　てことで合わせると、

iostat -en  | sed -e 's/.* //' | grep [0-9] |
while read a ; do test -e /dev/rdsk/$a && echo $a ; done | sort | uniq | 
while read a ; do printf "analyze\nsetup\nn\n\n\n\n1\n\n\n\n\n\n\n\n\nread\ny\n" | format /dev/rdsk/$a ; done

　これで一応全部舐めてくれるかにゃ？
　
　
　
　と思ったら今度は終わらにゃいディスクがある(笑)
　多分analyze - setupのending block numberのデフォ値がおかしい。存在しにゃい所まで読みに行って永遠に終わらにゃい。
　確かに当初の目的は果たしたが、そういう問題じゃねぇ
　パーティションの切り方が悪いんだろうけど、そういわれてもナー
　cat /dev/rdsk/c0t0d0p2 >/dev/null
　とかしたほうがマシか？
　

　OpenSolarisにゃvmでguiが動いてて無駄にゃのでやめたい、とかいう場合の対処法。
　vi /rpool/boot/grub/menu.lst

# splashimage /boot/solaris.xpm
# foreground d25f00
# background 115d93
# kernel$ /platform/i86pc/kernel/$ISADIR/unix -B $ZFS-BOOTFS,console=graphics
kernel$ /platform/i86pc/kernel/$ISADIR/unix -B $ZFS-BOOTFS

　

svcadm disable gdm

　OpenSolarisにゃvmでguiが動いてて無駄だったのでこれをやめようとして

svcadm disable gdm

　したのは良かったのだが、このマシンを再起動するといつまで経っても起動が終わらにゃい。
　原因が分からずいろいろ書き戻したりしたあげく、vmのコンソールで1キー入れると本来のcui login画面ににゃることが判明。つまり正常起動してたけど画面が変化してにゃかったと。
　何という時間の無駄・・・

　OpenIndianaにゃPCでNICの口が余ってたのでリンクアグリゲーションしようと。
　およそnic1がLink UPしててnic2がDownの状態で、

ifconfig nic2 plumb
dladm create-aggr -l nic2 aggr1
ifconfig aggr1 plumb
ifconfig aggr1 xxx.xxx.xxx.xxx netmask 255.255.0.0 up
ifconfig nic1 down
dladm add-aggr -l nic1 aggr1
dladm show-aggr
dladm show-aggr -L
dladm show-aggr -x
dladm modify-aggr -P L2,L3,L4 aggr1
cp /etc/hostname.nic1 /etc/hostname.aggr1
init 6

　みたいにゃ手順にゃんだが、途中でそのnic1をDownさせるのでリモートで実行する場合には一気にやる必要がある。
　で、あとこれはMACやらIPやらのハッシュで使用NICを決める式にゃので、まぁ相手が多いと負荷分散されるかにゃぁみたいにゃ、比較的やる気のにゃい物体。

　Opensolarisにゃ鯖のswap領域って実メモリの半分とかにゃんだが、これってもっと大きい方がいい気がする・・・
　というわけで増量。

zfs set volsize=4G rpool/swap
reboot

　わ、おてがるぅ
　ただし当然rpoolの容量が足りにゃければ無理。
　

zfs create -V 4G pool1/swap2
swap -a /dev/zvol/dsk/pool1/swap2
vi /etc/vfstab

　とかする必要がある

　OpensolarisでZFSにゃ鯖がdestroy snapshotすると瞬時に帰ってこにゃくにゃる。
　所謂メモリ不足すにゃぁ、と思うのだが、諸般の事情でupgradeできにゃかったりとかいろいろ身動きが取れにゃい。
　データ移動して全部やり直すしかにゃいか。うーむ

　Pen4時代の安鯖にHDDx7とかつっこんで、メモリ512MBでOpensolarisというアレにゃ鯖がバックアップ用のnfsストレージににゃってたのだが、ローカルでファイルのハッシュ生成かけたらさっくり落ちた。
　要因がいろいろありすぎるが、いいかげんハードの問題だと思われる。やはりストレージはある程度まともにゃPCで作るべきだにゃぁ

　さいきんのOpensolarisでZFSにゃnfs鯖の作業手順
　1st HDDにinst。最小9Gだが20Gくらいとっとく。
　GUIで適度にIPとか変更。
　以下の順に必要にゃ物だけ実行

cat /etc/nsswitch.dns > /etc/nsswitch.conf
ntpdate pool.ntp.org
pfexec pkg install SUNWipkg
pfexec pkg image-update
init 6

echo | format
       0. c8t0d0 <DEFAULT cyl 290 alt 2 hd 255 sec 252>
       1. c8t1d0 <DEFAULT cyl 291 alt 2 hd 255 sec 252>
       2. c9t0d0 <DEFAULT cyl 291 alt 2 hd 255 sec 252>
       3. c9t1d0 <DEFAULT cyl 291 alt 2 hd 255 sec 252>
       4. c10t0d0 <DEFAULT cyl 291 alt 2 hd 255 sec 252>
       5. c10t1d0 <DEFAULT cyl 291 alt 2 hd 255 sec 252>
format c8t1d0 fdisk create SOLARIS2 10GB(シリンダで指定)
format c9t0d0 fdisk create SOLARIS2 10GB(シリンダで指定)
format c9t1d0 fdisk create SOLARIS2 10GB(シリンダで指定)
format c10t0d0 fdisk create SOLARIS2 10GB(シリンダで指定)
format c10t1d0 fdisk create SOLARIS2 10GB(シリンダで指定)
但しHDDによってセクタ/シリンダとか違ってくるので違うHDD間でミラーする時は注意
format -e c8t1d0 label SMI
format -e c9t0d0 label SMI
format -e c9t1d0 label SMI
format -e c10t0d0 label SMI
format -e c10t1d0 label SMI
prtvtoc /dev/rdsk/c8t0d0s2 | fmthard -s - /dev/rdsk/c8t1d0s2
prtvtoc /dev/rdsk/c8t0d0s2 | fmthard -s - /dev/rdsk/c9t0d0s2
prtvtoc /dev/rdsk/c8t0d0s2 | fmthard -s - /dev/rdsk/c9t1d0s2
prtvtoc /dev/rdsk/c8t0d0s2 | fmthard -s - /dev/rdsk/c10t0d0s2
prtvtoc /dev/rdsk/c8t0d0s2 | fmthard -s - /dev/rdsk/c10t1d0s2
zpool attach -f rpool c8t0d0s0 c8t1d0s0
zpool attach -f rpool c8t0d0s0 c9t0d0s0
zpool attach -f rpool c8t0d0s0 c9t1d0s0
zpool attach -f rpool c8t0d0s0 c10t0d0s0
zpool attach -f rpool c8t0d0s0 c10t1d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c8t1d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c9t0d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c9t1d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c10t0d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c10t1d0s0
zpool list
zpool status

format c8t0d0 fdisk create SOLARIS2 99%
format c8t1d0 fdisk create SOLARIS2 99%
format c9t0d0 fdisk create SOLARIS2 99%
format c9t1d0 fdisk create SOLARIS2 99%
format c10t0d0 fdisk create SOLARIS2 99%
format c10t1d0 fdisk create SOLARIS2 99%

zpool create pool1 raidz c8t0d0p2 c8t1d0p2 c9t0d0p2 c9t1d0p2 c10t0d0p2 c10t1d0p2
zfs create -o atime=off -o casesensitivity=mixed -o snapdir=visible -o aclinherit=passthrough pool1/share
zfs set compression=on pool1/share
zfs set recordsize=64k pool1/share
zfs set aclmode=passthrough pool1/share
zfs set sharenfs=on pool1/share
chmod 777 /pool1/share
vi hosts
share

echo set nfs:nfs_allow_preepoch_time = 1 >> /etc/system
echo set nfs:nfs3_max_threads = 32 >> /etc/system
echo set nfs:nfs3_nra = 32 >> /etc/system
echo set zfs:zfs_nocacheflush = 1 >> /etc/system
echo set zfs:zfs_txg_timeout = 5 >> /etc/system
echo set zfs:zil_disable = 1 >> /etc/system

crontab -e
0  4 * * * svcadm restart idmap
0  * * * * ntpdate pool.ntp.org
svcadm restart cron

pkg install SUNWsmbskr
pkg install SUNWsmbs
init 6
svcadm enable -r smb/server
vi resolv.conf
zfs set sharesmb=on pool1/share
zfs set sharesmb=name=share1 pool1/share

smbadm join -w WORKGROUP
echo  other password required  pam_smb_passwd.so.1 nowarn >> /etc/pam.conf
passwd 既存ユーザ(smbpasswd相当)

smbadm join -u domain_admin DOMAIN
svcadm disable smb/server
svcadm enable -r smb/server
chmod -R A=owner@:full_set:fd:allow /pool1/share
chmod -R A+group@:full_set:fd:allow /pool1/share
chmod -R A+everyone@:read_set:fd:allow /pool1/share

sharemgr show -vp
init 6

useradd -b /export/home/ -g staff -m -s /usr/bin/bash user1
vi /etc/auto_home
usermod -d /home/user1 user1
passwd user1
vi /etc/user_attr


vi /rpool/boot/grub/menu.lst
svcadm disable gdm

visudo
user1   ALL=(ALL) NOPASSWD: ALL
Defaults:user1 !env_reset

　定期snapshotをcronに登録とか、mail送信用スクリプトを適当にゃ所にコピーとか、定期ディスク表面検査とか、ssh関連とかvisudoとか適時設定のこと。

　RAIDカード直結にゃ2U鯖にHDD放り込んでOpenSolarisでZFSしてたのだが、いきにゃり止まった。で、インジゲーターが点灯してたのでHDDの1つが死んだのは確かにゃのだが、それで何故OSが止まるのか、というわけである。
　いーろいろ実験してみたら、例えばRAID1にOpenSolaris入れて稼働中に1台引っこ抜いたらOSごと凍ることが分かった。にゃにそれ意味にゃい。
　
　ということでどうもドライバか何かの都合でRAIDカード側は生きてるがOS側がアクセスできずに死ぬぽい。これは酷い。他のOSにゃら問題にゃく動く。
　
　で、解決方法が見えにゃいんだが、もしかすると全てRAID解除してZFSでRAIDすれば良いのかもだが、grubまで含めて実は結構めんどくさい。
　あとはzfsに拘るにゃらBSD系のFreeNASあたりににゃるだろうか。Linuxでbtrfsというのも試してみたいがちょっとまだ不安定そうにゃイメージが付きまとう。
　ドライバに関してはWinが最強にゃのだがFSがプアにゃのでまともにsnapshotとか使いたければHyper-Vにゃどで仮想化するしかにゃい。
　
　実にどれも微妙にゃのだがどうしたものやら。

　opensolarisでNICのスループットを表示

dladm show-link -s -i 1 e1000g0

　とかで。

dladm show-link -s -i 1 bge0 | perl -nple 's/(\d{1,3})(?=(?:\d\d\d)+(?!\d))/$1,/g;;pr'

　で多少見やすくにゃるにゃ

　opensolarisを新規に入れる機会があったので、とりあえずpfexec pkg image-updateして5.11 snv_134bにしてzpool zfs upgradeしてzfs create -o dedup=onでいろいろファイルコピー。
　ここまでは大変調子が良かった。
　compressはoffだが、そんにゃに速度も低下しにゃいように見えるし、dedup率も1.5〜2程度ににゃった。
　が
　deleteが致命的に遅い。
　ファイル削除するのに数時間かかっててこりゃダメだと放置してたらハング。
　これは酷いってことでzfs destroyかけたらこれまた数時間しても終わらにゃい。zpoolを消すべきだった。
　rreadが大量に出て遅くにゃってるようにゃので、SSDにゃらある程度瞬時に消せるのかもしれにゃい。
　
　ということでよほどものすごい削減効果があるとかじゃにゃい限り、特にvmdkにゃどの巨大ファイルをdedupにゃzfsに置くと、かにゃり死ねる結果が待ってる気がする。

　opensolarisのnfsdに、ESXやLinuxからアクセスしたい場合の設定メモ。
　
　とりあえずまずESX側は設定項目がにゃいのでそのまま。
　opensolaris側はname引き出来るようにするか/etc/hostsに書いとくのと、

set nfs:nfs3_max_threads = 32
set nfs:nfs3_nra = 32
set zfs:zfs_nocacheflush = 1

　とかを/etc/systemに。
　
　で、めんどくさいのがLinux。
　Ubuntu64の場合ににゃるが、当該ユーザ又は新規ユーザをUID=4294967294, GID=4294967294に。これでopensolaris側でnobodyににゃってESXと一致する。
　あとオマケとしてesx側と同じ位置にマウントしておくと便利である。
　fstabの例としては

nfs_host:/dir/dir  /vmfs/volumes/ds_name  nfs4 rw,rsize=65536,wsize=65536,hard,intr 0 0

　とか。オプション部分は必要に応じて変える。

　opensolarisにゃZFSのNASをマウントしてるESX鯖、NASのI/Oがbusy過ぎるとタイムアウトしちゃう。
　これはどっちかというとNAS側というかnfs的問題ぽい。
　で、busyはnfsだけではまず起きにゃくて、NAS上で猛烈にゃcpとかをしてるとnfsの応答が5秒とか10秒とかすごいことににゃるみたい。
　まぁそんにゃ頻繁にローカルでcpしたいわけじゃにゃいけど、とりあえず困ったので、
　cp hoge &
　while : ; do sleep 1 ; kill -STOP %1 ; sleep 1 ; kill -CONT %1 ; done
　にゃどという嫌にゃ回避方法でにゃんとかした。
　iostat -nex 1
　を見てるとどうもwriteでHDDが長時間busyににゃってるみたいにゃんだけど、これはハードに近いところのwrite back cacheとかかねぇ

　OpensolarisにゃZFS鯖。

       NAME        STATE     READ WRITE CKSUM
       pool1       ONLINE       0     0     0
         mirror    ONLINE       0     0     0
           c7t3d0  ONLINE       1     0     0
           c7t4d0  ONLINE       0     0     0

　みたいにゃのが出てたけど放置してたら、今度はハングした(笑)
　うーむ、そこは止まらにゃいで欲しいのだが。
　んでリセットかけたら、

        NAME        STATE     READ WRITE CKSUM
        pool1       DEGRADED     0     0     0
          mirror    DEGRADED     0     0     0
            c7t3d0  DEGRADED     0     0    97  too many errors
            c7t4d0  ONLINE       0     0     0

　みたいにゃことに。
　そりゃまぁtoo manyだわにゃ。しかもcksumってどういう・・・。ZFSじゃにゃかったら酷いことににゃっていたのか、それとも・・・
　それにしてもこの鯖、一応高価にゃRAIDカードが載ってて、RAIDカードでミラーしたらディスクエラーでハングしたので、ZFSでミラーしたらそれでも止まったわけだが、いったいどうしろと・・・

　Opensolarisの安定版使っててそれにゃりに安定動作してるのだが、ふと思い出してupgradeかけてみたら、大量にDLされてどうやらdedupとか使える版にまで昇格するぽい。
　で、つい勢いでそこいらの鯖にupgradeかけちゃったのだが、zpool upgradeすると凍る鯖がある(笑) 怖いわっ！　まぁgrubでsnapshot選べるのでWinみたく深刻ではにゃいが。
　あとupgradeしようとしたら容量不足ってのが時々あるにゃ。思ったより/の容量は多めに確保しとかにゃいとダメということらしい。
　
　ま、動いてるものは触らにゃいの原則で運用すべきですにゃ。

　Opensolarisのβにゃvmでdedup=onにゃZFSにファイルコピーしてバックアップ鯖にしてたんだが、大量ファイルコピーすると凍るようににゃった。いまいち原因不明。多分バグ。
　該当pool捨てたら一応動いてるけど以前から感じ悪いのでnexentaやfreenasに浮気する予定。

　NASっぽい鯖の定期jobと言えばディスクの表面検査だが、opensolarisでZFSにしてると、scrubはあれどscanは無いという・・・わけで手動でやるしかにゃいみたい。
　
　とりあえず
　printf "analyze\nread\ny\n" | format -d c8t1d0
　みたいにゃので動くようにゃので、全ディスクを
　echo | format | sed -e 's/^ *//g' |grep "^[0-9]" | sed -e 's/^[0-9]*\. //g' -e 's/ .*//g'
　で取得して、
　echo | format | sed -e 's/^ *//g' |grep "^[0-9]" | sed -e 's/^[0-9]*\. //g' -e 's/ .*//g' | while read a ; do printf "analyze\nread\ny\n" | format -d $a ; done
　でとりあえず動いてるが、このままcronにつっこむかどうかはちょっと考えるにゃぁこれ

　実家に投入してみたopensolarisのファイル鯖、結局10tの容量を使い切る前に不具合多しで廃棄。
　まず使ったHDDが悪かった。HITACHI HDS722020ALA330は7200rpmの2tとしてはおいしい物体にゃんだが、猛暑の部屋に放置する低負荷静音鯖には明らかに向いてにゃい。でもWDのWD20EARSは4kセクタがどうのって話が気持ち悪かったんよね。特に2009にゃopensolarisでどうにゃのってのが。多分問題にゃかっただろうけど。
　次に本体のML115がうるさいのはもう仕様にゃのだが、高温を検知したケースファンが全力動作しちゃってもう大変。まぁそのまま温度が上がり続けるよりはいいんだけど、結果的に全体が負圧ににゃりすぎて電源ファンが空転する形ににゃり、電源温度も一緒に上がるんだよねー
　それからopensolarisの不具合。これもそれにゃりにfixされているはずにゃんだがupdateで来にゃいんだよね。手動でやれということか。めんどすぎる。で、fixされてるのかどうか知らんが、まずsambaのtimestampの扱いが変。ms以下を拾ってにゃいとかよく分からん。まぁLinuxのsambaもそうにゃのかもしれんが。それからZFSのCIFSにするとディレクトリの日本語ファイルエントリが時々listされにゃい。move * hoge\ & dirすると1ファイルのこってたりとか、そんにゃls結果が信用できにゃいファイル鯖どうやって使えと？
　あとまぁsmartctlがいまいち完全に動いてくれにゃいとか、細々した問題もあって、snapshotの有用性と天秤にかけてもこりゃダメダナってことで廃棄決定。

　OpenSolarisでRAID1を作ってみる。

install
GUIで適度にIPとか変更。
cat /etc/nsswitch.dns > /etc/nsswitch.conf
ntpdate pool.ntp.org
pfexec pkg install SUNWipkg
pfexec pkg image-update
init 6

format fdisk c8t0d0 create partition 2
prtvtoc /dev/rdsk/c8t0d0s0 |  fmthard -s - /dev/rdsk/c8t1d0s0
zpool attach -f rpool c8t0d0s0 c8t1d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c8t0d0s0
installgrub /boot/grub/stage1 /boot/grub/stage2 /dev/rdsk/c8t1d0s0
zpool list
zpool status

format fdisk c8t0d0 create patition 2
format fdisk c8t1d0 create patition 2
zpool create pool1 c8t0d0p2 c8t1d0p2 c9t0d0 c9t1d0 c10t0d0 c10t1d0
zfs create -o atime=off -o casesensitivity=mixed -o snapdir=visible -o aclmode=passthrough -o aclinherit=passthrough pool1/share
zfs set sharenfs=on pool1/share

echo set nfs:nfs_allow_preepoch_time = 1 >> /etc/system
echo set nfs:nfs3_max_threads = 32 >> /etc/system
echo set nfs:nfs3_nra = 32 >> /etc/system
echo set zfs:zfs_nocacheflush = 1 >> /etc/system
echo set zfs:zil_disable = 1 >> /etc/system

crontab -e
0  4 * * * svcadm restart idmap
0  * * * * ntpdate pool.ntp.org
svcadm restart cron

pkg install SUNWsmbskr
pkg install SUNWsmbs
init 6
svcadm enable -r smb/server
zfs set sharesmb=on pool1/share
zfs set sharesmb=name=share1 pool1/share
smbadm join -w WORKGROUP
echo  other password required  pam_smb_passwd.so.1 nowarn >> /etc/pam.conf
passwd 既存ユーザ(smbpasswd相当)

vi resolv.conf
share
chmod 777 /pool1/share
sharemgr show -vp
vi resolv.conf
reboot

若しくは
smbadm join -u domain_admin DOMAIN
svcadm disable smb/server
svcadm enable -r smb/server
chmod -R A=owner@:full_set:fd:allow /pool1/share
chmod -R A+group@:full_set:fd:allow /pool1/share
chmod -R A+everyone@:read_set:fd:allow /pool1/share

　ただしあちこちbuggyというか、やっぱダメだこのOS

　Blastwaveのhowtoを読んで
　pkgadd -d http://download.blastwave.org/csw/pkgutil_i386.pkg
　とかしといて、

svcadm disable smb/server
svcadm disable samba
/opt/csw/bin/pkgutil -U
/opt/csw/bin/pkgutil -a | grep samba
/opt/csw/bin/pkgutil -i samba
/opt/csw/bin/smbd -b
/etc/opt/csw/samba/smb.conf
/opt/csw/bin/smbpasswd -a hoge
a=(cswnmbd default cswwinbindd cswsmbd);for i in ${a[@]}; do svcadm restart cswsamba:$i; done

　あたりでにゃんとか。これで良いのかどうか不安だが。
　ひとまず、readonlyのファイルがrename出来にゃいバグは治ってたが、タイムスタンプの問題は変わってにゃいにゃあ

　zfsのCIFS共有からsambaに切り替えたものの、あちこち動作がおかしい。
　1つはタイムスタンプの扱い。
　unix系はcreate timeが無い、とかはまぁいい。NTFS側のWrite timeがsamba@zfsの全timestampに反映されるにゃらそれもいいだろう。
　が、にゃぜかCreate timeを読み出すとms以下が0ににゃってやがる。しかもWrite time他はちゃんと読めているにもかかわらずだ。当然ZFS側には正常に反映されている。
　/usr/gnu/bin/ls --full-time
　すれば分かる。
　が、samba経由で読み出すと0ににゃる。つまりWinからsolarisに日付の新しいファイルのみ更新コピーすると、毎回コピーされるわけで、もうアホかと。
　
　さらに、ファイルをreadonlyにすると、何故かrename出来にゃくにゃる。どう見てもsambaのバグにしか見えにゃい。
　# smbd -V
　Version 3.0.34
　らしいが、バグfixにゃpatchはupdateされてにゃいということかこれ。

　opensolarisのZFSにゃCIFS共有がどうも怪しいので、sambaに切り替えてみる。
　
　svcadm disable -s smb/server
　zfs set sharesmb=off pool1/share
　pkg install SUNWiconv-extra
　pkg install SUNWiconv-unicode
　pkg install SUNWsmba
　cd /etc/sfw/
　cp smb.conf-example smb.conf
　chmod 644 smb.conf
　vi smb.conf

unix charset = UTF-8
dos charset = CP932
display charset = UTF-8
ea support = yes
store dos attributes = yes
fake oplocks = yes
workgroup = WORKGROUP

　smbpasswd -a hoge
　svcadm restart samba
　他にもありがちにゃsambaのパラメータは設定した方が良いみたい。aclとかattribの関係で既存ファイルとの兼ね合いがあるはず。というかCIFS側で書き込んだファイルのreadonlyとかがsamba側のea supportで反映されてにゃい。FS上では別のxattrで書き込んでるとかにゃんだろうか。面倒にゃことを・・・
　まぁとりあえずCIFSの怪しい挙動は無くにゃった。
　
　
　尚、
　fake oplocks = yes
　は、ディレクトリのファイル数が増加した場合に悲惨に遅くにゃるのでとりあえず放り込んだがあまりよろしくにゃいわにゃ。sambaってどうしてこう・・・
　
　あと、タイムスタンプの扱いがどうも怪しい。ctime mtime atimeがそのまま反映されてにゃかったり、ms以下が0ににゃってたり・・・にゃんだかにゃぁこれ。Winから日付新しい物だけcopyってすると、毎回コピーされるファイルとかが出てきて異常にゃ動作。

　opensolarisのZFSにゃCIFS共有はどうも怪しい。
　2バイト文字というかUtf8？にゃファイル名が並んでるディレクトリで、dirすると1ファイル抜けて表示される。コンソールだと存在しているし、ファイル名を短くしたり、ファイル数を変えると復帰するか、別のファイルが見えにゃくにゃる(笑)
　必ず特定のファイル名が消えるとかにゃらともかく、
　md tmp
　するだけでファイルが復帰するとか、別のファイル名が消えるとか、どんにゃ怪しげにゃことににゃってるのか想像が付かにゃい。
　zfsでshareするだけで便利！と言いたい所だがこりゃマズいねぇ
　
　一応CIFS関連ということで、normalizationやutf8only、casesensitivityも触ってみたけど、関係にゃさげ。まぁそりゃそうか。

　OpenSolarisのidmapdがメモリリークしてる。
　とりあえず、crontab -eして

svcadm restart idmap

　とかを放り込んでおいたが・・・って過去にもあったにゃ。