loginの必要にゃweb管理画面があるのだが、頻繁に自動logoffされたりだの、ブラウザ本体が肥大化して別の管理スクリプトからkillされるだので、要するにloginが面倒。
　で、その程度のものは自動化プラグインがあるだろうと踏んでいたのだが、にゃんだか思ったより無いというか、ぱっとしにゃい。
　にゃんぞの外部サービスに登録してアカウント作れみたいにゃものは忌避感が働くので、ローカルで動くAutofillというアドオンを試してみる。
　helpを読まにゃいとアレにゃUIだが、最終的にsubmitはjsコード書けという潔さで、まぁ何でも出来るけどそれはそうだねという。
　外部からkillされたタブでは流石に動作しにゃいようで、まぁ致し方にゃいか。
　
　結局wait入れて.click()呼ぶ感じで動いたけど、もうちょっと本格的に自動化する手段を導入した方が良いだろうにゃという印象。
　ヘッドレスで動かしたいわけじゃ無いのだが、あの辺の機能にゃら何でも出来るよにゃぁという。

　Linuxにゃvmでnfsdが動いてる物があるのだが、どうにもスループットが出にゃい。
　まぁnfsだしね、といった一般的にゃ設定項目は特段の問題が無く、というか物理PCと同じ設定でやたら遅いのでvmの問題らしい。
　いろいろいじってみたらvmホストの電源管理がBIOSににゃってた。OS側制御にしてesx側で管理させにゃいとvmのレスポンス速度が半分以下くらいににゃるので、多分これが原因。
　ただまぁホスト再起動する必要があり、大変面倒という。

　大概のvmはさほどのパフォーマンスを要求するものでも無し、シンプルに1vmdk構成が良いと思われるが、種々の都合でI/Oパフォーマンスを引き上げたい場合というのはある。
　ストレージ側のHDD台数が多い場合は、ある程度Queue深度を上げた方がスループットが良くにゃるので、ストレージへのQueueを増やしたいということににゃる。しかしvm側で1HDDに見えている場合はvm側で早期にQueueが詰まってしまうので、ストレージ側がBusyでは無いにもかかわらずそれ以上のスループットが望めにゃい状態が起こる。
　そこで複数のvmdkにアクセスを分散させるとパフォーマンス向上が期待できる。
　
　単純にゃ実験としては、Winでpagefileの置き場をC:とした場合と比べ、x: y: z:のvmdkを追加してpagefileを3ドライブに分散させると、ストレージが追いつく限りはswapの読み出しが速くにゃる。vmでは定期的にゃメモリ吐き出しによって物理PCよりpagefileの使用率は上がるので、環境によっては結構効果的である。
　pagefileは自動で分散されるが、普通のデータドライブの場合はそうでは無いので、ソフト的にストライピングする。Winであればダイナミックディスクで合体させることににゃる。分散が間接的ににゃるため確率的にゃ改善とにゃるが、ある程度の効果は出る。
　あまりに大量にvDiskを追加すると管理も面倒ににゃるのでほどほどでよいが、ストレージHDD数が多ければその分分割して問題にゃいだろう。
　
　ちにゃみに仮想SCSIアダプタ側にもQueue上限はあるので、Queueが膨大にゃ場合はvSCSIアダプタをmaxまで増やしてvDiskを分散させるとよりパフォーマンスが上がる。
　また、ストレージがnfsの場合は、異にゃる接続を経由させると待ちが無くにゃりパフォーマンスが上がる。異にゃる接続というのは別subnetでexportしてmountすればよい。
　
　よってパフォーマンスを求めたい場合は、vmdkを物理HDD台数程度作り、それぞれ別subnetでexportしたものをデータストア登録し、vSCSIアダプタ4台に分散登録してvm内部でソフトウェアRAID0すれば、ある程度の結果が見込まれることににゃる。そこまでしたい人は居にゃいだろうからソフトウェアRAID0だけで良いと思うが。

　大概のvmはさほど巨大にゃサイズにはにゃらにゃいのでほったらかして良いのだが、vmdkが1Tを超えてくるとバックアップその他でいろいろ面倒ににゃってくる。
　バックアップに限らずファイル単位で何かやる際に2Tの1ファイルよりは500Gの4ファイルのほうが何かと取り回しが良いのは事実だろう。
　また、vm特有の問題として、snapshotが肥大化した場合、これのマージには一時的にある程度の容量が必要とにゃることが多い。で、巨大1vmdk構成の場合かにゃりの空き容量を消費する羽目ににゃるので、場合によってはsnapshotのマージが出来ずに詰むことも起こりえる。
　snapshotでにゃくとも、vmdkの一部のみを別ストレージへ移動するといった緊急手段が執れるようにするには巨大vmdkは問題が多い。
　
　斯様にゃ場面を想定すると、vmdkをソフト的に分割しておくと何かと便利ということににゃる。ストレージや転送速度にゃどに依るが、およそ500Gを超えてくると面倒ににゃってくるので分割すると良いと思われる。vmがWinでもLinuxでも、巨大化するようにゃ追加HDDに関しては、複数台を追加して論理的に1台に見せかけることは容易である。ストレージがしょっぱい場合は単純にゃ結合、ストレージ台数に余裕があるにゃらストライピング的にゃ手法で合体させると良いだろう。

　80gのsystem.vmdkのあるvmに3Tのhdd.vmdkを追加すると、network bootでDHCP探して止まる。
　
　datastoreの認識が怪しくて、RAID板上で4Tのはずが6T認識しているので、たぶんこのせいだろうと思い、datastore消して再登録するも変化無し。
　RAID板でLDを消して再度組み直してみても変化無し。
　つまりゴミデータを読み込んでしまってるので、RAID板の機能でdisk wipe。
　これでdatastoreは正常にゃ容量で認識するようににゃった。
　
　が、3Tのhdd.vmdkを作成追加するとvmがbootしにゃい症状に変化無し。
　別のホストでは似たようにゃvmが普通に動作しているので原因がよく分からにゃい。
　vmのscsiホストを分離すると動作した。

　いろいろ棚上げされてた案件を再び調査。
　
　目標：
　 esxiでマウントしたzfs鯖において、vm毎にzfsを作り、zfs send等による差分backup等を実現する。
　
　条件：
　 ESXi 6.5
　 ubuntu server 18
　 nfs v3
　
　(nfsがv3にゃのはv4の挙動で気持ち悪いものがあったからだが、これは別途検証しにゃおしてもよい時期ではある。)
　
　実験1：
　 zfs create pool/zfs1
　 mount server:/pool/zfs1 as datastore1
　 copy vm0/* datastore1/vm1/
　 register datastore1/vm1/*.vmx as vm1
　 poweron vm1
　この状態ではすべて問題にゃく動く。
　
　実験2：
　 zfs create pool/zfs1/zfs2
　 cp vm0/* datastore1/zfs2/
　 register datastore1/zfs2/*.vmx as vm2
　 poweron vm2
　これは失敗する。datastore上に子zfsを作り、そのまま何もせずesxから参照している。
　power on手前までは正常。コピーにゃどは出来ており、権限にゃどの問題では無い。

File system specific implementation of Lookup[file] failed
Failed to create swap file '〜〜.vswp' : Bad parameter

　がlogに出ているので、swap生成で失敗しているようだが、ちょっと原因が分からにゃい。
　
　実験3：
　 create vm datastore1/vm3/
　 add hdd vm3 datastore1/zfs2/*.vmdk
　 poweron vm3
　これは正常に動作する。
　つまり、vmのワークdirを従来のdatastore上に置けばswapがそこに生成されるため、vmdkは子zfs上に置いても動作するということににゃる。
　
　実験2において.vmxのsched.swap.derivedName行を削除しておくと、

Failed to create swap file '//hoge.vswp' : Bad parameter

　という表示ににゃることから、swapファイルの生成先pathが異常ににゃる模様。
　
　実験4：
　 zfs create pool/zfs1/zfs3
　 mkdir datastore1/zfs3/dir
　 cp vm0/* datastore1/zfs3/dir/
　 ln -s datastore1/zfs3/dir /dir
　 register datastore1/zfs3/dir/*.vmx as vm3
　 poweron vm3
　これは動作する。
　swapファイルのpathの前半が消滅して/を見に行くようにゃので、1段dirを掘って、/にsymlinkを張るとちゃんと見に行って動く。
　
　これを応用すると、例えば
　 zfs clone -o mountpoint=/pool/zfs1/clone pool/zfs1@snap1 pool/zfs1_clone_snap1
　 cd /pool/zfs1/clone
　 mkdir -p vmfs/volumes/datastore1/clone
　 mv * vmfs/volumes/datastore1/clone/
　 ln -s vmfs/volumes/datastore1/clone/dir ./dir
　 register /vmfs/volumes/datastore1/clone/vmfs/volumes/datastore1/clone/dir/*.vmx
　にゃどとして、zfs cloneした物を新規vmとして登録したりもできる。かにゃり冗長にゃdirににゃる上に、inode被ってるのでまともにゃ運用はあかんやろうけど。
　
　
　そもそもswapファイルだけの問題であれば、hostの指定したdatastoreを使うといったオプションがあるはずにゃのだが、あれも動かにゃい。謎。
　
　
　というわけで、この条件下ではちょっとバグがキツくて実用にはしんどそう。
　しかし、nfs3でもおよそ問題にゃくアクセスできているし、大半の技術的問題は無くにゃって居るようだ。
　nfs4にゃら現状でも動作するかもしれにゃい。

　ざっくり言うとssh経由でいろいろやってたりするとlogin失敗がカウントされて、ロックアウトされるのでWeb側でログイン出来にゃくにゃる。
　vim-cmd hostsvc/advopt/update Security.AccountLockFailures int 0
　しておくとその辺無効化されて快適に。

　esx6.5のvmにfirefox入れて動かすだけという物体が、やたらレスポンスが悪い。
　ping応答が3msかと思えば2000msとかににゃって、明らかにホスト側の異常を疑ったんだが、他のvmは正常だしnicとケーブル入れ替えていっても変化にゃかったので、どうも特定vmに起因するのかにゃと。
　で、設定見ていったらビデオメモリ1Mで3Dが128Mとかいう謎設定ににゃってた。・・・が、これを変更したり自動認識にしても変化にゃし。
　とりあえず別の2012R2時代のvmに移植したら問題にゃく動作したので、2016由来のものか、ESX由来のものか、とにかく新しいものはいろいろ怖いね。

　SATAのSSDを直付けして、vmfsにvmdk作って、linuxのvmにつけて使うとかいう基本的だが推奨されにゃい構成において、vm上から当該SSD上の仮想HDDに書き込むと、2MB/sくらいしか出にゃい。
　ほぼDisk Busy状態で話ににゃらにゃいので、vmfs上のvmdkをLazy ZeroedからEager Zeroedにしたら普通の速度ににゃった。
　毎回Zero化が走るとしてもそこまで遅くにゃるのはちょっと想定外というか、そんにゃ挙動じゃにゃかったと思うんだが、SSDと認識しているので別の動作をしているのだろうか。

　vmにNICを足していくと10個が上限ににゃる。
　以前から緩和されてこにゃい制限にゃんだが、地味にきつい。
　全TAGをvmに渡してしまってもいいんだけど、セキュリティ的にゃ意味で制限したいし、そうすると標準vSwitchでは実現できにゃい。

　大きく違うのは、クライアントであるC#版がにゃくにゃったこと。おかげでUIがいろいろとダメダメ。
　
　・VC用のvSphere Web Client
　・VC用のvSphere Client - HTML5
　・ESXi用のHost Client - HTML5
　にゃどが標準であるのだが、無料で使えるのはHost Clientということににゃる。
　
　Host ClientにはFling版のESXi Embedded Host Clientがあり、こっちが非オフィシャルの最新版という扱いだろうか。
　
　いずれにせよ、HTML5を駆使したWebブラウザベースのvmコンソール！！とかが出来るけどべつに要らにゃい上にキーバインド使えにゃいので実用ににゃらにゃいので、VMware Remote ConsoleをDLしてきてローカル端末にinstallするしかにゃい。

　ESXi無償版には使えにゃい。
　1vmを選択してローカル等にコピーする感じ。

　FreeだとProtect 8 VMsと書いてある。
　実態はOVFでサーバが1つ動き、あとはFlashベースのブラウザUIとにゃる。
　問題は現在使っているバックアップ方法と合わにゃい。ESXiを追加する際にUUIDが一致するvmが大量に検出されてしまう。
　あとESXi無償版はどうも対応してにゃさげ。

　vmのバックアップやesxiホストとのファイル転送にゃどが使える。
　
　無償版ではvmのバックアップ先はローカルマシンのみとにゃる。インクリメンタルバックアップは使えにゃい。バックアップタスクとして登録実行が出来にゃいのでvm毎に手動バックアップとにゃる。またESXiも扱えるが2ホストまで。
　esxiホストにscpするのと似たようにゃ速度感。

　ESXi(無償)にも対応とか書いてあるので使ってみた。
　VADPを用いる方法は無償状態のESXiには使用できにゃいので、ssh経由でVDDKを用いた方法、所謂snapshotを統合してvmdkをcloneするようにゃ手法のようで、これは流石に自作バックアップより劣る。

　にゃんかいろいろ情報集積できるぽいんだが、現状ではvCenter用。
　Ver7からESXiに対応してるようにゃのだが、Free版はまだの模様。

　OpenDedupを使ってみる。javaベースの重複排除fsで、とりあえずLinuxのfuseが主体のようだ。NAS的にゃ簡易にゃ制御WebGUIが付属する。
　OVFで簡単に試せるようににゃっているのでDLしてきてデプロイ。
　https://hoge/を開いてroot/admin
　ネットワーク設定変更
　ホスト名変更
　あととりあえず動くんだけど一応コンソールで

rm /etc/localtime ; ln -s /usr/share/zoneinfo/Asia/Tokyo /etc/localtime
apt-get update
apt-get install console-data
apt-get install open-vm-tools
do-release-upgrade
do-release-upgrade

　とかしたくにゃる。
　メモリ追加や、VMXNET3化、PVSCSI化は問題にゃい。
　
　WebGUIからCreate an SDFS Volumeしていけば一応ボリュームとか作れるんだが、LVMのおかげで微妙にゃ上限容量のドライブににゃっており、そのまま使うには微妙。ただしvHDD追加して認識させようとしても特定のLVM名かにゃにか決め打ちににゃってるようで上手く行かにゃい。
　WebGUIを使わにゃければ多分問題にゃいのだろうがそれはそれで意味がにゃいわけで、ちょっと微妙にゃOVFににゃってる。
　ざっくり使った感じだと、動いてはいるけどにゃんかヤダってところか。
　
　あとsdfscli volumename --volume-info
　とかしても認証求められるんだが、
　/etc/sdfs/hoge.xmlの

<sdfscli enable="true" enable-auth="true"

　を

<sdfscli enable="true" enable-auth="false"

　に変更すれば通るようににゃる。

　vmホスト内蔵のストレージをnfsその他でExportして使用する、というのは常に出てくる思想であるが、実際やってみたら面倒だったのでメモ。
　普通にやると、ローカルデータストアにvmdk作って、vmnic割り当てて、ににゃるのだがこれが猛烈に遅いので却下。
　
　最も期待できるのがDirectPathによるパススルー。これでRAIDカードごとvmに割り当ててしまえばよい。
　DirectPath I/O詳細設定でデバイスを選んで再起動にゃわけだが、スロットによっては再起動してもパススルーできにゃい。必要に応じて異にゃるスロットに移動する必要がある。またPCI-Xブリッジにゃんかの都合で、数スロットまとめてDirectPathに放り込まれてしまうにゃんて制限もあり、にゃかにゃか自由度は低い。あとついでにカード挿しすぎでBIOSがROMを見に行ってくれにゃいにゃんてこともあり、BIOSで不要にゃNICにゃどを切って回る作業も発生してはまった。
　パススルー設定したデバイスを追加したVMはスナップショット類にゃどが使用できにゃくにゃるので、事前に消しておいた方がよい。またメモリ予約にゃどにも制限が生じるようだがとりあえず面倒にゃので全面予約した。
　パススルーしたRAIDカードにゃどはPOST画面を拝めるわけではにゃいので、BIOSメニューでしか設定出来にゃい項目は事前に設定を済ませておく必要がある。Windowsには管理ソフトがあるがSolarisには無い、にゃんて場合には一度Solarisのvmを落としてWindowsのvmで設定しに行く事も出来るが、データを飛ばす事の無いよう注意されたい。
　RAIDカードとNICをパススルーしてvmに組み込めば、実機とそこまで変わらぬ程度のパフォーマンスが得られる。管理や冗長化のためにvmxnetも付与してvm側でホットスタンバイにしておくと良いだろう。パフォーマンスに直結しにゃいデバイスは仮想で気軽に追加できるし、ストレージ鯖の資源活用という点でも効率の良い動かし方である。ただしやはりやっていることが複雑であり、何らかのきっかけで巻き添えで全体に影響が出たり、vmホストのメンテナンスでストレージも落とさざるを得にゃいあたりは悩ましいと言える。
　
　次にちょっと仮想レイヤを挟んでRDMで誤魔化す手法。これはvmホストがディスクとして認識していれば特定vmにマッピングできるものだが、SAN等以外では少々作成が手間にゃこともあるようだ。RAIDカードを介さにゃいSATA HDD等を複数RDMでvmにつっこんでどの程度の管理が可能にゃのかは怪しいが。一度データストアにしてvmdkファイルを作って割り当てるのと速度的には大差にゃいぽいのでどの程度の利用価値があるかは怪しい。どちらにせよBBWC無しでは速度が出にゃいのでやるにゃら\3k程でRAID板買った方がマシだと思うが。
　それはともかくLUNとして見えるようにゃFC SAN等ではGUIから簡単にRDM設定が可能。物理と仮想の選択では仮想を選ぶとsnapshot等が使用できるようににゃる。あと今回はほぼ1vmが独占するため

(esxi 5.1)
vim-cmd hostsvc/advopt/update Disk.SchedNumReqOutstanding long 256
esxcli system module parameters set -p ql2xmaxqdepth=64 -m qla2xxx
esxcli system module parameters set -p lpfc0_lun_queue_depth=64 -m lpfc820
reboot

　のようにデフォより上げておくと良いかもしれにゃい。

　いやリークにゃのかどうかは調べてにゃいけど、sfcbdが肥大化してconsoleがswap始めてるのはどうかと思ったので、

/etc/init.d/sfcbd-watchdog restart

　をcronに放り込んでおいた。
　まぁそういう対処で良いのかとかいろいろ感じる部分はあるが。

　そういうFirewallソフト。Linuxベース。
　vmxでDL出来るが、toolsは入ってにゃい。
　
　inst時のNetwork configuration typeは
　GREEN:LAN
　PURPLE:wireless
　ORANGE:DMZ
　RED:WAN
　らしい。このあたりの設定は、コンソールでsetupを叩くと再設定できるが動作は非常に怪しい。あちこち裏で決め打ちしてる。
　IPを割り振ったら、http://〜:81/ で繋がる。sshはport222で繋がる。
　GUIのMaintenance->updatesでupdateしておく。
　
　vmware toolsはmodで出回ってるので、
　cd /tmp ; wget http://smoothwallmods.googlecode.com/files/vmwaretools-1.1-Express-3.0-i386.run ; sh vmwaretools-1.1-Express-3.0-i386.run
　でinst出来るが、かにゃり無保証w
　GUIはさくさく動作してくれるがどうもにゃんだかわかりにくい気味
　でもLinuxだからiptablesの動作に慣れてるのは良い点かも。
　
　といった所で、ちょっと怪しいにゃあといったところ。

　pfsenseをvmで使おうと思って、vmware toolsの入れ方を探したら、GUIのパッケージのところにあった。openの方だけど。これは便利。
　但しNICはvmxnetじゃにゃくてe1000じゃにゃいとダメぽい。

　試したいことがあって再度。
　StorのDeveloperEditionのISOを落としてきてsolarisとしてvmにinst。いやvm版でも良かったんだけど。
　ライセンスはめどい。MACが変わるだけで再発行ににゃる。Inst後にゃらSSHでコピペとかでいいんだがにゃんとかにゃらんのかねぇ。1度雛形vmが出来てしまえばそれを使い回せるけども。
　で、vmware-toolsだが、

cd /cdrom/vmwaretools
cp vmware-solaris-tools.tar.gz /tmp
cd /tmp
tar xzvf vmware-solaris-tools.tar.gz
cd vmware-tools-distrib
su
./vmware-install.pl

　ですんにゃりと。
　
　さて、NEXENTAでAD連係ってどうにゃるのかにゃーという実験を。
　LDAP連係はどうもUNIX向けらしく、AD連係はCIFS使えとか書いてあるので、Join ADして共有したらさっくり通った。
　ただACLがよく分からず。こっちはUnixのローカルユーザかLDAPユーザが無いとダメとか書いてあって、じゃあACLどうするねんという。で、初期ディレクトリのACLは最悪chmodするとして、Winからファイルとか書いてACLをCIFS経由で設定することは出来るので、NEXENTAのGUIを使わにゃいにゃらこれはこのままでも使えにゃいことはにゃい。GUIというかNEXENTA側でちゃんと管理したい場合にはローカルユーザを生成してIdentity Mappingでwinname:*@domain.local == unixuser:*としておくと、とりあえずマッピングされる。ただこれは流石にLDAPか何か経由でインポートしにゃいと大変にゃので、何か仕組みがあるんだろうにゃぁ的にゃ。

　ESX4 + FreeNASのiSCSIで動かしてて、にゃんかの拍子にLANが切断、復旧させてもiSCSIにゃdatastoreが見えにゃい。
　datastoreの追加をするとタイムアウトか全ディスク削除ににゃってしまう。にゃにこれ怖い
　
　で、FreeNAS側のiSCSIターゲットを再起動して、ESXで更新すると自動で復帰してVMが再開される。
　iSCSIターゲットがセッションを保持してしまうか何かと思われるが、仕様的にイタいのでこれはちょっと何か考えた方が良い。トラブルの元だ。
　操作ミスすると怖いことににゃりそうにゃのでメモ。

　server2008R2に対応したとか言うので入れてみた。まだ実験してにゃいけど。
　
　で、Instに際して注意点。ML115とかには普通に入るのだが、SC1435に入れようとするとNUMAがどうので蹴られる。ESX4では無かったんだけどねー。
　ので、BIOSでメモリのInterleavingをOFFる必要がある。それはそれでどうにゃんだろうって感じだがESXが上手くやってくれるんだろう多分。

　どうせつけっぱにするんだしということで、IRCとかにゃんとかは鯖のvm上で動いてるんだけど、vmだからといっててきとーにゃ物をInstしてみてやっぱ巻き戻し、といったことに流用すると結構ややこしいことににゃった。
　ということで安易にsnapshotをrevertすると困ったことににゃるリスト。
　・ドメイン関係。認証通らにゃくにゃるんでいろいろやり直し。
　・TCPセッション系。IRCとか諸々。
　・RDPセッション系。RDPは自動再接続してくれるが、WinRemotePCとかは落ちる。
　・FS系。例えばネットワーク上の.tcをマウントしてたvmをrevertするとNTFSに不整合が。
　・鯖系。当然クライアントは落ちる。
　てことで、特にTrueCryptとかの類は注意しにゃいといかんね。

　例によってvmの世代バックアップってどうしたらいいのかにゃ話。
　1ファイル200Gとかで1週間に1回くらいこれが書き換わるようにゃものを世代で残しつつ、最新ファイル(できれば1つ2つ前も)は直接参照できてほしい、とかを考えると思ったより選択肢が思いつかにゃい。
　いくつかキーを出してみると、
　
　・ZFS。FreeNASかOpenSolarisににゃる。圧縮可。Snapshot可。nfs/iscsi。オペレーションは自信にゃし。
　・NTFS。Winににゃる。圧縮可。nfs/iscsi。ShadowCopyは信用にゃらんのでvm化してSnapshot。
　・LVM。Linuxににゃる。圧縮不可。nfs/iscsi。Snapshot領域が固定サイズ。vm化するにゃら意義無し。
　・pdumpfs。Linuxににゃる。圧縮不可。nfs。HDDが余るにゃら可能。現状のコピーはダブる。
　・rdiff-backup。Linuxににゃる。圧縮。nfs。diff計算が1日で終わるのかどうか微妙。復元に時間かかる。
　・任意データストア。任意vm。nfs/iscsi。vmのsnapshotを使う。
　
　と、こんにゃ感じか。圧縮の有無はともかく、簡単操作で任意の過去に戻れるという意味ではvmのsnapshotが強そう。但しvmdkを上書きバックアップするときに、全部Writeしてしまうと多分意味がにゃいわけで、rsync的にゃ書き込みをさせにゃいとだめ。ちょっとめんどくさい。
　ZFSだと自動でやってくれそうにゃ気もするが不明。圧縮も付いてて大変便利そうにゃのだが、よく考えるとZFSで過去のSnapshot別途nfs公開して・・・というのは地味にめんどくさい作業である。調べるのが。そのへんnfsdをvmでrevertしてしまえばお手軽で良いだろう。nfsのキャッシュとかがあるのでちょっと不整合が気ににゃるが。iscsi target+vmfsでもよいが、これをrevertして大丈夫にゃのかというのが非常に疑問にゃので。
　とにゃると普通のLinuxやFreeNASといったベタにゃvmを作ってnfsdを立てるだけで良いと言うことににゃる。シンプルでつぶしが効きそう。圧縮したければNTFSかZFSを使用することににゃるが、Winのnfsdはにゃんだか面倒にゃんだよにゃー。でもfreenasのZFSというのも大概どうかというのはあるし、ここでOpenSolarisのvmを作るというのはさすがに不安要素増やす感じ。

　いろいろ溜まってきたので整理。
　・Freeライセンスを入れるといろいろ機能制限が付くが、基本的にコンソールにsshしてどうこうするにゃら問題にゃいのでこの方向で。
　・ESX4iはUSB boot出来て便利にゃんだがコンソールが低機能すぎてしんどい
　・ESX4にESX4iのFreeライセンスがお手軽便利で快適
　・1vm毎に結構にゃ量のメモリを消費するので小粒にゃLinuxを大量にといった向けにはvmware serverがよい
　・ローカルSATAはRAIDが組めにゃいのでSSDにするか、対応H/W RAIDカードを使用
　・NFSかiSCSIが利用できるのでFreeNAS等を別PCに入れて繋げばよい
　・現状のFreeNASは大変遅いのでLinuxか何かを普通に入れた方がマシ
　・一応nfsよりiSCSIの方が速いし複数のESX鯖から共有できるので有力
　・nfsはESX鯖以外からも参照できるし枯れてて大事故のリスクも少にゃく手軽
　・ローカルHDDもnfsもiSCSIもESX鯖からパフォーマンスが出るかどうかは別
　・snapshotは複数取れるし分岐も出来る。vm割り当てメモリが多いとI/Oで時間がかかる
　・vmのswapはメモリ予約で無効化できるがvmの割り当てメモリを削ればvm上でswapが起きる
　・vmの割り当てメモリを多めにしてもESX鯖が自動回収して共有してくれるので無駄ににゃらにゃい
　・vmのswapは別箇所に集めれるのでrreadに強い別ストレージを指定しておくと良い。
　・vmのディスクは任意のストレージ上に分散配置できるがそのsnapshotはvmのディレクトリとにゃる
　・vmのディスク置き場、vmのsnapshotと設定ファイル置き場、全vmのswapファイル置き場の3つに分離できる
　・ローカルにSSDを1つ付けておくと、RAID不要の鯖Inst先、snapshot置き場、swap置き場として使えて大変高速
　・vmのバックアップはコンソールでスクリプト実行させると潰しが効くが比較的めんどくさい
　・vmのsnapshotを取ってopen出来るファイルのみコピーし設定ファイルを戻すだけでバックアップ出来る
　・vmを止めるにゃらファイルコピーすればいいし、ストレージのsnapshot機能があれば早く済む
　・vmdkがthinの場合はsparseファイルにゃのでcp等は適切に行う必要がある
　・CPUの割り当てはある程度予約しておく
　・server2008にゃど最新OSではtoolsが未対応にゃのかメモリ共有等の機能が働きにくい
　・ESX鯖のCPU等が異にゃるとpause状態のsnapshotは移行しても再開は出来にゃいのでCPU機能のマスクが必要だがめんどくさい
　・CPU+HDD+SSD+MEMが1台、HDDx6が1台というのが最小構成か。バックアップは本体HDDで。
　・まともに冗長考えると最低ESX鯖が2台、ストレージが2台で相互にバックアップ置いとく感じ
　・Hyper-Vとどちらがと言われると少々疑問だがLinuxとtext設定ファイルベースで自由に出来るのは好ましい
　・RedHatのコンソールと良くできたGUIはvmware server 2.xやHyper-Vに比べて利点
　
　んーこんにゃもんか？ Hyper-Vもある程度評価しておいた方が良いと思うんだが、ちょっと目を話したら2008 R2が出てたりとかころころ変わってめんどくさい。

　ESX鯖にSSDを入れてswap先に使っていたのだが、まぁそれはそれで快適にゃ動作ににゃったものの、各vmが自力で吐くswapはやはりストレージ上に溜まるわけで、蓄積するとやはり遅い。
　spoolだののtmp的にゃ用途には、いろんにゃ所でキャッシュが効くので、writeが極端に遅くにゃければストレージ上で問題にゃいのだが。
　
　というわけで、ESXのローカルSSDを活用すべく、vmのvmdk構成を変更。各vmにswap用ドライブを追加し、そのvmdkをSSD上に配置すれば・・・と思ったのだがこれはとりあえず失敗。snapshotを使うとsnapshotはvmxのディレクトリに保存されてしまうらしく、これの変更は手間というか周囲の動作保証が取れんのでやりたくにゃい。
　そこで発想を逆転して、vmxはSSD上に、vmdkはNAS上に配置することに。これはディスクの場所変更でオフィシャルに出来る。vmの構成ディレクトリが複数ににゃってバックアップがめんどくさい等のデメリットもあるが、ひとまずsnapshotと併用するとかにゃり高速化するので非常に使える。つまりNASにはWriteが一切行かにゃいのでRAID5でも構わにゃいしIOpsも稼げる。頻繁に書かれる場所はsnapshotとしてSSD上に自動的に配置される。vmが自前でswapすれば必ずSSDに書かれるわけで合理的。膨大にゃ量を書くvmはsnapshot取らにゃいだろうからSSDの容量も80G有れば十分すぎる。
　さすがにプチフリというか、WriteによってReadが阻害されまくるSSDではvm数次第で苦しくにゃってくるが、ある程度キャッシュ等積んだSSDにゃら問題は起きにゃいだろう。にゃんだかESXのローカルWrite自体がいまいちにゃ速度だし・・・これは不具合かにゃぁ？

ESX# dd if=/dev/zero of=xxx bs=1024000 count=100
100+0 records in
100+0 records out
102400000 bytes (102 MB) copied, 4.96558 seconds, 20.6 MB/s

　とかいう状態でSSDとは思えにゃい低速っぷり(笑) HDDより遅いし。理屈ではもっと高速でsnapshot時のメモリダンプとかも高速にゃはず。にゃんだろう、キャッシュ？

　いろいろ溜まってきたのでメモ。

ds2fullpath (){
        sed -e 's/\[\([^]]\+\)\] \([^[ ]\+\)/\/vmfs\/volumes\/\1\/\2/'
}
get_ds_from_path (){
        sed -e 's/\/vmfs\/volumes\/\([^\/]\+\)\/.*/\1/'
}
inner_quote (){
        sed -e 's/[^"]*"\(.*\)".*/\1/'
}
get_allvms_vmid_name (){
        vim-cmd vmsvc/getallvms |  sed -e 's/\[.*\] .*//' -e 's/ \+$//' -e 's/\([0-9\]\+\) \+\(.*\)/\1 "\2"/' |
                awk 'NR!=1'
}
get_allvms_vmid_datastore (){
        vim-cmd vmsvc/getallvms | sed -e 's/\([0-9\]\+\) \+.* \+\[\(.*\)\] \(.*\/.*\.vmx\)  \+.*/\1 "\2" "\3"/' |
                awk 'NR!=1'
}
get_allvms_vmid_vmxpath (){
        vim-cmd vmsvc/getallvms | sed -e 's/\([0-9\]\+\) \+.* \+\[\(.*\)\] \(.*\/.*\.vmx\)  \+.*/\1 "[\2] \3"/' |
                ds2fullpath |
                awk 'NR!=1'
}
get_vmid_from_name (){
        get_allvms_vmid_name | grep \"$1\" |awk '{print $1}'
}
get_vmxpath_from_vmid (){
        get_allvms_vmid_vmxpath | awk '/^'$1' /{print $2}' | sed -e 's/^\"//' -e 's/\"$//'
}
get_vmxpath_from_name (){
        vmid=`get_vmid_from_name $1`
        get_vmxpath_from_vmid ${vmid}
}
get_vmsdpath_from_vmid (){
        get_vmxpath_from_vmid $1 | sed -e 's/\.vmx$/.vmsd/'
}
get_datastore_from_vmid (){
        get_allvms_vmid_datastore | awk '/^'$1' /{print $2}' | sed -e 's/^\"//' -e 's/\"$//'
}
get_vmname_from_vmid (){
        get_allvms_vmid_name | grep "^$1 " | sed -e 's/.*"\(.*\)".*/\1/'
}
get_vmdk_data_file_from_vmdk (){
        test -f "$1" || return
        f=$(grep " \".*\.vmdk\"$" $1 | grep -v parentFileNameHint | sed -e 's/.* "\(.*\)"$/\1/')
        echo "$f"|grep ^/ >/dev/null && echo "$f"
        echo "$f"|grep ^/ >/dev/null || echo "`dirname "$1"`/$f"
}
is_there_snapshot (){
        vmid=$1
        snapshot_name=$2
        vim-cmd vmsvc/snapshot.get $vmid | grep "\-\-Snapshot Name" | sed -e 's/-\+Snapshot Name \+: //' |
                grep "$snapshot_name" >/dev/null
}
remove_last_snapshot (){
        vmid=$1
        if [ "`get_vmxpath_from_vmid $vmid`" = "" ] ; then return 255 ; fi
        lv=`vim-cmd vmsvc/snapshot.get $vmid |grep CHILD |wc -l`
        vim-cmd vmsvc/snapshot.remove $vmid 0 $lv
}
get_alltaskids (){
        vim-cmd vimsvc/task_list | grep vim.Task: | sed -e 's/.*vim.Task://' -e 's/,//' -e "s/'//"
}
get_taskids_from_vmid (){
        vim-cmd vimsvc/task_list | grep vim.Task:haTask-$1 | sed -e 's/.*vim.Task://' -e 's/,//' -e "s/'//"
}
filter_running_taskids (){
        while read taskid ; do
                is_task_running $taskid && echo $taskid
        done
}
get_running_alltaskids (){
        get_alltaskids | filter_running_taskids
}
get_running_taskids_from_vmid (){
        get_taskids_from_vmid $1 | filter_running_taskids
}
get_taskname_from_taskid (){
        vim-cmd vimsvc/task_info $taskid | grep "name = " | sed -e 's/.*"\(.*\)".*/\1/'
}
is_there_running_task_vmid (){
        get_running_taskids_from_vmid $1 | grep .
}
is_task_running (){
        taskid=$1
        vim-cmd vimsvc/task_info $taskid | grep 'state = "running",' >/dev/null
}
wait_while_task_running_vmid (){
        while : ; do
                taskid=`get_running_taskids_from_vmid $1 | head -1`
                if [ "$taskid" == "" ] ; then break ; fi
                echo waiting `get_vmname_from_vmid $1` `get_taskname_from_taskid $taskid`
                sleep 3
        done
}
path_r2a (){
        echo `cd "$1" && pwd`
}
path_cut (){
        src_dir=`path_r2a "$1"`
        file=$2
        basedir=$(dirname "$src_dir")
        c=$(echo "$basedir" | wc -c)
        echo "$file" | cut -c ${c}- | sed -e 's/^\///'
}
cp_dir_sparse (){
        cp_prog=$1
        SRC=`path_r2a "$2"`
        DST=`echo "$3" | sed -e 's/\/$//'`
        find "$SRC" -type f | while read a ; do
                $cp_prog "$a" $DST/`path_cut "$SRC" "$a"`
        done
}
get_datafiles_from_filelayout_with_vmdk_data (){
        get_datafiles_from_filelayout $1 |
                while read a ; do
                        echo "$a"
                        echo "$a"|grep \.vmdk$ >/dev/null && get_vmdk_data_file_from_vmdk "$a"
                done
}
get_datafiles_from_filelayout (){
        vim-cmd vmsvc/get.filelayout $1 |
                grep "\"\[.*\] .*\..*\"" |
                inner_quote |
                ds2fullpath
}
get_vmx_dir (){
        d=`get_vmxpath_from_vmid $1`
        dirname "$d"
}
get_logfile_dir (){
        vim-cmd vmsvc/get.filelayout $1 |sed -e 's/^ \+//'| grep "^logDirectory *=" | inner_quote | ds2fullpath
}
get_logfiles_from_filelayout (){
        d=`get_logfile_dir $1`
        vim-cmd vmsvc/get.filelayout $1 | sed -e ':a;$!N;$!b a;s/\n//g' |
                sed -e 's/.*,.*logFile *=[^\[]\+\[\([^]]*\)\].*/\1/' -e 's/",/"\n/g' |
                inner_quote |
                while read a ; do
                        echo "$d/$a"
                done
}
get_configfiles_from_filelayout (){
        d=`get_vmx_dir $1`
        vim-cmd vmsvc/get.filelayout $1 |
                sed -e ':a;$!N;$!b a;s/\n//g' |
                sed -e 's/.*,.*configFile *=[^\[]\+\[\([^]]*\)\].*/\1/' -e 's/",/"\n/g' |
                inner_quote |
                while read a ; do
                        echo "$d/$a"
                done
}
get_allfiles_from_filelayout (){
        sub (){
                get_configfiles_from_filelayout $1
                get_logfiles_from_filelayout $1
                get_datafiles_from_filelayout_with_vmdk_data $1
	}
        sub $1 | sort | uniq
}
vmname="$1"
backupdir="$2"
copy_p="python -u cp_sparse.py"
vmid=`get_vmid_from_name "$vmname"`
vmx="`get_vmxpath_from_vmid $vmid`"
vmsd="`get_vmsdpath_from_vmid $vmid`"
vim-cmd vmsvc/snapshot.create $vmid __backup __backup 1 1
wait_while_task_running_vmid $vmid
vim-cmd vmsvc/snapshot.get $vmid
dupfile=0
get_allfiles_from_filelayout $vmid | while read a ; do
        basename "$a"
done | sort | uniq -d | grep . >/dev/null && dupfile=1
get_allfiles_from_filelayout $vmid | while read a ; do
        dst="$backupdir/$vmname"
        if [ "$dupfile" = "1" ] ; then
                ds="`echo "$a" | get_ds_from_path`"
                dst="$backupdir/$vmname/$ds"
        fi
        $copy_p "$a" "$dst/`basename "$a"`"
done
remove_last_snapshot $vmid
wait_while_task_running_vmid $vmid
get_datafiles_from_filelayout $vmid | grep \.vmdk$ | while read a ; do
        dst="$backupdir/$vmname"
        if [ "$dupfile" = "1" ] ; then
                ds="`echo "$a" | get_ds_from_path`"
                dst="$backupdir/$vmname/$ds"
        fi
        $copy_p "$a" "$dst/`basename "$a"`"
done
get_datafiles_from_filelayout $vmid | sort | uniq | grep \.vmdk$ | while read a ; do
        if [ "$dupfile" = "1" ] ; then
                continue
        fi
        parent_path=`grep "^parentFileNameHint *=" "$a" |inner_quote`
        echo "$parent_path" | grep "^/" >/dev/null || continue
        vmdk=`basename "$parent_path"`
        cat $a | sed -e 's/^\(parentFileNameHint *= *\)".*"/\1"'"$vmdk"'"/' > "$backupdir/$vmname/`basename $a`"
done

　分散datastoreに対応しようと思ったけどめどくにゃっていい加減にゃ対応のまま放置してあります状態(笑)
　ま、そのままコピーするだけで、一応バックアップにはにゃるわけだし、複雑にゃことしにゃい方が良いんだけど、やっぱりそのままインポートしてrevert押せばすぐ起動ってのはバックアップとして有用だと思うわけで。

　freenasのnfsやiSCSIとESXの組み合わせでかにゃり格闘したのだが、いい加減疲れた上に、ESXiを入れ直そうと思ったらUSBがエラー吐いて止まるとかいろいろ霊障も起き出したので、freenasを捨てることに。
　Ubuntuを実機に入れてInst時にmd raidを組む。ExpertModeでinstしたら不明にゃ選択肢も出て少々時間がかかる。めどい。
　とりあえずnfsをいれて

ESX# dd if=/dev/zero of=test bs=1024000 count=1000
1000+0 records in
1000+0 records out
1024000000 bytes (1.0 GB) copied, 24.115 seconds, 42.5 MB/s

　おお、まともだ！

ESX# time cat test >/dev/null
real    0m54.728s

　・・・あるぇ？

ESX# dd if=test of=/dev/null bs=1024000
1000+0 records in
1000+0 records out
1024000000 bytes (1.0 GB) copied, 49.9522 seconds, 20.5 MB/s

　にょ〜ん・・・
　まぁFreeNASよりは倍ほどマシだが。
　因みにcat file >/dev/nullでnfsdが5%+5%ほどCPU食ってる。ちょっと食い過ぎじゃね？ まぁCPUが1コアの2.7GHzとか速度求めるには微妙ではあるとしても。

　nfs遅いよねー！(？)と思ってわざわざディスク6つも積んでめんどくさいRAID10設定までしてInstしたFreenasのiSCSIが強烈に遅い。10MB/s出てにゃいんだが？
　これはESX側との相性もあるんだろうと思うがやっぱりこれは使えん。
　nfsが複数繋いで15MB/sとかでまだマシだったり。

　ということで、ESX4鯖にSSDを積んでホストのスワップ先に指定してみた。
　今のところ非常に快適。
　ついでにESXもSSDにInstしておいた。HDDよりは壊れにゃいだろう。
　ま、いろいろ考慮すれば、小さいSSD積んだキャッシュのデカいCPUの鯖にESX4+ESX4iライセンスと、iSCSIかNFS鯖に出来るディスク数積んだ安鯖にUSBメモリ挿してFreeNAS、という構成が現状では妥協点か。vmのサイズが小さければFreeNAS鯖無しでSSDのデカいのを積む、という手がベストだが。あぁさらにバックアップ用のにゃにかストレージが必要か。これはESX鯖にデカいHDDを積んでバックアップ先にしておくのがよいかも。

　ESX4で普通にvmを増やしていくと、.vswpファイルにごりごり書かれて、たいそう遅くにゃる。このあたりの動作はvmware serverと同じ。
　で、Winに限ってはmainMem.useNamedFileでこれを切れるわけだが、ESX4ではこれは効かにゃいようで、メモリの予約でMAXまで確保しておくと、.vswpが0ににゃる。
　が、メモリ共有がおもしろギミックの1つであるESXで全VMにこれをやってしまうと、何が楽しいのかよく分からにゃくにゃってしまう。かといって1つでも.vswpにアクセスするvmがあれば、そのdatastoreのvmは壊滅的にゃパフォーマンス低下を喰らう。にゃんともvmware系の弱い所である。
　一応、swap先を変更できるので、全vmの.vswpを集めて別のdatastoreに置いたり出来るのだが、それはそれでまた高コストで煩雑にゃ解決法である。ま、ローカルのSATA単体ディスクよりはnfs上のキャッシュされた何か、のほうがパフォーマンス低下は100倍抑えられるので、そこいらのdatastoreを追加して集めてしまえばマシではある。が、複雑性を増して故障個所を増やしてるわけで、どうにも賢くにゃさげ。
　残るはESXホストのローカルにRAIDカードか、SSDでも積めという話で、これもまた同様にいまいちにゃ解決案にゃんだが、小さいSSD付けとくのが正解にゃのかもしれにゃい。うーん・・・

　ESX4でnfsを使ったが意外とこれが速い。レイテンシの点では劣るはずにゃのだが、たぶんnfs鯖のキャッシュと、syncが無視されてる気がするのがデカい。にゃんというかぬるぬるとスムースに動く。
　
　あと実験がてら稼働中にLANを引っこ抜いてみたら、一応しばらくはwaitしてくれて、さらに放置し続けると落ちた。このへんのタイムアウト値は多分変更できるんだろうにゃ。
　
　速度のチューニングも兼ねて、nfsまわりの設定を変えたいのだが知識がにゃい。うーむ

　ESXi4で定期backup & リストア1分でvm復帰を目指すと、ESXホスト間で相互backupと、nfsを共有マウントという2つの方法が思いつくが、今回は2つ目で。にゃぜにゃらば、ESXiホスト間でsparseにゃファイルのコピー方法が見あたらん。SSH経由でstdin〜とかやりたくにゃいんだがどうにゃんだ・・・。ここいらはESXにした方がやはりいいか。
　まぁともかく、ESXi4用にnfsdを立てる。とりあえずML115にFreeNASというベタにゃ構成でRAID5。最近ZFSが使えそうにゃFreeNASも出てきてるが怖いので触らにゃい。
　で、特に引っかかる部分はにゃくnfs共有してマウントすればdatastoreとして使える。とても便利。但し速度が出にゃい。MAX30MB/sくらいで、実質15MB/sくらい？ バッファリングとかいろんにゃファクタがあるようにゃので、後日これはチューンする必要がある。
　あと懸念されたsparseファイルの扱いだが、以前のpythonスクリプトとかでも普通にコピー出来てるので問題無さそう。
　これでESX鯖が死んでも別のESX鯖でnfs上のvmを起動させればOKのはず。
　ただ欲を言えばそりゃ圧縮したり世代管理が出来るとベストにゃわけで、ZFSに期待する所にゃのだが・・・

　そろそろESXiの限界が見えてきたというか、飽きたので、ESX4をインストールしてESX4iのキーを放り込む。RCLIがどうの、といった制限があるのかもしれにゃいが、コンソールがほぼ素のLinuxにゃので事実上やり放題である。
　但しUSBメモリにはインストール出来にゃいので、では非RAIDのHDDでいいのかとか、その辺が嫌にゃ感じ。

　rsync調べだが、ともかくsshが遅い。
　ssh -W 1048576
　でちょっと早くにゃるか？とか、inetdのsshdにも-W 1048576付けてみたりしたが、変わらん。
　dropbearのソースに何か書いてある系だとするとここの高速化はちょっとしんどそう。