これ書いたの2年前。
　
　PowerCLIとかperlとかいろいろありげにゃんだが、コンソールで動かす必要があるにゃらpythonベースがよくね？とかいういい加減にゃ感触でpyvisdk。よく考えたらリモートから叩くにゃら何でも良かったのだが。
　とりあえずそこいらのLinuxにinst。

sudo aptitude install python-setuptools python2.6-dev
sudo easy_install setuptools_git
wget https://github.com/xuru/pyvisdk/tarball/master
python ./bootstrap.py
./bin/buildout
sudo python setup.py install
sudo easy_install importlib

　こう・・・かぁ？
　にゃんかエラーに随時対処するとこうにゃったんだがにゃんかもっとeasyにinstできる気がする(笑)
　で

import pyvisdk
vim = pyvisdk.new()
vms = vim.getVirtualMachines()
for vm in vms:
    print vm.name

　にゃ.pyを作って、

python a.py --server HOSTNAME --username root --password PASS

　すれば動くよ！ってことにゃんだが、またいろいろとハマり所が。
　
　まずUTF-8。どこに含まれてるのかよく分からんが落ちる。

import sys
print sys.getdefaultencoding()
sys.setdefaultencoding('utf-8')
print sys.getdefaultencoding()
import site

　を先頭に追加して

python -S a.py --server HOSTNAME --username root --password PASS

　すればとりあえず動く。
　
　例としては、コンソールからの書き換えが難しいvmの注釈の変更とかが、

import pyvisdk
from pyvisdk.do import *
vim = pyvisdk.new()
vm = vim.getVirtualMachine("vm name")
spec = VirtualMachineConfigSpec(vim,annotation="abc")
vm.ReconfigVM_Task(spec)

　こんにゃんでできる。

　ML115の発熱というか消費電力がアレだったので、サポート切りで評判最悪にゃhpだがこの価格帯にゃらいいかにゃ、というhp microserver N54Lを採用。15k
　CPUがAMD Turion II NEO N54Lという知らにゃい物体だがECC対応らしい。スロットがロープロでしかも片方はPCIex1という微妙にゃ仕様のため、手持ちのRAID板やらが断然刺しにくい(物理的にも)。
　とりあえず余ってたSAS 400GB x2を普通に積んで、オマケでSATA2TBとか適当につっこんでESXi5.5で製作。USBメモリ余ってにゃかったのでSASのRAID1にinst。
　ML115と見かけのスペックが変わらにゃいので、vm移動するだけで完了だが、scpで終わるだろうと思ったがかにゃり時間かかった。真面目に転送すべきだった。

　iscsiの実験しようとしてLUNをVMFSでフォーマットしようとしたら、
　HostStorageSystem.ComputeDiskPartitionInfo
　で怒られたり。新規作成にゃのににゃぜー
　

esxcfg-scsidevs -l
partedUtil get /vmfs/devices/disks/eui.78a809797326e3ec
partedUtil delete /vmfs/devices/disks/eui.78a809797326e3ec 1
partedUtil delete /vmfs/devices/disks/eui.78a809797326e3ec 2

　とかで行けたけど、Winのインストーラといい、いい加減DiskはDiskとして扱って欲しい

　ESXでnfsデータストアを登録していくとあるところでそれ以上登録できにゃくにゃる。
　数えてみると128個くらいでダメににゃるみたい。
　仕様ぽいにゃぁ

　時折クライアントが再接続されててにゃんじゃこりゃだったんだが、どうも調べてみるとhostdがどんどんメモリを食って、何かの閾値を超えると殺されて再起動してるみたい。
　で、その閾値だが、
　/etc/vmware/hostd/config.xml
　のhostdStopMemInMBがそれっぽかったのだが、どちらかというとこれに引っかかる前にシステムリソース割り当てでhostdの制限420MBやvmvisorの制限容量にひっかかってるみたいにゃので、そっちを上げる。
　で、とりあえず2GBくらいまで肥えてから死ぬようににゃったのだが、そもそもの肥大化の要因が分からにゃいという・・・
　そろそろ5.5に更新しますかねー

　ESX鯖のエラーLEDが光ってたので、MegaCliで調査しようとしたら、hp鯖だった。LSIにゃわけがにゃい。
　で、hpのSmart Arrayは、hpacucliでコマンドラインから叩けるはずにゃのだがESXi5に入ってるわけもにゃく。もう入れとけよ最初から。
　てことでhpからhp-HPUtil-esxi5.0-bundle-1.1-38.zipを拾ってきて、

esxcli software vib install -d /[FULLPATH]/hp-HPUtil-esxi5.0-bundle-1.1-38.zip

　して3分待つと完了・・・ってreboot必須かよ！
　

/opt/hp/hpacucli/bin/hpacucli controller slot=0 physicaldrive all show
/opt/hp/hpacucli/bin/hpacucli controller slot=0 logicaldrive 1 show
/opt/hp/hpacucli/bin/hpacucli controller slot=0 modify
surfacescanmode=idle surfacescandelay=3

　とかそんにゃ感じ。

　linux系のvmにtoolsを入れる時に仮想ディスクのtimeout値は延長されてるはずにゃのだが、どうもそうにゃってにゃいマシンも有るようで。viyattaとーかー
　タイムアウトが短いと、Snapshotやsuspendからの復帰その他諸々の操作時に仮想マシン上でディスク障害と見にゃされてROでremountされたりいろいろ困ったことが。
　で実際のタイムアウト値の確認だが、

find /sys/class/scsi_generic/*/device/timeout | while read a ; do echo $a; cat $a ; done
find /sys/block/*/device/timeout | while read a ; do echo $a; cat $a ; done

　みたいにゃ感じで。
　起動時に反映したいので

echo 'find /sys/block/*/device/timeout | while read a ; do echo 300 > $a ; done' > /etc/init.d/set-timeout
chmod 755 /etc/init.d/set-timeout
update-rc.d set-timeout defaults

　とかそんにゃ感じので。

　そんにゃん機種に拠るしにゃぁ・・・というのはともかく
　
　省電力切る
　NUMAにゃらNode Interleaving切る
　CPU関連機能ON(NX VT-?)
　くらいか？
　defaultに戻した上で、全項目見て行くしかにゃいと思うにゃぁ。
　ECC scrubとか色々あるだろうし。
　ちょっとミスると同じCPUのマシン間でもvm移動出来にゃくにゃったりして面倒にゃので割とBIOS設定はきっちり合わせる必要があるね

　にゃんかいまいち情報がにゃい風味にゃので推測メモ。
　いろいろパターンがあり得るわけだが、まずvmのネットワークトラフィックはvSwitchに物理NICを何個か足してNICチーミングすればいいので略。ロードバランスをIPハッシュにしておいてSW側で静的LAGしておけば負荷分散的にもマシ。但しSWも冗長化して2台にするためにはスタックするか、IPハッシュを諦めることににゃる。
　次にESXのデータストアで使う系だが、iscsiの場合はport bindingでごちゃごちゃ設定すればとりあえず2本でActive/Activeにすることはできる。SW2台でもOK。帯域的にはtargetがRRにゃら2GbE相当ににゃるのかにゃぁと期待できるが、微妙によく分からにゃい気味。3本以上の場合も要検証だにゃぁ。
　nfsの場合は一番面倒で、IPハッシュでLAGにするしかにゃいんだが、これはスタックSWが必要。iscsiのbinding相当を行うにはVI3時代のローテクというか、別ip subnetにしてルーティングテーブルによるNIC使い分けを行うことににゃる。例えばvSwitch0にvmk0とvmk1を追加して、それぞれ異にゃるsubnetのIPを割り振り、NICチーミングで有効アダプタを1つ、スタンバイを1つ設定しておけばそっちが使われる。無論前提としてその2つのsubnetでNASがマウントできることと、各vmで使用するnasを使い分ける必要がある。
　
　ということで単vmで帯域得ようとするとiscsiかにゃぁってところだが、使い勝手の悪さが玉に瑕。
　nfsの場合はスタックスイッチがあればいいが、無ければ割と面倒にゃことに。といってもNASのip aliasで増やす際にちょっと変えればいいだけだが。

　vmを沢山Cloneした場合、vm上のことは一般的にゃマイグレーション手法ににゃってくるわけだが、もう少しvmホストとリンクした話も無いわけではにゃく。
　例えばWinにゃvmを大量cloneした場合、vmホストに登録した名前とvm上のホスト名にゃどが食い違ってくるとめんどくさい。そこでその辺自動的にゲスト上から識別できにゃいかにゃぁと思ったのだがにゃんか上手く行かにゃい。
　vmware-toolsのvmtoolsd.exeを使って、

vmtoolsd --cmd='info-get guestinfo.<some_custom_property_name>'

　するとvmxに登録した値が取れる・・・らしいのだがとれぬ。にゃんか条件あるんだろうか。
　で、唯一成功したのがinfo-getではにゃく

vmtoolsd --cmd 'machine.id.get'

　する方法。プロパティが1つしか使えにゃいがまぁとりあえず凌ぐにはにゃんとかにゃるので今回はこれで。
　例えばvmがWin2003で非domainの場合にゃら、clone親で

C:\dir\startup.bat

set vmtools=C:\Program Files\VMware\VMware Tools\vmtoolsd.exe
for /f "usebackq delims=" %%a in (`"%vmtools%" --cmd machine.id.get`) do set vmname=%%a
if "%vmname%" == "" exit
call :lower "%COMPUTERNAME%"
set COMPUTERNAME_L=%STR%
call :lower "%vmname%"
set vmname_L=%STR%
if "%COMPUTERNAME_L%" == "%vmname_L%" exit
wmic ComputerSystem WHERE "name='%computername%'" Call Rename "%vmname%"
shutdown /r /f
exit
:lower
SET STR=%~1
FOR %%I IN (a b c d e f g h i j k l m n o p q r s t u v w x y z) ^
DO CALL SET STR=%%STR:%%I=%%I%%
exit /b

　みたいにゃのを

schtasks /create /sc onstart /tr "\"C:\dir\startup.bat\""  /tn "hostrename"
(win7や2008では/RL highestや未ログオンでも実行的にゃのをGUIで指定した方が確実)

　とかvmware toolsのscriptに登録しといて、適度にvmフォルダをコピーにゃりにゃんにゃりで複製。今回はsnapshot1つ作っておいて-flat.vmdkだけlnしてあとコピー。
　cloneした.vmxに

machine.id = "hoge"

　を追記してvm起動すると、自動的にホスト名をhogeにして再起動してくれる。
　各vmに固定IPを割り振りたい場合はmachine.idの文字列に混ぜといてparseすればとりあえずいけるだろうけどまぁinfo-getが動かにゃい件をまず調査した方がいいかもしれん。
　そんにゃわけで連番ホスト名のWinにゃvmを100個ほど作るのに30分ほどあればOKじゃにゃいだろうか。

　vmを沢山Cloneしたい場合の手法は色々あるが、ややこしくにゃってきたのでメモ。
　
　まず要するにvmの構成ファイルがコピーされて登録出来りゃいいわけで、そこはまぁよかろうと。で構成ファイルはデカいわけで、単純にゃコピーではしんどい場合はにゃんか工夫が必要ににゃってくる。
　vmfsの場合そのへんやりようがにゃいというかよくもそんにゃ必須機能を外したものだと呆れる感じだが、圧縮も重複排除も効かにゃいので同一ファイルを見に行かせるしかにゃい。そんにゃわけでvmfs上でやる場合はClone親vmのvmdkのpathをClone子vmが参照する形ににゃる。子vmのsnapshotは子vmのディレクトリに吐かれるので問題にゃい仕組みだ。但し子vmをディスク上から削除しようとすると親vmのvmdkも削除されることがある。
　でnfsの場合も同様にゃのだが、こっちはln出来るので、各vmの設定を弄る必要は無い。親vmのvmdkをcp -lで子vmにコピーしてやれば完了。snapshot全削除すると全vm死亡にゃのは同じだがそれ以外は気兼ねにゃく使用できる。
　lnではにゃくリアルにコピーしてしまう方法もある。重複排除の効いたストレージにゃら頑張ってコピーしても割と容量枯渇しにゃいが、割と時間がかかる。あとvmfs上の場合は見かけの消費容量が膨大ににゃってこれまたいろいろ問題が。
　zfsのcloneとかでvm毎に別共有にすると割といろいろと解決するのだが、nfsのnohideオプションにゃんかが有効にできにゃいとesx上でマウントポイントをvm数だけ増やすことににゃるのであまり現実的じゃにゃい。ほんと何とかして欲しいのだが。

　手法が沢山ありすぎてこんがらがるので一部メモ。
　まずvmの場所としてローカルのdatastore、iscsi、nfsの三通りが考えられるが、VMFSのdatastore、iscsiはesx経由でアクセスする必要がある。nfsにゃら誰からでもファイル単位でアクセスできるのでとても楽。
　各vmはshutdown、suspendした状態でディレクトリごとコピーすればそのまま動く。poweron状態では特にVMFS上のvmでファイルロックがかかっておりコピー出来にゃい。但しvmでsnapshotをとればそのsnapshot以外のファイルにはアクセスできるので、稼働中のvmの基本的にゃコピー処理手順としては
　・vmのsnapshotを撮る(メモリ付き)(ここにrevertすれば稼働状態でリストアできる)
　・vmのsnapshotを撮る(メモリ不要)(ファイルロック避け)
　・vmの全ファイルを別所にコピー(ロックされたファイルは無視)
　・vmのsnapshot除去
　・コピー先のvmを登録してrevert(poweroff状態)
　でよい。
　vmの一覧や特定vmのsnapshot操作はいろんにゃ方法があるので何を使ってもできるが、最悪key登録したsshでvim-cmd叩いてもできるのでまず困らにゃい。
　
　問題はvmの構成ファイルの全コピーだが、まずnfsの場合、nfsホスト側や任意のLinux nfsクライアントにゃんかでコピーしちゃえばいいので、極めて楽である。但しnfsはthinファイル(sparseファイル)が扱えにゃいため、vmdkによっては膨大にゃ量の0x00をコピーすることににゃり、LANトラフィックを圧迫することににゃる。nfsホストにリモートログインしたり、別途sparse検知できるプロトコルでファイル転送すれば回避できる。ssh経由で圧縮転送したり、rsync等でブロック転送する方法もある。個人的には0x00のみseekに置き換えるファイルコピープログラムをnfs経由で用いるのが総合的に見てお手軽と思われる。
　次にVMFSの場合、何らかの方法でESX経由でファイルにアクセスする必要がある。sshログイン経由の場合、I/Oの制限がかかっており特に他の処理が走っている場合に極めてファイルコピーが遅くにゃる。特にcpによる巨大vmdkのコピーはよほどミニマムにゃ環境で無い限りしんどいだろう。但し一定の反応速度が期待できるローカルのdatastore同士でのコピーにゃどではある程度実用ににゃる。但しsparseにゃvmdkも0x00としてコピーされるため、処理時間の増大とコピー先容量の圧迫を招く。
　そこで良く用いられるのがvmkfstoolsを用いたvmdkのコピーだが、これはsnapshotを統合してコピーしてしまうと言う割と致命的にゃ欠陥がある。速度やthin対応に関しては手軽と言えるが、バックアップ時にsnapshotが消えるのは流石にいただけにゃい。無論*-flat.vmdkのみ処理し、相対的に小さくsparseの可能性の無いsnapshot関連vmdk群はcpで処理するという手はあるが、vmdkがバイナリ一致しにゃいことがあって気持ち悪いのであまりやりたくにゃい手法である。
　妥協的手法としてはnfs用に用いていた0x00のみseekに置き換えるファイルコピープログラムをVMFSにも使用することができる。ssh経由ににゃるがpythonはほとんどフルに動作するため、pythonのファイルコピースクリプトを用いればsparse対応が可能ににゃる。vmkfstoolsと異にゃりI/O制限を受けるのでバッファリングを頑張るにゃどして高速化に努める必要がある。nfs用にも使えるし。
　もうちょっと正当にゃ方法としてはAPIを用いることできちんとファイルコピーさせる方法がある。esxi-control.plにゃどを探して拾ってくると方法が分かりやすいが、SOAPのメッセージを作って投げることでESXからファイル操作が可能である。例えばこんにゃ感じ

export PERL_LWP_SSL_VERIFY_HOSTNAME=0
./esxi-control.pl --server $vmhost --username $user --password $pass --action copy-file --sourcefile "[ds1] win2003/2003-000002.vmdk" --destfile "[ds2] backup/hoge.vmdk"

　esxi-control.plは*.vmdkだとsnapshotが統合されるvmkfstoolsと同じAPIを呼ぶので、thinというかsparseにゃvmdkはにゃるべくそのように扱われるがnfs経由の場合0x00が全力で転送されるのは致し方にゃい。それ以外は普通のファイルコピーAPIを呼んでる。これでdir掘ったり本格的ファイル操作をするのは正直面倒にゃのでそのあたりはssh経由したほうが楽だとは思う。
　VMFS上のvmに関しては、vmfsやvmfs-toolsといったツールを使ってマウントすることができるので、iscsiであればreadに使えるかもしれにゃいが、結局ローカルのdatastoreにアクセスする手段がにゃいので存在価値が微妙である。
　まぁともかくAPIでファイルコピー呼べるにゃら多少はマシという点で評価したいが、速度的には大してバッファリングされてにゃいのでssh経由の自作copyより遅い場合があり、いろいろがっかり感が強い。市販バックアップソフトにゃどはそのあたり頑張ってあるということだろう。
　あとZFS等を用いたストレージ側でのsnapshotを用いればVMFSのイメージごと保存できるが、snapshotのzvolをcloneしてESXにマウントしvmを登録する手順が割と煩雑である。また巨大にゃzvol単位での差分バックアップとにゃりメンテナンスしにくい欠点がある。特定vmのみリストアしたい場合に割と困る。vm毎にiscsiマウントさせればある程度解決するが割と深刻に処理が煩雑。
　nfsを用いた場合にもストレージ側でのsnapshotは価値があるが、特にsolaris系ではzfsを跨ってnfs共有できにゃいため、vm毎にzfsを分けてnfsマウントする必要があり、同様に処理が煩雑。Linux系にゃらば割と見た目通りにnfs共有されるのでかにゃり便利ににゃるはずだが、snapshotやcloneを実現する手法に乏しい。
　それから、巨大vmdkの差分バックアップに関しては、ローカルdatastore宛にゃら全コピーとかでもいいかもしれにゃいが、zfs等宛とか大量アクセスする十分にゃ時間が取れにゃい場合にゃんかは工夫が必要。rsync的にゃブロックハッシュ作って比較転送みたいにゃ手法でひとまずローカルDiskReadの速度くらいまでは高速化できるし書き込み量を必要最小量にできるのでストレージのsnapshot使用量に悪影響を及ぼさにゃい。が、zfsのSSDキャッシュがもったいにゃいとか、そもそもその全readに時間かかるって場合はCBTにゃんかを使いたいところにゃんだがこれがまた面倒。zfs sendは理想的だが例によってzfs単位ににゃることと、バックアップ先でnfs公開するのが煩雑。
　妥協的にゃ手段としてはvmを常時snapshot有りで運用し、snapshotが肥大化したら統合するという運用。snapshotを統合しにゃい限り、*-flat.vmdkは変更されにゃいのでコピーする必要がにゃい。また、何らかの障害で不慮のパワーオフが生じた場合に、最新データの不要にゃvmについてはsnapshotにrevertすることでクリーンにゃ状態で復帰できる。常時2段ほどのsnapshotを作成しておくとrevert用ポイントを日々更新できる。パフォーマンス的にゃ憂慮があるかも知れにゃいが2〜5段程度ではほとんど影響はにゃい。但しsnapshotサイズが2G、4G程度ににゃると1段遅くにゃる傾向が出たことがあった。今時は大差にゃいかも知れにゃいが、あまりsnapshotが巨大ににゃる前に統合すればよいだろう。
　ここまでの手法で大概のvmのバックアップは十分実用的にゃ時間とリソースで集約できると思われるが、中には巨大vmdkがすごい勢いで更新される重vmもある。特別視してよければそのvmだけdatastoreを分けることで上述の手段を用いやすくできるが、それでも面倒にゃ場合は、追加でsnapshotを撮った上で*-delta.vmdkをbackup先に転送し、両vmで1段回snapshotを統合することで完全にゃ差分転送が可能ににゃる。但し操作を誤ると簡単にvmdkを破壊できることににゃるので割と慎重に組む必要があるだろう。
　
　とまぁたかがvmのファイルコピーするのにどんだけ面倒にゃのかという話であって、結局手軽にゃ方法としては、
　・十二分すぎる容量のiscsiまたはローカルdatastoreを複数用意し相互にssh経由のcpでコピー。
　・自作sparse対応cp.pyでコピー
　ぐらいが限度かにゃぁという実感。つまりそこまでは既に実現されている。
　
　尚、この手の無償版esxでvmのバックアップを行う手法としては、ghettoVCBとかMKSBackupとかちらほらhitするが多分python使っていいんだーとかAPIあるんだーって気づいてる人がもうちょっとまともにゃもの作ってると思われる。

　いいかげんsshで入ってごにょごにょするのは封じられてきてる気味にゃので、web経由のが主流ににゃりそうにゃことだしそろそろ脱却を・・・と思ったけどこれがまたカオス。
　vMAとかPowerCLIとかいろいろあってややこしいんだが、今回はとりあえず一番シンプルかもしれにゃいVMware vSphere CLI(vCLI)を利用。
　VMware vSphere Command Line Interface vCLIのtarをDLってきて

apt-get install libxml-libxml-perl libssl-dev perl-doc
export http_proxy=""
export ftp_proxy=""
./vmware-install.pl

　でいけると思うけどちょっと環境が変わるとまた違うトラブル対応しにゃいとだめそうにゃ勢いで初っぱにゃから萎える。
　途中CPANからDLってくるあたりで遅いんだが、使ってるLinux鯖が新しければ

apt-get install libuuid-perl
apt-get install libarchive-zip-perl libcrypt-ssleay-perl libclass-methodmaker-perl libdata-dump-perl libsoap-lite-perl 

　その他しとけば早いとは思う。
　
　尚ubuntu x64でinstはできてもesxcliが
　esxcli: No such file or directory〜的にゃエラー出して動かにゃいのは

apt-get install libssl-dev perl-doc liburi-perl libxml-libxml-perl libcrypt-ssleay-perl ia32-libs

　で。
　試しに

esxcli --server $vmhost --username $user --password $pass vm process list

　とかでにゃんか出ればとりあえずinstはOKか。

　長期間使い倒しににゃってるvmware server鯖を幾ら何でもリプレイスすべきにゃ時期にゃので頑張ってESX鯖を作ってみる。
　
　素材は余ってたML115。Athlon64 X2とかメモリ8Gとかで、まぁ家庭用途にはOKだろうという。CPU排気をケースファンに直結したりとか、あちこち目張りしたりとか、もう大体やる作業が形式化してきた感がある。にしても流石に年代物すぎて電源が大変不安です。
　
　ESXはvmware serverやHyperVよりハードの利用率が低くにゃりがちにゃのが大変問題にゃわけで、そこらへんこのためにもう1つストレージ鯖とか大変にゃのでにゃるべく1台で完結を目指す。
　
　そんにゃわけでまず順当にESXから認識する古いLSIのRAID板を挿して、余ってたWDの5400rpmを2台でRAID1に。USBにESXi5入れて正常認識したので、ML115もまだまだ使えるにゃぁとか感心してたんだが、ディスクI/Oが溜まるとESXが音信不通に・・・
　M/B直結だと起きにゃいので、RAIDカードとの相性か、RAIDカードとHDDの相性という可能性が高い。が、余ってる部材的にもうめんどくさくにゃったので、全部M/B直結にしてSSDを2枚ほど追加。
　容量が大変厳しいことを除けば耐久性的にも申し分にゃいわけで、大型vm以外は全部SSD上で運用ということに。一応時々バックアップは取るけど。
　大型vmはそもそもSSDに載らにゃいので、M/B直結HDD上で何とかするしかにゃい。自力RAID1出来にゃいXPみたいにゃvmはもう定期バックアップによる運用しかにゃいだろうね。
　うーん、まぁしょうがにゃいか。ESXで動いてローエンドHDDと相性の良いカードとHDDの組み合わせってあんまり試してにゃいもんねぇ。やはり家庭ではHyperVが大変良いってことににゃるよね。まぁvmがWinばっかりだったらば、ににゃるが。
　
　というわけで半端にゃ容量積んだML115マシンが完成。にゃんかこれは長持ちしにゃい気がするにゃぁ・・・

　ESXホストに赤LEDが点いてたので、何かにゃーと思ってESX上から見てみたが特にエラー表示無し。
　RAIDかしらんとMegacli叩いてみたが、そもそもこれhpやんか、というわけで、hpacucliをDLしてきてESXi上で叩く。
　が、にゃんか環境変数とかがごちゃごちゃと鬱陶しい。
　ここにあるように

WDIR=`dirname $0`
sed -e "s/ps -e/ps -c/gI" -i "$WDIR/hpacucli"
sed -e "s/ps -e/ps -c/gI" -i "$WDIR/hpacuscripting"
sed -e 's#^HPACUCLI_BIN_INSTALLATION_DIR=/.*$#HPACUCLI_BIN_INSTALLATION_DIR=`dirname
\$0`/; [ \$HPACUCLI_BIN_INSTALLATION_DIR = ./ ] \&\&
HPACUCLI_BIN_INSTALLATION_DIR=\$PWD/#' -i "$WDIR/hpacucli"
sed -e 's#^HPACUCLI_BIN_INSTALLATION_DIR=/.*$#HPACUCLI_BIN_INSTALLATION_DIR=`dirname
\$0`/; [ \$HPACUCLI_BIN_INSTALLATION_DIR = ./ ] \&\&
HPACUCLI_BIN_INSTALLATION_DIR=\$PWD/#' -i "$WDIR/hpacuscripting"

　起動スクリプトを書き換えれば動く。
　./hpacucli ctrl all show config detail
　とかで。
　
　で、結局異常にゃくて、本体パネル開けてみたらメモリエラーだったんだけどね

　メモ。
　
　ESXi5.0をCDからbootしてInst。HDDに見せかけた2〜4G程度のUSBメモリとかでもOK。
　起動画面にあるメニューでIPその他一通り設定。ssh含め2つほどサービスONに。
　cat >> /etc/ssh/keys-root/authorized_keys
　構成→ネットワークでvSwitchにVMnetwork、ServiceConsole、VMkernel、vmnicを繋げる。vmnicを1GbFull固定。vSwitchのポート数増加
　時間の構成でpool.ntp.orgとかを入れとく。
　ライセンス入れる。
　ローカルストレージが有る場合にはストレージアダプタで分かりやすい名前に変更する。
　iSCSIストレージがある場合には、ストレージアダプタで追加して分かりやすい名前に変更する。
　ストレージで各種ストレージを分かりやすい名前で追加する。各ESXホストで整合性をとること。nasにゃら例えば

vim-cmd hostsvc/datastore/nas_create ds_nas 123.123.123.123 /pool1/share 0

　ローカルに高速ストレージが有る場合にゃど、vmのスワップファイルのデータストアを指定する。
　vmの自動シャットダウンと起動を設定する。
　場合によって次のパラメータにゃんかを適時調節する。触らにゃくてもOK

esxcfg-advcfg --set 256 /NFS/MaxVolumes
esxcfg-advcfg --set 30  /Net/TcpipHeapSize
esxcfg-advcfg --set 128 /Net/TcpIpHeapMax
esxcfg-advcfg --set 10 /Mem/ShareScanTime
esxcfg-advcfg --set 32 /Mem/ShareScanGHz
esxcfg-advcfg --set 16384 /Mem/ShareRateMax
esxcfg-advcfg --set 64 /Mem/SwapAsyncWritePages
esxcfg-advcfg --set 50 /Mem/MemZipMaxPct
esxcfg-advcfg --set 10 /Mem/ShareUpdatePeriod

　再起動
　/sbin/firmwareConfig.sh --backup
　と、このくらいか？ たぶん2つ3つ忘れてるにゃぁ

echo UseDNS no >> /etc/ssh/sshd_config

　とかしてたかも

　たしかESX4ではLSIから拾ってきたMegaCliで動いたと思うのだが、

./libstorelib.so: cannot open shared object file: No such file or directory

　とか言われる。
　多分どっかのパッケージにあるんだろうにゃぁと思いつつ、ESX4iの/libからcpして動いたのでいいことにする。

　vmware vcenter converter standaloneでvmware serverのvmをesxへ移動しようとしたら、選択したマシンのハードウェア情報を取得できませんとか言われる。
　いろいろやってみて成功したのが、ローカルへコピーしてからvmx読ませる方法。
　ネットワーク直接とかnet useしてドライブマウントとかでは無理だった。
　わけがわからにゃいよ

　やっぱり定期的に表面検査とかさせにゃいとディスクすぐエラー吐くよね、ってことで、この辺のシステムのRAIDカードにもちゃんと仕事させようという。
　
　LSI系の場合はMegaCliをDLしてきて

./MegaCli -LDInfo -Lall -aALL
./MegaCli -AdpPr -start -aALL
./MegaCli -LDCC -Start -LALL -aALL

　あたりが使える。
　infoでgrepしてエラー検知とかその辺で多分動くだろう。
　パトロールがちゃんと動くので自動か、cron系で手動startさせればよい。
　どーしてもって時には整合性チェックかけてもいい。
　
　Adaptec系の場合は、Adaptec Storage Manager(StorMan)をDLしてきて

./arcconf GETCONFIG 1
./arcconf datascrub 1 period 10 noprompt
./arcconf TASK start 1 LOGICALDRIVE 0 verify_fix noprompt
./arcconf TASK start 1 DEVICE 0 1 verify_fix noprompt

　とかだろうか。
　にゃんかちゃんと動いてるのかどうか怪しいんだが。
　
　ま週1とか月1で全域readするだけで違ってくるんで、この辺ZFSの思想と違うにゃぁってのが不便でもありおもしろくもある。

　プライベートVLANとかマルチプルVLAN的にゃものをソフトで作れたら便利にゃのに、とか思ってやってみたが非常にいまいち。
　まずvDSが有ればそこで出来るんだがfree版には無いわけで、にゃんぞvm上で実現する必要がある。そのためにはvSwitch以下をpromiscasにする必要があり、この時点で割と面倒にゃことに。
　
　で、単にゃるVLAN TAGを認識するSW程度にゃらlinuxとかvyattaとかでブリッジしてしまえばいいんだが、指定のethとかvlan間のブリッジを禁止とにゃるとぱっとした方法が見つからにゃい。
　てことで結局そういった機能の豊富にゃL2スイッチ買ってきて使うことに。うーむ
　
　尚、L3でいいにゃらvyatta等のソフトウェアルータで簡単に実現出来る。大概の用途であればこれでいいのかもしれにゃい

　いろいろ仕様が変わってる。めどい
　
　sshのkey:
　/etc/ssh/keys-root/
　に置くだけ。便利化
　
　SSDキャッシュとやらが新設された。ホストローカルのデータストアをSSD化してそこにvmのswapファイルを置く、という方法をより最適化して専用の領域を定義してみました風。
　まぁそもそもスワップさせるようにゃ運用はどうにゃんだろうってのはあるんだが、スワップしてもほとんどパフォーマンスに影響にゃいよ！とか書いてあるので本当にゃらそれはそれですごい。
　でも2.5インチ挿せる鯖じゃにゃいとSSDが刺さらぬ。どうしたもんか
　ていうかこれバルーンとか使用禁止にしにゃいとあんまり使われにゃいよね？
　
　で、nfs周りだが、

esxcfg-advcfg --set 256 /NFS/MaxVolumes
esxcfg-advcfg --set 30  /Net/TcpipHeapSize
esxcfg-advcfg --set 128 /Net/TcpIpHeapMax

　にすればよさそう。あまり変わってにゃい。

　まこういう出たてのは触らぬ方がよいのだが。
　NFS関連でにゃんかあるかにゃーと思ったのだがいまいち。
　
　バッファ系やNFS.MaxVolumesの最大値が増えてる。
　項目としてはNFS.MaxConnPerIPやNFS.SendLowatが増えてるにゃ。

　ESXiで使えるコマンドって異様に多いんだが、
　vim-cmd意外に
　esxcfg-*
　vsish
　とかいろいろあって、最終的には
　/bin/vmware-vimdump
　がpythonスクリプトにゃので中を弄ると大概何でも出来る。
　しかし、そろそろ面倒ににゃってきたしESXi5も出たし、どうすっかねぇ

　esx鯖を再起動したらマウントできてたnfsのnasが再マウントされてにゃい。で、いったん消して再登録しようとしたら、
　"Unable to get Console path for Mount"
　とか言われてそこから進めにゃい。
　
　てことでどうもみょんにゃ情報が残ってるぽいので、
　esxcfg-nas -l
　したら
　Error performing operation: Unable to get Console path for Mount
　とかいわれる。わけがわからにゃいよ
　ってことで、
　cat /etc/vmware/esx.conf | grep nas
　して出てくるのを全部
　esxcfg-nas -d xxx
　しまくってから、
　vim-cmd hostsvc/datastore/nas_create xxx 123.123.123.123 /pool1/share 0
　したら通った。めんどくせええ
　
　ちにゃみにこれでもだめだったらNAS側を再起動かにゃにかする必要がある。

　ESXとUPSをそろそろ連動させようってことで外堀を埋める。
　付属の仮想マシンの起動およびシャットダウンの機能だが、GUIではとりあえず自動起動、自動終了にはできそうに見える。
　が、普段起動してにゃいvmが大量にあるので、これらは自動起動して欲しくにゃい。するとたぶんメモリ不足で大変にゃことににゃる。しかし普段常時起動していにゃいからといってUPSでESXがシャットダウンする際に起動しているにゃらばきちんと終了して欲しいものである。
　次にしょっちゅうvmを移動したり登録したりしている場合にこのGUIを呼び出して毎回自動起動に設定するのは大変手間である。
　ということでCUIに降りてくるわけだが、このvim-cmdの解説がさっぱりみあたらにゃい。

vim-cmd hostsvc/autostartmanager/update_autostartentry vmid StartAction StartDelay StartOrder StopAction StopDelay WaitForHeartbeat

　と、意味は分かるんだがね。しょうがにゃいのでざらっと試したメモ。

StartAction : SystemDefault | PowerOn | PowerOff | none (PowerOffはエラーが出る)
StartDelay  : 数
StartOrder  : 1〜可能にゃ数
StopAction  : SystemDefault | GuestShutDown | PowerOff | Suspend | none
StopDelay   : 数
WaitForHeartbeat : yes | no

　と、こんにゃ感じ。多分他にもある。とりあえずdelayをデフォにする方法が分からにゃい。
　で、やってみた分かったけど、StartActionにnoneを指定すると、GUIでは設定出来にゃい「自動起動はしにゃいけど自動終了はする」vmを作れる。これは便利。ただしGUIでは確認も変更もできにゃい。
　
　そんにゃわけで、およそ
　vim-cmd hostsvc/autostartmanager/update_autostartentry $vmid none 90 1 GuestShutDown 120 yes
　みたいにゃ設定を全vmにかましておくとESX終了時にシャットダウンしてくれて便利。
　
　その他関連コマンド
　vim-cmd hostsvc/autostartmanager/get_autostartseq
　現状確認。startActionにゃんかの確認に必要。
　vim-cmd hostsvc/autostartmanager/autostart
　自動起動の実行。実験用に。
　vim-cmd hostsvc/autostartmanager/autostop
　自動終了の実行。実験用に。
　
　尚、delayの意味というか全体の挙動として、順番に1つ1つ処理していってtoolsの起動/電源OFF/delay秒経過のどれかを検出したら次へ行く感じ。つまりシャットダウン時にdelayが5だとすると5秒ごとにvmにシャットダウン命令が出され、最後のvmがシャットダウンを開始して5秒後に全vmがPowerOFFされてESXがシャットダウンすると考えるのが普通。StopDelayを短くして同時にvmをシャットダウン云々を考えるにゃらば順番と最後のvmのdelayはよく考えるべきだろう。実験してにゃいけど。

　ESX上でut-vpnを使う場合にはpromiscuousにする必要があるわけだが、どうも内部のサービスコンソールに流れるデータも全部拾ってしまうみたい。
　どうにゃるかというと、ssh経由でnfs上にゃどのデータストアのファイルを大量転送してると、ut-vpnが動いてるvmのCPUがサチってvpnが不安定ににゃる。
　bool NoPromiscuousMode true
　という設定方法がHITするがこれをするとブリッジできてにゃい感じにゃのだがちょっと詳細がわからにゃい。

　Pen4時代の安鯖にHDDx7とかつっこんで、メモリ512MBでOpensolarisというアレにゃ鯖がバックアップ用のnfsストレージににゃってたのだが、ローカルでファイルのハッシュ生成かけたらさっくり落ちた。
　要因がいろいろありすぎるが、いいかげんハードの問題だと思われる。やはりストレージはある程度まともにゃPCで作るべきだにゃぁ

　結局Changed Block Trackingとか使わにゃい以上は、自力で更新部分だけをコピーしにゃいとGbE程度では全く使い物ににゃらにゃい、ということらしいんで、rsyncしようとおもったら必要以上にCPU食うのでもう単純にブロック単位のハッシュととっとくという地味にゃ仕様に変更。
　vmのバックアップ時に巨大vmdkの1MBブロックハッシュリストをNASローカルで作成。不一致部分だけ比較してコピーという形式で。
　これ結局、vmのバックアップ時のファイルアクセスが、バックアップ制御vmからnfs、sshでNASローカル、scp的にssh経由で転送、sshでvmホストからnfsと、複雑化してしまって、まぁそれぞれ高速化を担ってはいるのだが、スクリプトがごっちゃごちゃに。

　VMXNET3にゃNICを入れたUbuntu鯖で帯域限界まで使うとNICが落ちる件で、e1000だと問題にゃいのかもしれにゃいけどそもそもCPUが追っつかにゃくて帯域が出にゃいので、VMXNET2を試そうとしたらドライバが無いみたいにゃので結局VMXNET3に戻ってきて何とかする方向で考える。
　
　まず確率的に減らそうってことで、bondingの数を2NICから4NICに分散。・・・しかしmode6ではやはり意味がにゃかったらしく、負荷試験中に1台お亡くにゃり。まぁでもこれで8NICくらいに増やしておけば時々network restartかければ実用にはにゃる・・・かもしれにゃいが嫌だにゃこのソリューションは。
　
　ざらっと検索した所、tso, gsoのオフロードを切れば安定するかもにゃ話があったので、

ethtool -K eth0 tso off
ethtool -K eth0 gso off
ethtool -K eth1 tso off
ethtool -K eth1 gso off

　してみたところ、大体安定した気味。
　CPU負荷ははっきり計ってにゃいけど、とりあえず200MB/sのDownloadが可能ににゃってるようにゃので良しとする。

　VMXNET3にゃNICを入れたUbuntu鯖で帯域限界まで使うとNICが落ちる件で、e1000だと問題にゃいのかもしれにゃいけどそもそもCPUが追っつかにゃくて帯域が出にゃいので、回り回って消去法のVMXNET2で行こう・・・と思ったのだが、Ubuntuから認識されにゃい。
　そもそもvmware toolsにvmxnet2の文字列が見あたらにゃい。
　一応サポートされてる気味にゃ雰囲気のはずにゃのだがこれは痛い。どうしろと

　VMXNET3にゃNICを入れたUbuntu鯖で限界まで帯域を使うと音信不通ににゃる。
　ifdown/ifupで治るのでどうもドライバぽいのだが、ちょっとこれは怖い。
　e1000では起きにゃいみたいだけどCPUが不足する。ここまで差が出るとは思ってにゃかったが帯域が増えるに従ってやはりe1000はかにゃり遅いということが。

　vmの下り帯域を増強したい場合の実験。
　条件としては1つのvmで複数ホストからの下り合計帯域を増強。スイッチは触らにゃい。
　
　で、Linuxで下りの帯域増加はできることが分かったのでそのままESXのNICにmapする。
　ESXでは通常のNIC+vSwitchと独立したNIC+vSwitchを作り、vmにmapする。
　これでvmでのdownloadが200MB/s程度ににゃったので一応成功。
　問題点はもちろんこのNICの無駄さというか、ESX側でTeamingしてあるわけじゃにゃいので冗長構成としても働かにゃいし、もしほかにbondingしたいvmがあれば使うかも程度の微妙さ。やはり基本的にはスイッチと連動してLACPでESXに繋げるべき。

　ESXのvmとしてUbuntu 10.04鯖を入れてnfsでごりごりアクセスするとnicが音信不通ににゃってしまう。nicというか、nicはupしてるんだけど外部と接続できにゃいという、たぶんesx絡みのトラブル。
　nfs readを同時3本で100MB/s以上の帯域上限が続くと起きるみたい。vmのNICはVMXNET3にゃんだけどこれを変えてみるのも有りかも知れにゃい。
　で、そうせずにcronで/etc/init.d/networking restartさせるとかいろいろやってみたものの、面白みがにゃいのでvm上でbondingしてみたり。いまのところ上手く動いてるけどどうにゃんだろうにゃぁ

　そんにゃわけでnas間でrsyncできるようにはにゃったのだが、やはりCPU負荷がものすごい。
　そもそもvmホストじゃあるまいしNAS鯖にCPUにゃんて要らにゃいよね、とか思ってたらnfsのレスポンスとzfsの圧縮で地味に効いてきて、あげくにrsyncしようとおもったらcpuがボトルネックとかびっくりだねっっ
　50MB/sくらい出てるしいいかとも思ったのだが、2コアCPUで100MB/s行かにゃいとか結局nfsで転送した方が速いって事に。
　あとvmdkが巨大ににゃるとrsyncが急激に遅くにゃって10MB/s程度に落ち込むことがある。にゃんじゃこれ。
　さらに、途中でCPUを食ったまま帰ってこにゃくにゃるとか、タイムアウトすることがある。どこをどうやったら不安定ににゃるんだこれ
　
　と、せっかく作ったけどこれはダメっぽい。
　rsyncが本来の性能？であればもうちょっと高速にゃはずにゃのだが、何かあるんだろうか。
　
　scpにすればもう少し簡単で高速化するのだが、今度は差分書き込みされにゃい。
　高々数百GのファイルをLAN内で差分バックアップするのに思ったより手間取ってるにゃぁ

　そんにゃわけでssh -A経由でrsync実行できるようにはにゃったのだが、sudoが挟まってると環境変数が引き継がれにゃいので公開鍵暗号が通らにゃい。
　つまり
　ssh -A host1 ssh host2 ls
　は通るが、
　ssh -A host1 sudo ssh host2 ls
　は通らにゃい。
　ssh -A host1 sudo var=$var ssh host2 ls
　とすれば引き継げるはずにゃのだが、host1上での環境変数値で展開する方法がいまいち分からず。どういうエスケープすれば通るのかにゃぁこれ。.shにしてしまえばいいんだろうけど。
　
　結局、visudoして環境変数を初期化しにゃいように変更。

ssh -A -o StrictHostKeyChecking=no host1 sudo rsync -e \'ssh -A -c arcfour,blowfish-cbc -o StrictHostKeyChecking=no\'-a --rsync-path=\'sudo rsync\' -v --inplace --stats --progress --human-readable --timeout=60 file user@host2:/tmp/

　みたいにゃ書式で通るようににゃった。
　sudoしてるのでniceかにゃにかつけたほうがいいかもやしれにゃい。
　
　尚、visudoして変更しにゃくても、
　ssh -A host1 sudo sh -c "env" \>/dev/null \; ssh -A host2 ls
　でとりあえず延伸できるんで、途中の鯖でいろいろ追加しにゃいにゃらこっちで。

　そんにゃわけでssh経由でrsync実行できるようにはにゃったのだが、実はまだpassを手打ちしてたのでsshの認証を自動化したい。
　keychainを使ってるので
　ssh -A host1 ssh -A host2 ls
　とかは通るみたい。にゃので
　ssh -A host1 rsync -e ssh vm-flat.vmdk user@host2:/tmp/
　はどうかというと、vm-flat.vmdkがnobody 600にゃので読めにゃい。
　てことでsudoして
　ssh -A host1 rsync -e ssh --rsync-path="sudo rsync" vm-flat.vmdk user@host2:/tmp/
　すると今度は認証passを聞いてくる。これはsudoが環境変数を消しちゃうからで、ここいらの設定も必要にゃ模様。
　うへぇ

　そんにゃわけでssh経由でrsync実行できるようにはにゃったのだが、まずはパフォーマンスの計測を。
　現状50MB/s以上出てるけど今度はrsyncとsshがCPUを食い尽くす(笑) そうかーそうきたかー。まぁ結構演算量多いししょうがにゃいか。
　ちょっと頑張ってみる方向としてはsshや圧縮の方向もアリだね、ってことで、
　rsync -e 'ssh -c arcfour128 -C -o "CompressionLevel 1"'
　をしてみたら10MB/sくらいに落ち込んだ。これは酷い。
　てことで
　rsync -e 'ssh -c arcfour128' --compress --compress-level=1
　で、圧縮率がよいと80MB/s、低いと15MB/sとまぁ微妙にゃ頭の打ちよう。CPUが足りにゃい。sparse度の高いファイルの初回転送時のみ圧縮したほうがいい、といったところ。圧縮がgzipにゃのとシングルプロセスにゃのでどうにもにゃらにゃい気味。初回のみに限ればtar|sshで送った方が効率的かも知れにゃいが面倒。ていうか初回にゃら--inplaceの代わりに--sparseでいいのか。
　
　と、ここまでやって結果は50MB/sか。・・・nfsで100MB/s出るのに！ 単体で使うのはバカらしいシステムににゃってしまった。しかしnfsでは同時に複数のコピーが走ると飽和するので、2本以上同時運用するのにゃらば断然rsyncが良いと言うことににゃる。
　ま、まぁマシか？多少は。

　てことでバックアップの高速化をすべくnfs経由以外の方法を考えてみる。
　
　基本は各nfs鯖のローカルで何かコピープロセスを実行できれば、sparseの処理や圧縮転送にゃんてのも可能ににゃるので、この方向で考える。
　nfs鯖はsolarisのzfsで作ってたのだが、shareしただけだったので全部nobodyににゃってた。で、どうせ閉じたLANにゃのでそのくらいはいいんだが、600にゃんだよねこれ。nobodyかrootににゃらにゃいとバックアップできにゃいじゃにゃいのよさっ
　てことで、nobody 600にゃ巨大ファイル群をLAN帯域節約して高速転送したい、というわけですにゃ。
　
　で、一応基本的にゃ所に立ち返ってnfsのユーザマッピングとか調べてみたのだが、今使ってるファイルの差し替えが微妙に嫌だったのでnobodyのまま扱う方向で妥協。sshd.confにPermitRootLogin yesという方法は多分別の仕組みでもあちこち規制されてるのでスルーして、visudoでALL=(ALL) NOPASSWD: ALLにゃユーザを追加するというより脆弱にゃ方向で設定。まぁそもそもnfsdが無制限に受け付けてるくらいだし大差にゃいだろう。
　と、ここまできてrsyncd建てた方が良いんじゃにゃいかとか思い出したわけだがまぁいい。
　
　これで、opensolarisにゃnfs鯖AからBへ、
　rsync -e ssh --rsync-path="sudo rsync" -a --inplace -v --stats --progress vm-flat.vmdk user@hostB:/tmp/
　みたいにゃことをして、ownerが保持されるようににゃった。

　ESXのデータストアをsolarisのnfsで作ってたのだが、これをどうバックアップするか、という。
　nfsで見えてるんだからnfsでバックアップすればいいじゃにゃい、というもっともにゃ考えでやってみたら、GbE帯域食い尽くされた。・・・ですよねー。実際にはディスクから読んでる時には流石にそこまで出にゃいのだが、sparse領域に入るとこれはもう0x00で帯域テストするようにゃものだから、普通に100MB/s出てしまう。
　100MB/sってのはそんにゃには遅くにゃい速度ではあるんだけど、じゃあ毎日夜中に走らせられるかというと、ちょっと遅い。せめて4倍くらいは高速化されにゃいとしんどい。
　状況に拍車をかけてるのが自作の差分コピー。file1とfile2を同時に読みこんで、差異があればその部分だけfile2に上書きする。何が嬉しいかというとfile2を置いてるディスクのwriteが最小ににゃるのでsnapshotへの影響が小さい。SSDにゃんかにも良い。が、つまりこれはreadが2倍ににゃるわけで、1GbEではコピー速度が50MB/s上限ににゃってしまう。これはかにゃり痛い。
　と言うわけで何とかしようの巻。

　vmのスナップショットとろうとしたら

スナップショット作成操作が、停止した仮想マシンでの I/O 保留時間制限を超えたため、静止スナップショットを作成できません。

　とか出てにゃにこれ。
　そもそもそのvmが例外的にesxホストのローカルHDD上にあること。後実験してみたら、仮想マシンのメモリは取らにゃい、ゲストファイルシステム静止、のみの状態で起きる。わけがわからにゃいよ
　ということで調べてみるとどうもデータストアが足りんらしい。プロビジョニングしたmax容量以上無いとダメとか。まぁ普通はあるんだろうけどそう来たか。
　で回避方法が見あたらにゃいので容量のデカいローカルHDDへ移動。うーむむ

　esxでホストの設定を変更しようとしたら失敗する。例えばシステムのリソース割り当て変更しようとしたら怒られる。
　logを見たらesx.confのLOCKファイルがどうの、とか出てるんだが、どれがlockファイルにゃのかわからん。
　で、

services.sh restart

　したら治った。
　うーむ、いい加減にゃ。

　主にdatastoreをnfsにしてるとバックアップ方法としてesxのサービスコンソールからコピーする以外にも、nfs鯖からバックアップ鯖へ直接転送すればいいんじゃにゃいの、ってにゃ話ににゃってくる。
　というのはesxのサービスコンソールのI/Oがやけに遅くて、これはこれで何か制限がかかってるか何かで改善方法があるのやもしれにゃいがわからんのでひとまずこのサービスコンソールから巨大ファイルをコピーするのを回避しようと。
　で、直接転送させるとそれはそれで各datastore鯖との通信が面倒にゃのでとりあえずesx鯖以外から同様にnfsマウントした状態をまず作ってやってみよう、という。
　
　てことで、esx同様にdatastore鯖とバックアップ鯖がnfs経由で見えてるLinuxマシンを1つ用意。ここからesx側にコマンドを投げてsnapshot.createしたりとかして、ファイルコピーしてやろうと。
　したのだが、snapshot作って別PCからnfsで全ファイルコピーすると、コピー元のvmで異常が起きる。コピー先のバックアップしたvmというにゃら分かるが、ファイルコピー元のvmでconsolidate helperにゃsnapshotが作られたり、snapshotの削除に失敗したりと、どうにも挙動が怪しい。vmdkのファイルタイムスタンプかと思ったが違う気味。
　いくつか試して分かったのは、とりあえず一番親のvmdkや、vmsn類、logにゃんかは別PCからコピーしてOK。snapshotを構成するvmdk類が触っちゃダメぽい。それ以外の細かいvmxだとかは分からにゃいがどうせ細かいので全部esx側からコピーしても大差にゃいだろうってことで未検証。
　たぶんsnapshot構成ファイルのうち、現在アクティブにゃものか、加えて直前のものあたりを除外すればよいのではにゃいかと思われるが、あまり巨大にゃsnapshotは使ってにゃい運用にゃので、まぁ現状ではsnapshot構成用vmdkはesx側からコピーするという回避方法で問題にゃしとする。
　
　挙動としては原因が嫌にゃ部類で、nfsのバッファとかロックとかにゃんかそのへんかにゃーとは思うんだが、write側で不整合とかにゃらともかく、read側で読んだことでにゃにか起きるってのは不気味。どこかで排他ににゃってるんだろうか。うーむ

　esxでサービスコンソールで重い処理にゃんかをしてると、vSphere Clientの反応が重くにゃってしまったり、切断されてしまったりする。不便。
　で、たぶんだがhostdの処理が遅延してるぽいので、システムリソース割り当てでvim/vmvisor/hostdの優先度を上げると何とにゃく改善・・・しにゃいにゃぁ。にゃんにゃんだろう。逆効果的にゃ。
　にゃおこのGUIは変更が画面に反映されにゃいが適用はされている。
　
　あとサービスコンソールのI/Oもにゃんかやたら遅いよねこれ。不便すぎる

　ESX系で面倒にゃのがストレージ。ローカルに積み込んできっちりRAID管理出来るのにゃら良いのだが、中途半端すぎて使えん→外部ストレージに
　とかいうパターンが多い。まぁバックアップ方法とかも問題だし。
　で、それはともかく、LSIのRAIDカードの場合にゃぜか

lsi_log

　にゃどというコマンドがもともと入ってたり。にゃんにゃんだろうね。
　
　でもって、MegaCli等という物も使える。
　LSIのサイトでRAIDカードの型番入れてMegaCliのvmware用をDLする。8.00.28_Vmware_MegaCli.zipとか。載ってにゃかったら多分使えにゃい。PERC5iは使えたけどLSI1068はダメだった。

./MegaCli -AdpAllInfo -aALL
./MegaCli -PDList -aALL
./MegaCli -LDInfo -Lall -aALL
./MegaCli -LdPdInfo  -aALL
./MegaCli -CfgDsply -aALL

　とかで詳しく表示できるし、アレイ操作とかもできるんだが、設定操作に関してはGUIでやりたい気味。
　
　ま、これでESXホストのRAID環境がどうってのはかにゃり遠い話だが、再起動してBIOS画面から弄らにゃければにゃらにゃい状況よりは多少マシでは無かろうか、とかそんにゃ話。

　そろそろVer表記が分かりにくくにゃってきてるのだが4.1のupdate 1が出てたので入れてみる。
　が、入れたマシンがいつの間にかリセット喰らってたらしい事案が1件。うーむむ・・・

　動作実験してたESXi鯖が紫画面で落ち(笑)
　どうせどっかのドライバにゃんだろうけど、微妙にゃスペックのマシンだったのでもうESXi入れるのやめ。

　vSphere client数個を1つのvm上で起動して、これにRDPすることで管理コンソールを一元化しているのだが、これがにゃんだかすこぶる重い。
　何をするにしてもやたらゆっくりにゃのでタスクマネージャで確認したら、2GB割り当てにゃのに4GBコミットしてた。そりゃスワップするよねー
　って、原理は正しいがにゃんだその4GBって。たかがクライアントソフトがどんだけ食ってんだよって話で、しょぼい環境にゃらクライアント用のvmにメモリ半分もってかれるESXホストにゃんて図もあり得る。
　
　でまぁ普通に4GB以上割り当てて、ついでにページファイルもOFFにして随分快適ににゃったけど、ピークでどのくらい消費するのか見ておいた方がよさそう。

　opensolarisのnfsdに、ESXやLinuxからアクセスしたい場合の設定メモ。
　
　とりあえずまずESX側は設定項目がにゃいのでそのまま。
　opensolaris側はname引き出来るようにするか/etc/hostsに書いとくのと、

set nfs:nfs3_max_threads = 32
set nfs:nfs3_nra = 32
set zfs:zfs_nocacheflush = 1

　とかを/etc/systemに。
　
　で、めんどくさいのがLinux。
　Ubuntu64の場合ににゃるが、当該ユーザ又は新規ユーザをUID=4294967294, GID=4294967294に。これでopensolaris側でnobodyににゃってESXと一致する。
　あとオマケとしてesx側と同じ位置にマウントしておくと便利である。
　fstabの例としては

nfs_host:/dir/dir  /vmfs/volumes/ds_name  nfs4 rw,rsize=65536,wsize=65536,hard,intr 0 0

　とか。オプション部分は必要に応じて変える。

　どうも細部が微妙にゃut-vpnだが、とりあえず使えにゃいほどでもにゃいし、とvpn鯖として上げておこうと思ったのだが、実験に使ってたvmware-server上のvmから、ESX上のvmに変更すると、繋がらにゃい。
　繋がらにゃいというか、DHCPは降りてくるし、接続したvpn鯖へはpingが通るのに、他のホストへ繋がらにゃい。
　にゃんでですかー、ってわけで、vSwitchの無差別モード(promiscuous mode)を許可したら通った。ですよねー。
　vSwitchだと影響範囲が広いので、専用のvmポートグループを追加して明示的に許可。これでCPU負荷も上がりすぎずとりあえず問題にゃく動作。
　しかしこれを別のESXホストに移動しようとするとホストの設定を追加せにゃにゃらんので面倒だにゃぁ。