せっかくだから高クロック&大キャッシュのCPUを、と思ったらこんにゃんに。17k。
　高いわ。
　まぁIntelよりマシにゃので自作にゃんて道楽だよねーとか自嘲しつつ。CPUにゃら中古でも良かったかもにゃぁ。
　CPUファンとかめんどくさいので標準のまま設置。大変埃が詰まりそうにゃ形状。

　最近の流行に合わせて、高効率電源をチョイス・・・しようと思ったら価格比較サイトが軒並み役にたたにゃかったり、評判の良い物は無駄に高かったりして、いい加減検索に疲れていい加減に選ぶ。
　永久保証とかいうどう見ても胡散臭い文句の書いてあるAcBelの80 plus silverにゃ600Wをチョイス。15k。うーん、たしか高いから他のにしようと思ったはずだがやっぱり疲れてる。まぁ中身はあまり納得は出来にゃいが保証って書いてあるし高効率だからそんにゃに発熱しにゃいので長持ちするだろう的にゃ発想だったかと思う。
　さて開封しようと思ったら箱が無駄に豪華。エコだの何だのと書くにゃらこの無駄に豪華で意味のにゃい化粧箱にゃんとかしろこら。
　で、配線が取り外せにゃいとか配線がえらく細い気がするとかはともかく、腑に落ちにゃいもの1つ発見。電源スイッチの横にベタにゃトグルスイッチが付いてるんだが、マニュアルに何の説明もにゃい。で、ごりごり検索して分かったことは、ファンのLEDスイッチだということ。うわどうでもいい・・・
　でまぁ普通にある程度静かで結構冷風が出てて、寿命はわからんがまぁそれにゃりっぽい感触。価格や他の選択肢は置いとく。だってよく分かんにゃかったんだもん！

　朝起きたらログオン画面に。
　ログオンしてみたら新規プロファイル。
　よく見るとSSDが見あたらにゃい。
　にゃるほど、pagefileもProfileもSSD上にマップしてあったから、起動中にSSDが見えにゃくにゃりゃそりゃ落ちるわ。
　とりあえずBIOSで確認してみ・・・BIOSには入れるのにBIOS上だけキーが効かにゃい。
　そこいらのUSBやPS/2のKBを挿してみても変わらず。これはBIOSが飛んだか？
　CMOSリセットかけてみるも変わらず。この時点でRAID構成がOFFににゃったのでboot出来ず
　VGAだの何だのを全部撤去しても変わらず。
　BIOSの問題だとすると、FDDを付けてBIOSを上書きすれば良いんだろうけど、大変に手間。
　悩ましい所にゃのでいろいろ変更していくと、DELL鯖用のUSBにゃKBを繋げばBIOSでキーが効くことが判明。
　順に復帰させていくと特に問題にゃく動作。にゃんじゃこれ。
　
　少にゃくとも問題が2つ。
　まずこのPCのBIOS画面では使えにゃいKBが3つ。これらが全て故障した可能性よりはM/B側がおかしい可能性の方が大きそうに見える。
　次にSSDが一時的にロストしたこと。これまた原因不明。何のイベントも無し。M/Bの胡散臭いMarvell SATAが原因にゃのか、1つ目の問題とリンクしているのか、SSDの問題にゃのか分からず。
　
　ひとまずそろそろ買い換えるかねー、という動機としては十分にゃ感じ。掃除したいし。

　システムのfile.open()相当でr+の読み書きモードで使う場合には、read,write前に必ずseekしておかにゃいと、どこ読んで書いてるのか不定らしい。
　大概rかwしか使わにゃかったので盛大にハマった。言われてみれば納得の仕様。

　例によってvmの世代バックアップってどうしたらいいのかにゃ話。
　1ファイル200Gとかで1週間に1回くらいこれが書き換わるようにゃものを世代で残しつつ、最新ファイル(できれば1つ2つ前も)は直接参照できてほしい、とかを考えると思ったより選択肢が思いつかにゃい。
　いくつかキーを出してみると、
　
　・ZFS。FreeNASかOpenSolarisににゃる。圧縮可。Snapshot可。nfs/iscsi。オペレーションは自信にゃし。
　・NTFS。Winににゃる。圧縮可。nfs/iscsi。ShadowCopyは信用にゃらんのでvm化してSnapshot。
　・LVM。Linuxににゃる。圧縮不可。nfs/iscsi。Snapshot領域が固定サイズ。vm化するにゃら意義無し。
　・pdumpfs。Linuxににゃる。圧縮不可。nfs。HDDが余るにゃら可能。現状のコピーはダブる。
　・rdiff-backup。Linuxににゃる。圧縮。nfs。diff計算が1日で終わるのかどうか微妙。復元に時間かかる。
　・任意データストア。任意vm。nfs/iscsi。vmのsnapshotを使う。
　
　と、こんにゃ感じか。圧縮の有無はともかく、簡単操作で任意の過去に戻れるという意味ではvmのsnapshotが強そう。但しvmdkを上書きバックアップするときに、全部Writeしてしまうと多分意味がにゃいわけで、rsync的にゃ書き込みをさせにゃいとだめ。ちょっとめんどくさい。
　ZFSだと自動でやってくれそうにゃ気もするが不明。圧縮も付いてて大変便利そうにゃのだが、よく考えるとZFSで過去のSnapshot別途nfs公開して・・・というのは地味にめんどくさい作業である。調べるのが。そのへんnfsdをvmでrevertしてしまえばお手軽で良いだろう。nfsのキャッシュとかがあるのでちょっと不整合が気ににゃるが。iscsi target+vmfsでもよいが、これをrevertして大丈夫にゃのかというのが非常に疑問にゃので。
　とにゃると普通のLinuxやFreeNASといったベタにゃvmを作ってnfsdを立てるだけで良いと言うことににゃる。シンプルでつぶしが効きそう。圧縮したければNTFSかZFSを使用することににゃるが、Winのnfsdはにゃんだか面倒にゃんだよにゃー。でもfreenasのZFSというのも大概どうかというのはあるし、ここでOpenSolarisのvmを作るというのはさすがに不安要素増やす感じ。

　いろいろ溜まってきたので整理。
　・Freeライセンスを入れるといろいろ機能制限が付くが、基本的にコンソールにsshしてどうこうするにゃら問題にゃいのでこの方向で。
　・ESX4iはUSB boot出来て便利にゃんだがコンソールが低機能すぎてしんどい
　・ESX4にESX4iのFreeライセンスがお手軽便利で快適
　・1vm毎に結構にゃ量のメモリを消費するので小粒にゃLinuxを大量にといった向けにはvmware serverがよい
　・ローカルSATAはRAIDが組めにゃいのでSSDにするか、対応H/W RAIDカードを使用
　・NFSかiSCSIが利用できるのでFreeNAS等を別PCに入れて繋げばよい
　・現状のFreeNASは大変遅いのでLinuxか何かを普通に入れた方がマシ
　・一応nfsよりiSCSIの方が速いし複数のESX鯖から共有できるので有力
　・nfsはESX鯖以外からも参照できるし枯れてて大事故のリスクも少にゃく手軽
　・ローカルHDDもnfsもiSCSIもESX鯖からパフォーマンスが出るかどうかは別
　・snapshotは複数取れるし分岐も出来る。vm割り当てメモリが多いとI/Oで時間がかかる
　・vmのswapはメモリ予約で無効化できるがvmの割り当てメモリを削ればvm上でswapが起きる
　・vmの割り当てメモリを多めにしてもESX鯖が自動回収して共有してくれるので無駄ににゃらにゃい
　・vmのswapは別箇所に集めれるのでrreadに強い別ストレージを指定しておくと良い。
　・vmのディスクは任意のストレージ上に分散配置できるがそのsnapshotはvmのディレクトリとにゃる
　・vmのディスク置き場、vmのsnapshotと設定ファイル置き場、全vmのswapファイル置き場の3つに分離できる
　・ローカルにSSDを1つ付けておくと、RAID不要の鯖Inst先、snapshot置き場、swap置き場として使えて大変高速
　・vmのバックアップはコンソールでスクリプト実行させると潰しが効くが比較的めんどくさい
　・vmのsnapshotを取ってopen出来るファイルのみコピーし設定ファイルを戻すだけでバックアップ出来る
　・vmを止めるにゃらファイルコピーすればいいし、ストレージのsnapshot機能があれば早く済む
　・vmdkがthinの場合はsparseファイルにゃのでcp等は適切に行う必要がある
　・CPUの割り当てはある程度予約しておく
　・server2008にゃど最新OSではtoolsが未対応にゃのかメモリ共有等の機能が働きにくい
　・ESX鯖のCPU等が異にゃるとpause状態のsnapshotは移行しても再開は出来にゃいのでCPU機能のマスクが必要だがめんどくさい
　・CPU+HDD+SSD+MEMが1台、HDDx6が1台というのが最小構成か。バックアップは本体HDDで。
　・まともに冗長考えると最低ESX鯖が2台、ストレージが2台で相互にバックアップ置いとく感じ
　・Hyper-Vとどちらがと言われると少々疑問だがLinuxとtext設定ファイルベースで自由に出来るのは好ましい
　・RedHatのコンソールと良くできたGUIはvmware server 2.xやHyper-Vに比べて利点
　
　んーこんにゃもんか？ Hyper-Vもある程度評価しておいた方が良いと思うんだが、ちょっと目を話したら2008 R2が出てたりとかころころ変わってめんどくさい。

　ESX鯖にSSDを入れてswap先に使っていたのだが、まぁそれはそれで快適にゃ動作ににゃったものの、各vmが自力で吐くswapはやはりストレージ上に溜まるわけで、蓄積するとやはり遅い。
　spoolだののtmp的にゃ用途には、いろんにゃ所でキャッシュが効くので、writeが極端に遅くにゃければストレージ上で問題にゃいのだが。
　
　というわけで、ESXのローカルSSDを活用すべく、vmのvmdk構成を変更。各vmにswap用ドライブを追加し、そのvmdkをSSD上に配置すれば・・・と思ったのだがこれはとりあえず失敗。snapshotを使うとsnapshotはvmxのディレクトリに保存されてしまうらしく、これの変更は手間というか周囲の動作保証が取れんのでやりたくにゃい。
　そこで発想を逆転して、vmxはSSD上に、vmdkはNAS上に配置することに。これはディスクの場所変更でオフィシャルに出来る。vmの構成ディレクトリが複数ににゃってバックアップがめんどくさい等のデメリットもあるが、ひとまずsnapshotと併用するとかにゃり高速化するので非常に使える。つまりNASにはWriteが一切行かにゃいのでRAID5でも構わにゃいしIOpsも稼げる。頻繁に書かれる場所はsnapshotとしてSSD上に自動的に配置される。vmが自前でswapすれば必ずSSDに書かれるわけで合理的。膨大にゃ量を書くvmはsnapshot取らにゃいだろうからSSDの容量も80G有れば十分すぎる。
　さすがにプチフリというか、WriteによってReadが阻害されまくるSSDではvm数次第で苦しくにゃってくるが、ある程度キャッシュ等積んだSSDにゃら問題は起きにゃいだろう。にゃんだかESXのローカルWrite自体がいまいちにゃ速度だし・・・これは不具合かにゃぁ？

ESX# dd if=/dev/zero of=xxx bs=1024000 count=100
100+0 records in
100+0 records out
102400000 bytes (102 MB) copied, 4.96558 seconds, 20.6 MB/s

　とかいう状態でSSDとは思えにゃい低速っぷり(笑) HDDより遅いし。理屈ではもっと高速でsnapshot時のメモリダンプとかも高速にゃはず。にゃんだろう、キャッシュ？

　いろいろ溜まってきたのでメモ。

ds2fullpath (){
        sed -e 's/\[\([^]]\+\)\] \([^[ ]\+\)/\/vmfs\/volumes\/\1\/\2/'
}
get_ds_from_path (){
        sed -e 's/\/vmfs\/volumes\/\([^\/]\+\)\/.*/\1/'
}
inner_quote (){
        sed -e 's/[^"]*"\(.*\)".*/\1/'
}
get_allvms_vmid_name (){
        vim-cmd vmsvc/getallvms |  sed -e 's/\[.*\] .*//' -e 's/ \+$//' -e 's/\([0-9\]\+\) \+\(.*\)/\1 "\2"/' |
                awk 'NR!=1'
}
get_allvms_vmid_datastore (){
        vim-cmd vmsvc/getallvms | sed -e 's/\([0-9\]\+\) \+.* \+\[\(.*\)\] \(.*\/.*\.vmx\)  \+.*/\1 "\2" "\3"/' |
                awk 'NR!=1'
}
get_allvms_vmid_vmxpath (){
        vim-cmd vmsvc/getallvms | sed -e 's/\([0-9\]\+\) \+.* \+\[\(.*\)\] \(.*\/.*\.vmx\)  \+.*/\1 "[\2] \3"/' |
                ds2fullpath |
                awk 'NR!=1'
}
get_vmid_from_name (){
        get_allvms_vmid_name | grep \"$1\" |awk '{print $1}'
}
get_vmxpath_from_vmid (){
        get_allvms_vmid_vmxpath | awk '/^'$1' /{print $2}' | sed -e 's/^\"//' -e 's/\"$//'
}
get_vmxpath_from_name (){
        vmid=`get_vmid_from_name $1`
        get_vmxpath_from_vmid ${vmid}
}
get_vmsdpath_from_vmid (){
        get_vmxpath_from_vmid $1 | sed -e 's/\.vmx$/.vmsd/'
}
get_datastore_from_vmid (){
        get_allvms_vmid_datastore | awk '/^'$1' /{print $2}' | sed -e 's/^\"//' -e 's/\"$//'
}
get_vmname_from_vmid (){
        get_allvms_vmid_name | grep "^$1 " | sed -e 's/.*"\(.*\)".*/\1/'
}
get_vmdk_data_file_from_vmdk (){
        test -f "$1" || return
        f=$(grep " \".*\.vmdk\"$" $1 | grep -v parentFileNameHint | sed -e 's/.* "\(.*\)"$/\1/')
        echo "$f"|grep ^/ >/dev/null && echo "$f"
        echo "$f"|grep ^/ >/dev/null || echo "`dirname "$1"`/$f"
}
is_there_snapshot (){
        vmid=$1
        snapshot_name=$2
        vim-cmd vmsvc/snapshot.get $vmid | grep "\-\-Snapshot Name" | sed -e 's/-\+Snapshot Name \+: //' |
                grep "$snapshot_name" >/dev/null
}
remove_last_snapshot (){
        vmid=$1
        if [ "`get_vmxpath_from_vmid $vmid`" = "" ] ; then return 255 ; fi
        lv=`vim-cmd vmsvc/snapshot.get $vmid |grep CHILD |wc -l`
        vim-cmd vmsvc/snapshot.remove $vmid 0 $lv
}
get_alltaskids (){
        vim-cmd vimsvc/task_list | grep vim.Task: | sed -e 's/.*vim.Task://' -e 's/,//' -e "s/'//"
}
get_taskids_from_vmid (){
        vim-cmd vimsvc/task_list | grep vim.Task:haTask-$1 | sed -e 's/.*vim.Task://' -e 's/,//' -e "s/'//"
}
filter_running_taskids (){
        while read taskid ; do
                is_task_running $taskid && echo $taskid
        done
}
get_running_alltaskids (){
        get_alltaskids | filter_running_taskids
}
get_running_taskids_from_vmid (){
        get_taskids_from_vmid $1 | filter_running_taskids
}
get_taskname_from_taskid (){
        vim-cmd vimsvc/task_info $taskid | grep "name = " | sed -e 's/.*"\(.*\)".*/\1/'
}
is_there_running_task_vmid (){
        get_running_taskids_from_vmid $1 | grep .
}
is_task_running (){
        taskid=$1
        vim-cmd vimsvc/task_info $taskid | grep 'state = "running",' >/dev/null
}
wait_while_task_running_vmid (){
        while : ; do
                taskid=`get_running_taskids_from_vmid $1 | head -1`
                if [ "$taskid" == "" ] ; then break ; fi
                echo waiting `get_vmname_from_vmid $1` `get_taskname_from_taskid $taskid`
                sleep 3
        done
}
path_r2a (){
        echo `cd "$1" && pwd`
}
path_cut (){
        src_dir=`path_r2a "$1"`
        file=$2
        basedir=$(dirname "$src_dir")
        c=$(echo "$basedir" | wc -c)
        echo "$file" | cut -c ${c}- | sed -e 's/^\///'
}
cp_dir_sparse (){
        cp_prog=$1
        SRC=`path_r2a "$2"`
        DST=`echo "$3" | sed -e 's/\/$//'`
        find "$SRC" -type f | while read a ; do
                $cp_prog "$a" $DST/`path_cut "$SRC" "$a"`
        done
}
get_datafiles_from_filelayout_with_vmdk_data (){
        get_datafiles_from_filelayout $1 |
                while read a ; do
                        echo "$a"
                        echo "$a"|grep \.vmdk$ >/dev/null && get_vmdk_data_file_from_vmdk "$a"
                done
}
get_datafiles_from_filelayout (){
        vim-cmd vmsvc/get.filelayout $1 |
                grep "\"\[.*\] .*\..*\"" |
                inner_quote |
                ds2fullpath
}
get_vmx_dir (){
        d=`get_vmxpath_from_vmid $1`
        dirname "$d"
}
get_logfile_dir (){
        vim-cmd vmsvc/get.filelayout $1 |sed -e 's/^ \+//'| grep "^logDirectory *=" | inner_quote | ds2fullpath
}
get_logfiles_from_filelayout (){
        d=`get_logfile_dir $1`
        vim-cmd vmsvc/get.filelayout $1 | sed -e ':a;$!N;$!b a;s/\n//g' |
                sed -e 's/.*,.*logFile *=[^\[]\+\[\([^]]*\)\].*/\1/' -e 's/",/"\n/g' |
                inner_quote |
                while read a ; do
                        echo "$d/$a"
                done
}
get_configfiles_from_filelayout (){
        d=`get_vmx_dir $1`
        vim-cmd vmsvc/get.filelayout $1 |
                sed -e ':a;$!N;$!b a;s/\n//g' |
                sed -e 's/.*,.*configFile *=[^\[]\+\[\([^]]*\)\].*/\1/' -e 's/",/"\n/g' |
                inner_quote |
                while read a ; do
                        echo "$d/$a"
                done
}
get_allfiles_from_filelayout (){
        sub (){
                get_configfiles_from_filelayout $1
                get_logfiles_from_filelayout $1
                get_datafiles_from_filelayout_with_vmdk_data $1
	}
        sub $1 | sort | uniq
}
vmname="$1"
backupdir="$2"
copy_p="python -u cp_sparse.py"
vmid=`get_vmid_from_name "$vmname"`
vmx="`get_vmxpath_from_vmid $vmid`"
vmsd="`get_vmsdpath_from_vmid $vmid`"
vim-cmd vmsvc/snapshot.create $vmid __backup __backup 1 1
wait_while_task_running_vmid $vmid
vim-cmd vmsvc/snapshot.get $vmid
dupfile=0
get_allfiles_from_filelayout $vmid | while read a ; do
        basename "$a"
done | sort | uniq -d | grep . >/dev/null && dupfile=1
get_allfiles_from_filelayout $vmid | while read a ; do
        dst="$backupdir/$vmname"
        if [ "$dupfile" = "1" ] ; then
                ds="`echo "$a" | get_ds_from_path`"
                dst="$backupdir/$vmname/$ds"
        fi
        $copy_p "$a" "$dst/`basename "$a"`"
done
remove_last_snapshot $vmid
wait_while_task_running_vmid $vmid
get_datafiles_from_filelayout $vmid | grep \.vmdk$ | while read a ; do
        dst="$backupdir/$vmname"
        if [ "$dupfile" = "1" ] ; then
                ds="`echo "$a" | get_ds_from_path`"
                dst="$backupdir/$vmname/$ds"
        fi
        $copy_p "$a" "$dst/`basename "$a"`"
done
get_datafiles_from_filelayout $vmid | sort | uniq | grep \.vmdk$ | while read a ; do
        if [ "$dupfile" = "1" ] ; then
                continue
        fi
        parent_path=`grep "^parentFileNameHint *=" "$a" |inner_quote`
        echo "$parent_path" | grep "^/" >/dev/null || continue
        vmdk=`basename "$parent_path"`
        cat $a | sed -e 's/^\(parentFileNameHint *= *\)".*"/\1"'"$vmdk"'"/' > "$backupdir/$vmname/`basename $a`"
done

　分散datastoreに対応しようと思ったけどめどくにゃっていい加減にゃ対応のまま放置してあります状態(笑)
　ま、そのままコピーするだけで、一応バックアップにはにゃるわけだし、複雑にゃことしにゃい方が良いんだけど、やっぱりそのままインポートしてrevert押せばすぐ起動ってのはバックアップとして有用だと思うわけで。

　freenasのnfsやiSCSIとESXの組み合わせでかにゃり格闘したのだが、いい加減疲れた上に、ESXiを入れ直そうと思ったらUSBがエラー吐いて止まるとかいろいろ霊障も起き出したので、freenasを捨てることに。
　Ubuntuを実機に入れてInst時にmd raidを組む。ExpertModeでinstしたら不明にゃ選択肢も出て少々時間がかかる。めどい。
　とりあえずnfsをいれて

ESX# dd if=/dev/zero of=test bs=1024000 count=1000
1000+0 records in
1000+0 records out
1024000000 bytes (1.0 GB) copied, 24.115 seconds, 42.5 MB/s

　おお、まともだ！

ESX# time cat test >/dev/null
real    0m54.728s

　・・・あるぇ？

ESX# dd if=test of=/dev/null bs=1024000
1000+0 records in
1000+0 records out
1024000000 bytes (1.0 GB) copied, 49.9522 seconds, 20.5 MB/s

　にょ〜ん・・・
　まぁFreeNASよりは倍ほどマシだが。
　因みにcat file >/dev/nullでnfsdが5%+5%ほどCPU食ってる。ちょっと食い過ぎじゃね？ まぁCPUが1コアの2.7GHzとか速度求めるには微妙ではあるとしても。