つぶねこ
@もじらもーど。
てことでバックアップの高速化をすべくnfs経由以外の方法を考えてみる。
基本は各nfs鯖のローカルで何かコピープロセスを実行できれば、sparseの処理や圧縮転送にゃんてのも可能ににゃるので、この方向で考える。
nfs鯖はsolarisのzfsで作ってたのだが、shareしただけだったので全部nobodyににゃってた。で、どうせ閉じたLANにゃのでそのくらいはいいんだが、600にゃんだよねこれ。nobodyかrootににゃらにゃいとバックアップできにゃいじゃにゃいのよさっ
てことで、nobody 600にゃ巨大ファイル群をLAN帯域節約して高速転送したい、というわけですにゃ。
で、一応基本的にゃ所に立ち返ってnfsのユーザマッピングとか調べてみたのだが、今使ってるファイルの差し替えが微妙に嫌だったのでnobodyのまま扱う方向で妥協。sshd.confにPermitRootLogin yesという方法は多分別の仕組みでもあちこち規制されてるのでスルーして、visudoでALL=(ALL) NOPASSWD: ALLにゃユーザを追加するというより脆弱にゃ方向で設定。まぁそもそもnfsdが無制限に受け付けてるくらいだし大差にゃいだろう。
と、ここまできてrsyncd建てた方が良いんじゃにゃいかとか思い出したわけだがまぁいい。
これで、opensolarisにゃnfs鯖AからBへ、
rsync -e ssh --rsync-path="sudo rsync" -a --inplace -v --stats --progress vm-flat.vmdk user@hostB:/tmp/
みたいにゃことをして、ownerが保持されるようににゃった。
▼ ESX 関連記事
▼ ZFS 関連記事
RAIDカード直結にゃ2U鯖にHDD放り込んでOpenSolarisでZFSしてたのだが、いきにゃり止まった。で、インジゲーターが点灯してたのでHDDの1つが死んだのは確かにゃのだが、それで何故OSが止まるのか、というわけである。
いーろいろ実験してみたら、例えばRAID1にOpenSolaris入れて稼働中に1台引っこ抜いたらOSごと凍ることが分かった。にゃにそれ意味にゃい。
ということでどうもドライバか何かの都合でRAIDカード側は生きてるがOS側がアクセスできずに死ぬぽい。これは酷い。他のOSにゃら問題にゃく動く。
で、解決方法が見えにゃいんだが、もしかすると全てRAID解除してZFSでRAIDすれば良いのかもだが、grubまで含めて実は結構めんどくさい。
あとはzfsに拘るにゃらBSD系のFreeNASあたりににゃるだろうか。Linuxでbtrfsというのも試してみたいがちょっとまだ不安定そうにゃイメージが付きまとう。
ドライバに関してはWinが最強にゃのだがFSがプアにゃのでまともにsnapshotとか使いたければHyper-Vにゃどで仮想化するしかにゃい。
実にどれも微妙にゃのだがどうしたものやら。
▼ OpenSolaris 関連記事
ESXのデータストアをsolarisのnfsで作ってたのだが、これをどうバックアップするか、という。
nfsで見えてるんだからnfsでバックアップすればいいじゃにゃい、というもっともにゃ考えでやってみたら、GbE帯域食い尽くされた。・・・ですよねー。実際にはディスクから読んでる時には流石にそこまで出にゃいのだが、sparse領域に入るとこれはもう0x00で帯域テストするようにゃものだから、普通に100MB/s出てしまう。
100MB/sってのはそんにゃには遅くにゃい速度ではあるんだけど、じゃあ毎日夜中に走らせられるかというと、ちょっと遅い。せめて4倍くらいは高速化されにゃいとしんどい。
状況に拍車をかけてるのが自作の差分コピー。file1とfile2を同時に読みこんで、差異があればその部分だけfile2に上書きする。何が嬉しいかというとfile2を置いてるディスクのwriteが最小ににゃるのでsnapshotへの影響が小さい。SSDにゃんかにも良い。が、つまりこれはreadが2倍ににゃるわけで、1GbEではコピー速度が50MB/s上限ににゃってしまう。これはかにゃり痛い。
と言うわけで何とかしようの巻。
▼ ESX 関連記事
▼ ZFS 関連記事
自宅Win7のローカルSSDが80Gでは足りにゃくにゃってきて、1割を消費しているhiberfil.sysを消したかったのだが相変わらず分かりにくさ爆発のGUIでうんざりしたのでググった。
powercfg /h off
だってさ。
おおよそ鯖が増えてきてESXが煮詰まったので他も探してみる。
いつの間にかいろいろ無償化されてたりして侮れにゃい。vmware以外にも
Xen
KMV
Hyeper-V
Oracle VM VirtualBox
Citix XenServer
にゃどがあるみたい。
で、楽しそうにゃのをいくつか調べてみたが、
Citix XenServer・・・無償版があるのだが機能限定されまくってるようだ。
Oracle VM VirtualBox・・・MS並に会社がキモイのだがまだしもオープンソースにゃ部分があるだけマシか。日本でマイナーにゃだけで結構使えそう。Hyperviserじゃにゃくてvmware-server的にゃ物体で、メモリ管理が弱いがディスクキャッシュは頑張ってる感じ。
んー・・・ESXの特にディスクまわりの弱さを改善したいのでどれもおいしそうにゃんだが、にゃんだろうにゃこの日本語ドキュメントの少にゃさ。