つぶねこ

@もじらもーど。
↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |
2015/5/6 18:10
さいきんの履歴バックアップ手法

 にゃにかNTFSにゃファイルサーバ等に履歴付きでバックアップしたいデータ群があるとして、これをすぐに参照可能にゃ状態でバックアップしようとすると、結構めんどくさい。
 バックアップ元は所謂/home的にゃ物として、中身は日付で判別程度の緩さでOK。ファイル数はそれにゃり。バックアップ鯖はvmが好ましい。
 
 ・ZFSその1
 ZFS上にrobocopy src dst /mirし、zfs snapshotする方法。compress=on。
 .zfs/以下を参照するだけでほぼ無限の履歴が無負荷で取れる。
 データは圧縮保存される。
 src上で重複していたファイルもバックアップ領域を消費する。srcでファイルのリネームや移動が起きた場合はその分バックアップ領域が消費される。
 ACL等を完全に保持するのは結構難易度が高い。
 fsに対する負荷はほぼ0と言って良いので極めて安定して大量の履歴を抱え込むことが出来る。
 またバックアップ領域は履歴付きで別のZFSへExport可能。
 但しvm化するにあたってかにゃりのリソースをつっこまにゃいと安定動作は怪しい。
 
 ・ZFSその2
 上の方法にdedup=onを追加したもの。
 src上で重複していたファイルもバックアップ領域上でdedupされてから保存される。srcでファイルのリネームや移動が起きた場合もdedupされてから保存される。NTFSのdedupほど効率は高くにゃい。
 メモリを要するか、アクセスが遅くにゃる。
 dedupがfsの負荷とにゃるのでsolaris系のカーネルで動かしているzfsの方が安心だろう。
 
 ・rsync
 --link-destを用いたhardlinkベースの履歴バックアップ。
 fsが対応していればデータ圧縮が可能だがあまり無さそう。vm化してホスト側で圧縮受け持つにゃら問題にゃい。
 src上で重複していたファイルもバックアップ領域を消費する。srcでファイルのリネームや移動が起きた場合はその分バックアップ領域が消費される。
 ACL等を完全に保持するのは少々難易度が高い。
 vm化するに当たって、履歴数倍のハードリンクとにゃるので、reiserfs等だとメモリをかにゃり必要とする。ファイル数が履歴数倍ににゃるのでfs破損時は被害が大きくにゃる可能性がある。大量ファイル時のfsck挙動について調べてからfs決定した方が良い。
 
 ・StarWind
 StarWindのdedup機能を用いる方法。
 マウントしたボリュームにコピーすればオンラインでdedupしてくれるので、これを全面的に使用し、cp -r src `date` 風のバックアップを行う。
 データは圧縮されにゃい。
 古いバックアップ履歴をリサイクルするにゃどしにゃいと毎回フルコピーににゃる。
 fs側はファイル数が履歴数倍ににゃるので、chkdsk等で数日かかる可能性がある。
 dedup前のデータ量に応じてメモリを要し、メモリが無ければマウント失敗する。
 多分地雷。
 
 ・NTFS dedup1
 StarWind同様cp -r src `date` 風のコピーをして後からstart-dedupする方法。
 dedupによる重複排除とデータ圧縮が為される。
 古いバックアップ履歴をリサイクルするにゃどしにゃいと毎回フルコピーににゃり、その分の空き容量を必要とする。
 fs側はファイル数が履歴数倍ににゃるので、chkdsk等で数日かかる。
 fsが抱え込むファイル数が膨大とにゃるのでトラブった場合に復旧が困難とにゃる。
 そんにゃにリソースは必要としにゃいのでvm化はしやすい。
 
 ・NTFS dedup2
 上の方法で毎回別のvhdにバックアップする方法。
 fs側のファイル数負荷問題は無くにゃる。
 
 
 とまぁ書き出してみるとzfs凄いにゃぁ。でも特にdedup使いたい時とかちょっと不安にゃのと、稼働させるvmがかにゃりのリソースを食い続けるのがリッチ向け。NTFS案にゃらメモリ2G、CPU1コアとかでも動く。
 あとvmdkやらvhdやら巨大ファイルが差分変更されるようにゃ物のバックアップにはもう一手間考える必要があるね。



Index


2015/07/02 22:26 
2015/07/01 01:47 
2015/06/30 23:52 
2015/06/29 23:21 
2015/06/28 14:56 
2015/06/27 21:16 
2015/06/26 01:54 
2015/06/25 18:49 
2015/06/24 00:09 
2015/06/23 23:38 
2015/06/22 21:05 
2015/06/21 19:09 
2015/06/20 18:19 
2015/06/19 00:11 
2015/06/16 01:30 
2015/06/15 12:17 
2015/06/14 13:51 
2015/06/13 02:27 
2015/06/12 23:45 
2015/06/11 21:35 
2015/06/08 23:56 
2015/06/07 21:47 
2015/06/06 23:07 
2015/06/05 23:14 
2015/06/04 18:06 
2015/06/03 22:06 
2015/06/02 21:27 
2015/06/01 23:15 
2015/05/31 23:45 
2015/05/30 02:02 
2015/05/29 20:36 
2015/05/27 22:05 
2015/05/26 00:15 
2015/05/25 21:55 
2015/05/24 19:49 
2015/05/23 21:34 
2015/05/22 00:47 
2015/05/21 21:19 
2015/05/20 22:52 
2015/05/19 19:03 
2015/05/18 21:33 
2015/05/17 00:45 
2015/05/15 23:25 
2015/05/14 23:15 
2015/05/13 18:09 
2015/05/12 20:20 
2015/05/10 20:11 
2015/05/09 00:27 
2015/05/08 19:44 
2015/05/07 23:06 
2015/05/06 18:10 
2015/05/05 20:11 
2015/05/04 21:26 
2015/05/03 19:02 
2015/05/02 18:01 
2015/05/01 21:18 
2015/04/30 07:26 
2015/04/29 22:12 
2015/04/28 22:24 
2015/04/27 18:32 
2015/04/26 22:12 
2015/04/25 18:09 
2015/04/24 00:19 
2015/04/23 18:14 
2015/04/21 18:54 
2015/04/20 15:51 
2015/04/19 22:44 
2015/04/18 22:59 
2015/04/17 18:00 
2015/04/16 23:18 
2015/04/15 18:11 
2015/04/14 00:28 
2015/04/13 20:36 
2015/04/12 21:07 
2015/04/11 00:03 
2015/04/10 00:47 
2015/04/09 00:05 
2015/04/08 21:50 
2015/04/07 20:56 
2015/04/06 01:18 
2015/04/05 23:13 
2015/04/04 22:20 
2015/04/03 22:14 
2015/04/02 02:00 
2015/04/01 08:47 
2015/03/31 09:08 
2015/03/30 22:21 
2015/03/29 21:13 
2015/03/29 03:05 
2015/03/28 15:48 
2015/03/27 19:56 
2015/03/26 08:16 
2015/03/25 21:14 
2015/03/24 22:58 
2015/03/23 07:48 
2015/03/20 17:16 
2015/03/19 20:48 
2015/03/18 11:23 
2015/03/17 09:34 
2015/03/16 18:09 
2015/03/15 05:16 

↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |