つぶねこ

@もじらもーど。
↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |
2016/2/11 20:26
さいきんのzfs on Linux on Hyper-Vでdedup

 zfs dedup onにゃlinux vmにいろいろデータ突っ込んで履歴バックアップに使おう編。
 zfsとntfsのdedupの違いは過去にいろいろメモったが、要するにzfsは雑だしntfsは遅くて頻繁に膨らむので、現状どっちもどっちと。
 というわけで多重化してみましょうという実験。
 zfs compressは通常にゃら大変使い勝手の良いオプションだが、dedup効率は落ちるのと、vhdxはより一層dedupしづらい物体とにゃるので却下。zfs dedupだけ使用する。
 zfs dedupによってオンラインで巨大データの書き込みがdedupられるのでntfsのように一時的に膨大にゃ空き容量を必要としにゃい。但しメモリは多めに持たせておかにゃいと怖いが。
 そんにゃzfs on linuxにゃvmをhyper-vでホストしてntfs dedupにかける。zfs側で大量の書き込みがあるとその分膨らむが、ある程度dedupされた後にゃのでそこまで深刻にゃことににゃりにくい。
 
 という夢を見たのでやってみる。
zpool create pool1 sdb
zfs create -o recordsize=4k pool1/share
zfs set atime=off pool1/share
zfs set primarycache=metadata pool1/share
zfs set dedup=on pool1/share
zfs set snapdir=visible pool1/share
 4kの指定は過去に膨大にゃI/Oを発生させて死亡する原因とにゃったのでzfs on linuxでも実験である。
 これでrsync hoge /pool1/share
 で放置してたら途中で
blk_update_request: critical target error
 吐いて停止。リセットかけたら長時間disk readしたあとカーネル落ち。再リセットで復帰した。傾向は変わってにゃい模様。
 4k指定しにゃければ割と安定感があるのだが、可変にさせるとdedup効率が落ちるパターンが多いんだよね。
 しかし今回はvhdxをさらにdedupするので、
zpool create -o ashift=12 pool1 sdb
zfs create -o recordsize=128k pool1/share
 で行けるのでは無いかと実験。今のところ安定している。この場合recordsizeは別に無指定で良いとは思うがにゃんとにゃく。
 ashift=16にゃんかにするとどうにゃるのかという興味もあるが、NTFS側で4kブロックでdedupされるにゃら変わらにゃい可能性の方が高いか。

▼ Hyper-V 関連記事
▼ Hyper-V 関連記事     一覧メニュー    (全55件表示)
PC不調 Hyper-Vでvmが凍る / Hyper-VのI/Oは何とかにゃらにゃいか / Hyper-VホストでMove-VMStorageが0x80070005で失敗する / Hyper-Vでストレージトラブル / Server2016のHyper-VでImport-VMが改善 / 共有VHDをマウントすると遅い2 / 共有VHDをマウントすると遅い / Hyper-Vでvm毎に別のディレクトリにレプリケーションする / 仮想プロセッサでの修復不可能にゃエラーによりトリプル フォールト / Hyper-VのVMでSYSTEM THREAD EXEPTION NOT HANDLED / Hyper-V / SMBでキャッシュが効いてる気がする / 2012R2でHyper-V全般 / Hyper-Vのプロセッサ互換 / NTFS dedupまとめ / PC不調 Hyper-V メモリ不足 / PC不調 Hyper-V VMがcritical_process_died BSOD / PC不調 Hyper-V kernel_data_inpage_error srv.sys / Hyper-Vのvmからvm名を取得する / NTFS dedupでメモリ不足 / PC不調 Hyper-V ストレージ障害 / Hyper-V鯖におけるSMB3マルチチャンネルのNICの割り当て / VHDでRAID1は / NTFS dedupでallocation unit size 64K / NTFS dedupでメモリ不足 / NTFS dedupでファイルが削除できにゃい / NTFSでファイルレコードのサイズを増加させる / NTFS dedupで仮想ディスクのサイズを変更できませんでした / Hyper-VでvmのMAC重複を探す / Hyper-VでvmのMACが重複 / zfs on Linux on Hyper-Vでdedup / StarWindがHyper-V鯖にinst出来にゃい / Hyper-VでImport-VMがsnapshotファイルをコピーする / Hyper-Vで0x80070015エラー / Hyper-VのNIC / Linux on Hyper-Vでzfs dedupにゃ履歴バックアップ / Hyper-Vのバックアップ手段が微妙 / Hyper-Vでvmをunregister / NTFSでdedupバックアップの工夫 / VHDの最適化 / Hyper-Vの管理をHyper-V上のvmから行う / NTFSボリュームの最適化 / NTFSでdedupが柔い / StarWindの堅牢性が / Hyper-V powershellでimport / StartwindでHyper-V / Hyper-Vでvmとホスト間でやりとり / SMB MultichannelとHyper-Vとteaming / Hyper-VのDiskキャッシュが本格的にクズ / VLANとHyper-Vとteaming / 5nine V2V Easy Converter Free Edition / StarWind V2V Converter / Hyper-Vでライブマイグレーション / Ubuntu14 on Hyper-VでZFS / Hyper-Vでレプリカ / Hyper-VにUbuntu入れる
▼ ZFS 関連記事
▼ ZFS 関連記事     一覧メニュー    (全107件表示)
nfs over ubuntu zfsとesxi6.5でvm毎snapshotは使えるか / zfs鯖とdevice timeout / zfs鯖でsnapshot多過ぎ / zfs鯖でdisk full / zfs鯖でsnapshotのlistが終わらにゃい / swapに吐かれにくくする / kswapdが高負荷でサービスが止まる / linuxでlsblk / ZFS on Linux L2ARCのメモリ使用量 / ZFS on Linux基本設定 / ZFSのrecordsize / ZFSでlz4 / ZFS on linuxでsnapshot dirにアクセスすると削除できにゃい / ZFS cache死亡 / zfs on Linuxでハング / zfs on Linux on Hyper-Vでdedup / zfs on Linux でrsyncが止まる / zfs on Linux で容量拡張 / zfsで履歴バックアップ失敗 / Linux on Hyper-Vでzfs dedupにゃ履歴バックアップ / Ubuntu14 on Hyper-VでZFS / ZFS raidzの再構築 / Server2012と比べて分かるZFSの活用法 / ZFSでsyspoolのHDDを移動 / Nexentaでceドライバ / ZFS導入時のRAID環境選び / zfsのL2ARCとメモリ / ZFSストレージのディスクエラー / iscsi targetを束ねてRAID考察 / iscsi targetを束ねてRAID実験 / Nexentaでiscsi initiatorがこけた場合の対処 / Nexentaでiscsi Multipath initiator / ZFSとRAIDカードの機能的相性 / RAID1でもデータ破損 / ZFSのHDDエラー / SolarisのDedupとARC関連 / ZFSが遅い dedup編 / ZFSが遅い / ZFSでdedup / ZFSのキャッシュ制御 / ZFSが低速化 / NexentaStorのnfsでIP alias / NexentaStorのsyspoolを有効利用したい / zfs sync / NexentaStor 3.11メモ / opensolarisのzfsパラメータを表示 / zfsのsnapshotの使用容量 / zfsでscrubすると重い / Opensolarisでzfsにゃnfs鯖 作業メモまとめ2 / Opensolarisでmirrorのためのパーティション作成 / OpenSolarisでディスク表面検査 続続 / OpenSolarisでディスク表面検査 続 / zfsのrecordsizeを小さくすると遅い / nfs共有は入れ子にしにくい / opensolarisのswap領域を増やす / ZFSでsnapshotを削除しようとすると凍る / 負荷をかけると落ちるNAS / nfs鯖のファイルをバックアップしたい7 / Opensolarisでzfsにゃnfs鯖 作業メモまとめ / nfs鯖のファイルをバックアップしたい6 / nfs鯖のファイルをバックアップしたい5 / nfs鯖のファイルをバックアップしたい4 / FreeNASでLink Aggregation / FreeNASの書き込みが脈動する / FreeNASでzpool createがこける / FreeNASの/boot/loader.conf / nfs鯖のファイルをバックアップしたい3 / FreeNASをfullインストール / nfs鯖のファイルをバックアップしたい2 / nfs鯖のファイルをバックアップしたい1 / opensolarisでdedupはやっぱむり / ZFSのHDDがエラーを吐いたので無視してたら落ちた / NexentaStorでswap不足 / ソフト試用 NexentaStor CommunityEdition 3.04 / OpenSolarisでupdate? / OpenSolarisでDedupしてたらハング / NexentaStorのVMが酷い / ZFSのHDDがエラーを吐いたので無視 / ZFSのHDDが壊れたのでリプレイス / OpenSolarisでディスク表面検査 / OpenSolarisでRAID1 / OpenSolarisのsambaを新しくする / OpenSolarisでsambaがおかしい / OpenSolarisでsamba / OpenSolarisのCIFS共有が怪しい / OpenSolarisのidmapdがメモリリーク / zfsのsnapshotを削除するのに長時間かかる / RD120でreadが遅い / opensolarisで起動後に画面が表示されにゃい / OpenSolarisでdedupにゃNAS / NexentaStorのidmapdがメモリリーク / OpenSolarisでCIFS鯖 / opensolarisでnfs鯖 / ソフト試用 OpenSolaris / FreeNAS落ち / FreeNASでZFSでメモリ不足 / nexentaでWinのドメイン参加に失敗する / vmwareでpfsense / ZFSでブロックデバイス / NexentaCore3でdedup / Nexentaで定期snapshot / NexentaCore3でapt-get / NexentaCoreでCIFS共有 / ソフト試用 NexentaCore / ソフト試用 Nexenta Stor / ソフト試用 NexentaStor / FreeNASのZFSでsnapshot自動化
- 2016/6/20 - さいきんのNTFS dedupまとめ参照元
NTFS dedupまとめ


Index


2016/04/08 02:47 
2016/04/07 14:08 
2016/04/06 03:35 
2016/04/05 17:18 
2016/04/04 00:52 
2016/04/03 15:27 
2016/04/02 00:50 
2016/04/01 10:20 
2016/03/31 03:34 
2016/03/30 08:20 
2016/03/29 22:10 
2016/03/28 20:45 
2016/03/27 00:58 
2016/03/26 19:58 
2016/03/25 03:30 
2016/03/24 00:01 
2016/03/19 19:07 
2016/03/18 01:21 
2016/03/17 22:44 
2016/03/16 19:33 
2016/03/15 00:59 
2016/03/14 18:44 
2016/03/13 12:55 
2016/03/12 15:32 
2016/03/11 22:51 
2016/03/10 18:07 
2016/03/09 22:40 
2016/03/08 18:13 
2016/03/07 13:00 
2016/03/06 13:59 
2016/03/05 19:18 
2016/03/04 13:09 
2016/03/03 21:14 
2016/03/02 14:48 
2016/03/01 10:23 
2016/02/27 22:46 
2016/02/26 10:22 
2016/02/25 09:12 
2016/02/24 12:09 
2016/02/23 20:18 
2016/02/22 13:17 
2016/02/21 23:00 
2016/02/19 05:18 
2016/02/18 04:25 
2016/02/17 00:23 
2016/02/16 04:46 
2016/02/15 13:08 
2016/02/14 02:56 
2016/02/13 01:19 
2016/02/12 23:57 
2016/02/11 20:26 
2016/02/10 17:29 
2016/02/09 10:33 
2016/02/08 01:47 
2016/02/07 23:53 
2016/02/06 18:20 
2016/02/05 02:05 
2016/02/04 01:00 
2016/02/03 12:17 
2016/02/02 19:17 
2016/02/01 00:03 
2016/01/31 16:38 
2016/01/30 00:15 
2016/01/29 10:47 
2016/01/28 12:57 
2016/01/27 14:11 
2016/01/26 00:23 
2016/01/25 23:21 
2016/01/24 18:04 
2016/01/23 16:36 
2016/01/22 01:50 
2016/01/21 10:38 
2016/01/20 21:17 
2016/01/19 21:44 
2016/01/18 14:48 
2016/01/17 21:41 
2016/01/16 21:19 
2016/01/14 01:08 
2016/01/12 14:38 
2016/01/10 00:15 
2016/01/09 14:01 
2016/01/08 22:14 
2016/01/07 15:32 
2016/01/06 15:05 
2016/01/05 03:49 
2016/01/04 04:40 
2016/01/03 03:44 
2016/01/02 02:11 
2016/01/01 03:36 
2015/12/31 23:45 
2015/12/30 03:14 
2015/12/29 04:20 
2015/12/28 01:40 
2015/12/27 22:02 
2015/12/26 13:29 
2015/12/25 05:31 
2015/12/24 18:03 
2015/12/23 05:23 
2015/12/22 04:21 
2015/12/21 19:16 
2015/12/21 02:14 

↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |