つぶねこ

@もじらもーど。
↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |
2016/6/20 2:15
さいきんのNTFS dedupまとめ

 延々と新事実が出てくる気味にゃのでそろそろ纏めて一区切りを。
 
 NTFS上でしか動かにゃいが、アロケーションユニットサイズは4KでにゃくてもOK
 重複排除単位は4K。アルゴリズム的にも割とdedupされる気味の感触。dedup後圧縮もされる。
 32kだかその程度未満のファイルはdedup対象にされにゃい。細かいファイルばっかりの場合はvhdxに放り込むとかしにゃいとだめ。
 openされてるファイルもスルーされるが、VDI設定にしておけばdedupされるのでこれで。ドライブ毎のdedupの設定は共有と異にゃりドライブをすげ替えると消えて無くにゃるので、フォーマットした場合にゃどはdedup設定もやり直す必要がある。
 因みにdedup中のファイルは削除出来にゃいことがあり、スクリプトにゃんかで割と致命的にゃことににゃるので、移動してからランダム名にrenしてdelとかするのがロバスト。
 
 ファイルはfsdmhost.exeやらddp系サービスから処理されるまでは普通に書き込まれるだけにゃので、パフォーマンス的にはWrite性能は劣化しにゃいが、容量は食いまくるのでdedupで容量節約したいのかパフォーマンス上げたいのかにゃんだか分からにゃい。ファイル上書きすると残容量が減るとかいう挙動にゃので残容量ぎりぎりだと運用が難しい。つまりかにゃりの空き容量が無いと迂闊に書き込めにゃい。まぁZFSとかも空き容量必要にゃのでまだ分かりやすいか。尚Readに関しては断片化されて圧縮された何かを拾い集めて読んでくるので、シーケンシャルは盛大に頭打ちとにゃる。小さにゃランダムReadであればあまり変わらにゃいが。
 dedupによって残容量は増えるが、dedup後はファイル削除で容量は増えにゃい。Start-DedupJob -Type GarbageCollection [-full]が必要。何でも良いからすぐに容量を確保したい場合は、dedupしにゃいdirを作っておき、動画にゃどdedupに縁の無いデータを置いておくと、それを移動することで即座に容量を空けることが出来る。因みに本当に残容量0近くまで埋めるとdedup関連の動作にも支障が出るようににゃり、デッドロック気味ににゃるのでフェイルセーフとして置いとくと良い。
 dedupに必要にゃメモリは50%だかにゃんだか指定出来るがあまり意味は無く、残メモリが少にゃいとデフォのスケジュールが転けてdedup失敗したりする。専用イベントログにゃんかに出てるのでチェックしておく必要がある。主にdedup率が上がるとメモリ消費が増えるのが原因で、予め設定変更して誤魔化しておく。それでもダメにゃ時はダメ。
 デフォではI/O優先度は標準のままdedupが走るのでdedup中はかにゃりI/Oパフォーマンスを奪われることもある。監視しておいて変更するとか、タスクスケジューラの呼び出しオプションを変更してみるようにゃ対応で、バックグラウンド優先度にしておくと気ににゃらにゃい。
 
 /homeみたいにゃ大量ファイルを数百単位で重複コピーしてdedupさせてると、NTFS的限界でいろいろ転ける可能性が高まるため工夫が必要。というか破損時にchkdskが終わらにゃいので別の意味でも推奨されにゃい。根本的にはZFSをもってくるべき。
 付随してNTFSの問題だが、断片化しすぎた巨大ファイルだのは転けるので、dedup使う時にはformat /L /A:64kでフォーマットしておく必要がある。
 
 関連コマンドは、Measure-DedupFileMetadata、Get-DedupJob、Start-DedupJobにゃど。
 初歩的ハマりどころとしては上記の他、dedupスケジュールが即反映されにゃいとか、dedupしてたvhdを別マシンにマウントしただけでは当然ファイルが読めず0x80070780とか、1コアしかCPU使わず延々と処理されるので全く処理が追いつかにゃいとか細々と。

▼ Hyper-V 関連記事
▼ Hyper-V 関連記事     一覧メニュー    (全55件表示)
PC不調 Hyper-Vでvmが凍る / Hyper-VのI/Oは何とかにゃらにゃいか / Hyper-VホストでMove-VMStorageが0x80070005で失敗する / Hyper-Vでストレージトラブル / Server2016のHyper-VでImport-VMが改善 / 共有VHDをマウントすると遅い2 / 共有VHDをマウントすると遅い / Hyper-Vでvm毎に別のディレクトリにレプリケーションする / 仮想プロセッサでの修復不可能にゃエラーによりトリプル フォールト / Hyper-VのVMでSYSTEM THREAD EXEPTION NOT HANDLED / Hyper-V / SMBでキャッシュが効いてる気がする / 2012R2でHyper-V全般 / Hyper-Vのプロセッサ互換 / NTFS dedupまとめ / PC不調 Hyper-V メモリ不足 / PC不調 Hyper-V VMがcritical_process_died BSOD / PC不調 Hyper-V kernel_data_inpage_error srv.sys / Hyper-Vのvmからvm名を取得する / NTFS dedupでメモリ不足 / PC不調 Hyper-V ストレージ障害 / Hyper-V鯖におけるSMB3マルチチャンネルのNICの割り当て / VHDでRAID1は / NTFS dedupでallocation unit size 64K / NTFS dedupでメモリ不足 / NTFS dedupでファイルが削除できにゃい / NTFSでファイルレコードのサイズを増加させる / NTFS dedupで仮想ディスクのサイズを変更できませんでした / Hyper-VでvmのMAC重複を探す / Hyper-VでvmのMACが重複 / zfs on Linux on Hyper-Vでdedup / StarWindがHyper-V鯖にinst出来にゃい / Hyper-VでImport-VMがsnapshotファイルをコピーする / Hyper-Vで0x80070015エラー / Hyper-VのNIC / Linux on Hyper-Vでzfs dedupにゃ履歴バックアップ / Hyper-Vのバックアップ手段が微妙 / Hyper-Vでvmをunregister / NTFSでdedupバックアップの工夫 / VHDの最適化 / Hyper-Vの管理をHyper-V上のvmから行う / NTFSボリュームの最適化 / NTFSでdedupが柔い / StarWindの堅牢性が / Hyper-V powershellでimport / StartwindでHyper-V / Hyper-Vでvmとホスト間でやりとり / SMB MultichannelとHyper-Vとteaming / Hyper-VのDiskキャッシュが本格的にクズ / VLANとHyper-Vとteaming / 5nine V2V Easy Converter Free Edition / StarWind V2V Converter / Hyper-Vでライブマイグレーション / Ubuntu14 on Hyper-VでZFS / Hyper-Vでレプリカ / Hyper-VにUbuntu入れる
- 2015/3/12 - さいきんのntfs dedupでopenしてるファイルを対象にする- 2015/10/21 - さいきんのWS2012R2のdedupが失敗する- 2016/2/25 - さいきんのWS2012R2のdedupのI/O優先度- 2016/3/13 - さいきんのWS2012R2のdedupのI/O優先度 2参照先
ntfs dedupでopenしてるファイルを対象にする / WS2012R2のdedupが失敗する / WS2012R2のdedupのI/O優先度 / WS2012R2のdedupのI/O優先度 2


Index


2016/08/28 13:07 
2016/08/27 03:15 
2016/08/26 21:20 
2016/08/25 03:15 
2016/08/20 04:14 
2016/08/19 01:00 
2016/08/18 04:14 
2016/08/17 00:45 
2016/08/16 04:13 
2016/08/15 00:53 
2016/08/14 01:21 
2016/08/13 00:08 
2016/08/12 00:36 
2016/08/11 15:50 
2016/08/10 23:17 
2016/08/09 15:43 
2016/08/04 15:39 
2016/08/03 18:44 
2016/08/02 19:34 
2016/08/01 09:16 
2016/07/31 17:48 
2016/07/28 16:04 
2016/07/27 17:07 
2016/07/26 15:07 
2016/07/24 15:01 
2016/07/23 11:16 
2016/07/23 07:13 
2016/07/22 15:32 
2016/07/22 10:24 
2016/07/22 06:31 
2016/07/21 06:25 
2016/07/20 06:20 
2016/07/19 06:17 
2016/07/18 06:16 
2016/07/17 06:02 
2016/07/14 21:30 
2016/07/10 13:49 
2016/07/09 21:53 
2016/07/08 12:13 
2016/07/07 05:59 
2016/07/06 13:54 
2016/07/04 23:09 
2016/07/01 07:11 
2016/06/30 22:15 
2016/06/29 07:09 
2016/06/28 03:48 
2016/06/24 04:09 
2016/06/23 03:07 
2016/06/22 08:46 
2016/06/21 00:35 
2016/06/20 02:15 
2016/06/19 18:25 
2016/06/18 15:31 
2016/06/17 17:13 
2016/06/16 00:38 
2016/06/15 01:13 
2016/06/14 01:12 
2016/06/13 00:24 
2016/06/12 12:07 
2016/06/09 03:02 
2016/06/08 12:13 
2016/06/07 01:32 
2016/06/06 12:04 
2016/06/05 00:37 
2016/06/04 14:20 
2016/06/03 00:39 
2016/06/02 01:09 
2016/05/31 23:13 
2016/05/30 18:19 
2016/05/29 16:52 
2016/05/28 18:34 
2016/05/27 14:38 
2016/05/26 18:23 
2016/05/25 02:27 
2016/05/24 14:56 
2016/05/23 01:57 
2016/05/22 19:14 
2016/05/21 20:10 
2016/05/20 14:00 
2016/05/19 14:48 
2016/05/18 14:04 
2016/05/17 01:05 
2016/05/13 23:52 
2016/05/12 01:53 
2016/05/11 23:53 
2016/05/10 22:15 
2016/05/09 01:09 
2016/05/08 18:10 
2016/05/07 21:52 
2016/05/06 22:55 
2016/05/05 23:57 
2016/05/04 19:27 
2016/05/03 21:25 
2016/05/02 19:17 
2016/05/01 02:18 
2016/04/30 21:04 
2016/04/29 19:02 
2016/04/28 18:00 
2016/04/27 14:26 
2016/04/26 16:08 
2016/04/25 13:50 

↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |