つぶねこ

@もじらもーど。
↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |
2012/7/3 11:28
さいきんのSolarisのDedupとARC関連

 にゃんだかdedup=onした鯖のディスクアクセスが多すぎるので調査。
echo "::zfs_params" |mdb -k
 
arc_reduce_dnlc_percent = 0x3
zfs_arc_max = 0x0
zfs_arc_min = 0x0
arc_shrink_shift = 0x5
zfs_mdcomp_disable = 0x0
zfs_prefetch_disable = 0x0
zfetch_max_streams = 0x8
zfetch_min_sec_reap = 0x2
zfetch_block_cap = 0x100
zfetch_array_rd_sz = 0x100000
zfs_default_bs = 0x9
zfs_default_ibs = 0xe
metaslab_aliquot = 0x80000
mdb: variable reference_tracking_enable not found: unknown symbol name
mdb: variable reference_history not found: unknown symbol name
spa_max_replication_override = 0x3
spa_mode_global = 0x3
zfs_flags = 0x0
mdb: variable zfs_txg_synctime not found: unknown symbol name
zfs_txg_timeout = 0x1e
zfs_write_limit_min = 0x2000000
zfs_write_limit_max = 0x5fe47e00
zfs_write_limit_shift = 0x3
zfs_write_limit_override = 0x0
zfs_no_write_throttle = 0x0
zfs_vdev_cache_max = 0x4000
zfs_vdev_cache_size = 0x0
zfs_vdev_cache_bshift = 0x10
vdev_mirror_shift = 0x15
zfs_vdev_max_pending = 0x1
zfs_vdev_min_pending = 0x4
zfs_scrub_limit = 0x1
zfs_no_scrub_io = 0x0
zfs_no_scrub_prefetch = 0x0
zfs_vdev_time_shift = 0x6
zfs_vdev_ramp_rate = 0x2
zfs_vdev_aggregation_limit = 0x20000
fzap_default_block_shift = 0xe
zfs_immediate_write_sz = 0x8000
zfs_read_chunk_size = 0x100000
zfs_nocacheflush = 0x1
zil_replay_disable = 0x0
metaslab_gang_bang = 0x20001
metaslab_df_alloc_threshold = 0x20000
metaslab_df_free_pct = 0x4
zio_injection_enabled = 0x0
zvol_immediate_write_sz = 0x8000
 
echo ::arc | mdb -k
 
hits                      = 2,892M
misses = 85M
demand_data_hits = 716M
demand_data_misses = 12M
demand_metadata_hits = 1,968M
demand_metadata_misses = 19M
prefetch_data_hits = 51M
prefetch_data_misses = 22M
prefetch_metadata_hits = 155M
prefetch_metadata_misses = 29M
mru_hits = 408M
mru_ghost_hits = 1M
mfu_hits = 2,283M
mfu_ghost_hits = 52M
deleted = 46M
recycle_miss = 8M
mutex_miss = 119K
evict_skip = 27M
evict_l2_cached = 2.2T
evict_l2_eligible = 1.7T
evict_l2_ineligible = 1.9T
hash_elements = 1M
hash_elements_max = 1M
hash_collisions = 550M
hash_chains = 243K
hash_chain_max = 21
p = 6,127 MB
c = 8,934 MB
c_min = 1,406 MB
c_max = 11,250 MB
size = 8,934 MB
hdr_size = 170M
data_size = 9,131M
other_size = 33M
l2_hits = 19M
l2_misses = 65M
l2_feeds = 4M
l2_rw_clash = 827
l2_read_bytes = 474G
l2_write_bytes = 1.5T
l2_writes_sent = 1M
l2_writes_done = 1M
l2_writes_error = 0
l2_writes_hdr_miss = 1K
l2_evict_lock_retry = 162
l2_evict_reading = 107
l2_free_on_write = 3M
l2_abort_lowmem = 230
l2_cksum_bad = 0
l2_io_error = 0
l2_size = 26G
l2_hdr_size = 35M
memory_throttle_count = 0
arc_no_grow = 0
arc_tempreserve = 0 MB
arc_meta_used = 2,812 MB
arc_meta_limit = 2,812 MB
arc_meta_max = 2,921 MB
 ・・・・・?
 arc_meta_limitにゃるものが2.8Gほどににゃってるが、これはc_maxの1/4か。つまりarc_metaのサイズは全ARCの1/4がリミットとされているわけか。これはdedupメインの鯖だと問題だにゃ。
 
 本来は/etc/systemに
set zfs:zfs_arc_meta_limit = c_max未満(byte)
 とか書いてrebootにゃはずだが、とりあえず関連しそうにゃの全部変更。
echo "zfs_arc_meta_limit/Z 0x20F580000" | mdb -kw
echo "arc_meta_limit/Z 0x20F580000" | mdb -kw
echo "arc_meta_max/Z 0x20F580000" | mdb -kw
 
arc_meta_limit            =      8,437 MB
arc_meta_max = 8,437 MB
 で、しばらく放置してるとarc_meta_usedが微妙に増加していく感じ。arc_no_grow=1とにゃる事があるけどこれはどうも急激に増減しにゃいか何かの仕組みぽい。
 
 で、これでdedup鯖のIO過多が収まるかどうかはちょっとよく分からにゃい。再起動するのは少々骨が折れるにゃぁ。

▼ ZFS 関連記事
▼ ZFS 関連記事     一覧メニュー    (全107件表示)
nfs over ubuntu zfsとesxi6.5でvm毎snapshotは使えるか / zfs鯖とdevice timeout / zfs鯖でsnapshot多過ぎ / zfs鯖でdisk full / zfs鯖でsnapshotのlistが終わらにゃい / swapに吐かれにくくする / kswapdが高負荷でサービスが止まる / linuxでlsblk / ZFS on Linux L2ARCのメモリ使用量 / ZFS on Linux基本設定 / ZFSのrecordsize / ZFSでlz4 / ZFS on linuxでsnapshot dirにアクセスすると削除できにゃい / ZFS cache死亡 / zfs on Linuxでハング / zfs on Linux on Hyper-Vでdedup / zfs on Linux でrsyncが止まる / zfs on Linux で容量拡張 / zfsで履歴バックアップ失敗 / Linux on Hyper-Vでzfs dedupにゃ履歴バックアップ / Ubuntu14 on Hyper-VでZFS / ZFS raidzの再構築 / Server2012と比べて分かるZFSの活用法 / ZFSでsyspoolのHDDを移動 / Nexentaでceドライバ / ZFS導入時のRAID環境選び / zfsのL2ARCとメモリ / ZFSストレージのディスクエラー / iscsi targetを束ねてRAID考察 / iscsi targetを束ねてRAID実験 / Nexentaでiscsi initiatorがこけた場合の対処 / Nexentaでiscsi Multipath initiator / ZFSとRAIDカードの機能的相性 / RAID1でもデータ破損 / ZFSのHDDエラー / SolarisのDedupとARC関連 / ZFSが遅い dedup編 / ZFSが遅い / ZFSでdedup / ZFSのキャッシュ制御 / ZFSが低速化 / NexentaStorのnfsでIP alias / NexentaStorのsyspoolを有効利用したい / zfs sync / NexentaStor 3.11メモ / opensolarisのzfsパラメータを表示 / zfsのsnapshotの使用容量 / zfsでscrubすると重い / Opensolarisでzfsにゃnfs鯖 作業メモまとめ2 / Opensolarisでmirrorのためのパーティション作成 / OpenSolarisでディスク表面検査 続続 / OpenSolarisでディスク表面検査 続 / zfsのrecordsizeを小さくすると遅い / nfs共有は入れ子にしにくい / opensolarisのswap領域を増やす / ZFSでsnapshotを削除しようとすると凍る / 負荷をかけると落ちるNAS / nfs鯖のファイルをバックアップしたい7 / Opensolarisでzfsにゃnfs鯖 作業メモまとめ / nfs鯖のファイルをバックアップしたい6 / nfs鯖のファイルをバックアップしたい5 / nfs鯖のファイルをバックアップしたい4 / FreeNASでLink Aggregation / FreeNASの書き込みが脈動する / FreeNASでzpool createがこける / FreeNASの/boot/loader.conf / nfs鯖のファイルをバックアップしたい3 / FreeNASをfullインストール / nfs鯖のファイルをバックアップしたい2 / nfs鯖のファイルをバックアップしたい1 / opensolarisでdedupはやっぱむり / ZFSのHDDがエラーを吐いたので無視してたら落ちた / NexentaStorでswap不足 / ソフト試用 NexentaStor CommunityEdition 3.04 / OpenSolarisでupdate? / OpenSolarisでDedupしてたらハング / NexentaStorのVMが酷い / ZFSのHDDがエラーを吐いたので無視 / ZFSのHDDが壊れたのでリプレイス / OpenSolarisでディスク表面検査 / OpenSolarisでRAID1 / OpenSolarisのsambaを新しくする / OpenSolarisでsambaがおかしい / OpenSolarisでsamba / OpenSolarisのCIFS共有が怪しい / OpenSolarisのidmapdがメモリリーク / zfsのsnapshotを削除するのに長時間かかる / RD120でreadが遅い / opensolarisで起動後に画面が表示されにゃい / OpenSolarisでdedupにゃNAS / NexentaStorのidmapdがメモリリーク / OpenSolarisでCIFS鯖 / opensolarisでnfs鯖 / ソフト試用 OpenSolaris / FreeNAS落ち / FreeNASでZFSでメモリ不足 / nexentaでWinのドメイン参加に失敗する / vmwareでpfsense / ZFSでブロックデバイス / NexentaCore3でdedup / Nexentaで定期snapshot / NexentaCore3でapt-get / NexentaCoreでCIFS共有 / ソフト試用 NexentaCore / ソフト試用 Nexenta Stor / ソフト試用 NexentaStor / FreeNASのZFSでsnapshot自動化
- 2012/12/9 - さいきんのzfsのL2ARCとメモリ参照元
zfsのL2ARCとメモリ


Index


2012/08/23 13:16 
2012/08/22 04:03 
2012/08/21 01:55 
2012/08/20 21:08 
2012/08/19 03:05 
2012/08/18 14:48 
2012/08/17 02:54 
2012/08/16 08:59 
2012/08/15 17:07 
2012/08/14 19:39 
2012/08/13 14:01 
2012/08/12 14:19 
2012/08/11 18:30 
2012/08/10 17:18 
2012/08/09 03:33 
2012/08/08 14:45 
2012/08/07 22:49 
2012/08/06 23:47 
2012/08/05 00:21 
2012/08/04 22:40 
2012/08/03 20:21 
2012/08/02 20:13 
2012/08/01 08:28 
2012/07/31 22:58 
2012/07/30 08:02 
2012/07/29 06:14 
2012/07/28 17:06 
2012/07/27 17:52 
2012/07/26 19:40 
2012/07/24 18:11 
2012/07/23 14:08 
2012/07/22 20:11 
2012/07/21 10:46 
2012/07/20 02:11 
2012/07/19 05:38 
2012/07/18 22:44 
2012/07/17 19:07 
2012/07/16 15:02 
2012/07/15 21:36 
2012/07/14 13:59 
2012/07/13 04:28 
2012/07/12 01:15 
2012/07/11 01:27 
2012/07/10 20:18 
2012/07/09 16:21 
2012/07/08 19:52 
2012/07/07 13:45 
2012/07/06 23:34 
2012/07/05 14:03 
2012/07/04 22:05 
2012/07/03 11:28 
2012/07/02 16:46 
2012/07/01 22:49 
2012/06/30 15:52 
2012/06/29 06:10 
2012/06/28 02:25 
2012/06/27 02:23 
2012/06/26 01:57 
2012/06/25 04:22 
2012/06/24 21:32 
2012/06/23 21:34 
2012/06/22 22:58 
2012/06/21 19:58 
2012/06/20 21:04 
2012/06/19 11:53 
2012/06/18 00:25 
2012/06/17 18:09 
2012/06/16 13:20 
2012/06/15 20:23 
2012/06/14 12:32 
2012/06/13 23:15 
2012/06/12 12:07 
2012/06/11 19:37 
2012/06/10 11:41 
2012/06/09 18:58 
2012/06/08 17:34 
2012/06/07 17:37 
2012/06/06 11:13 
2012/06/05 08:58 
2012/06/04 03:25 
2012/06/03 02:40 
2012/06/02 02:05 
2012/06/01 00:46 
2012/05/31 20:42 
2012/05/30 02:35 
2012/05/29 19:17 
2012/05/28 01:43 
2012/05/27 21:27 
2012/05/26 01:12 
2012/05/25 12:09 
2012/05/24 23:33 
2012/05/23 04:21 
2012/05/22 22:56 
2012/05/21 03:33 
2012/05/20 03:08 
2012/05/19 18:28 
2012/05/18 00:28 
2012/05/17 02:56 
2012/05/16 04:15 
2012/05/15 20:49 
2012/05/14 02:18 

↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |