つぶねこ

@もじらもーど。
↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |
2012/12/12 23:34
さいきんのZFS導入時のRAID環境選び

 ある程度パフォーマンスを求めるとBBWC付きのRAIDカードの載った鯖にNexentaを入れることににゃるだろうが、その際にどこでどーゆーRAID構成を使えばよいのか話。
 
 問題ににゃるポイントはいくつか。
 ・RAID5/6読み込みパフォーマンス。ZFSが圧倒的に遅い。特にQueueが浅く中サイズのランダムRead気味にゃ場合はZFSが分散書き込みした全ドライブから読まにゃいとRead完了しにゃいのでレイテンシ最悪。HW-RAIDであればほぼドライブ数分のRAID0相当ににゃるので最高レベルの性能ににゃる。
 ・RAID5/6書き込みパフォーマンス。ドライブ数が多くにゃってくるとZFSが速い。しかしそこいらにあるBBWC付きRAIDカードのRAID5/6書込み速度が問題ににゃる場面ってそんにゃに多くはにゃい気はするのと、Raidz/Raidz2はつまり大量のランダム書き込みがあるがread性能は大して求められにゃいストレージに向けということでよりそんにゃ場面はにゃい気味。
 ・RAID1書き込みパフォーマンス。ZFSのmirrorにゃどは全ての構成ドライブに書き終えるまで処理が止まるので基本的に遅い。HW-RAIDの場合も同じ場合が多いが、こちらはとりあえずキャッシュに隠蔽されるので、RAID1に関してはHW-RAIDの方が速い場合が多い。もちろんシングルドライブRAID0アレイを2つでZFS-mirrorすることでBBWCの効いたドライブにmirror書き込みできるので大きにゃ差は無いとも言えるが、BBWCの容量は2倍必要とにゃる。
 ・耐障害性。ZFS圧勝。まずRebuild時に全域読むことが少にゃいので過負荷で連鎖大惨事ににゃることが少にゃい。まぁ満杯までデータ入ってたら大差にゃいが。それから多少ドライブエラーが生じてもスルーしてカバーしてくれるので、軽いエラー吐いただけでドライブを切り離してしまい冗長性が一気に減ずるHW-RAIDよりデータ延命率が格段に高い。
 ・サイレントクラッシュ。HWでRAID1したドライブをZFSで使用してたらチェックサムエラーで一部ファイルが破損したことが。ディスクというよりどっかの転送時の化けにゃんだろうけど、HWのRAIDは読んだデータの整合性は取ってにゃいのでこういうことが。ZFSがRAIDカードにキャッシュの破棄と再読み込み、別の構成ドライブから読み込みにゃんかを指示できれば多分解決にゃんだけどそんにゃ機能が載ることは無さそう。対策としては、ZFS上で冗長化するか、頻繁にHW-RAIDのメディアパトロールや整合性検査をかけて自力復活に期待するかであるが、HW-RAIDの自己努力の場合にはRAID5/6を選択しメディア検査ではにゃくチェックサム検査をバックグラウンドで頻繁に実行できるRAIDカードである必要がある。
 ・故障予防。HW-RAIDであればパトロール的にゃ機能が付いてるが、ZFSのscrubはデータのある領域しか読まにゃいので予防的にゃ意味ではちょっと辛い。dd等で自作の全域readを組んでおけば解決できるが割と面倒。
 ・I/O負荷。やはりソフトウェアでRAID処理する分、I/Oは2倍程度まで増えることににゃる。大量書き込み時にちょっとしんどい目。但し圧縮その他を有効にしてる場合はそっちが主にゃ負荷ににゃる。
 ・保守性。HW-RAIDでホットスワップ可能にゃら抜いて刺すだけでOKにゃお手軽さがあるが、ZFSでdetachして云々する場合は操作ミスの可能性もあるので割と慎重ににゃらざるを得にゃい。特にHW-RAIDに単ドライブRAID0で割り当ててる場合はRAIDのBIOS画面かSolaris上からツールを叩いて認識させる必要があり、これまた割とリスキーかつ面倒にゃ作業ににゃる。
 
 で、実際どうすんのって話で、
 
 ・HW-RAID1を複数作成 → zpool create HDD1 HDD2 HDD3・・・のパターン。容量は1/2で我慢だがドライブ故障時はHW-RAIDが教えてくれるし修復も簡単。但しサイレントクラッシュされるとお手上げ。
 ・HW-RAIDでRAID5作成 → zpool create HDD1のパターン。もうZFS RAID関係無し。ドライブ数が多い場合は怖いのでRAID50とかRAID6とかに。サイレントクラッシュとかリビルドとかがトラウマ要因だが日々のパトロールでかにゃり緩和されるはず。
 ・zpool create mirror HDD1 HDD2 mirror HDD3 HDD4・・・のパターン。ランダムリード性能を確保しつつある程度高い耐障害性を確保的にゃ。オールマイティに可もにゃく不可もにゃく。これ以外に構成上read性能上げる方法がにゃい。
 ・zpool create raidz HDD1 HDD2 HDD3 HDD4・・・のパターン。使い道に悩むが性能を要求しにゃいNAS的にゃ用途であれば割と普通に使える。大量メモリ大量L2ARCすればそれにゃりに使える。raidz2にすれば最高クラスの堅牢度ににゃるのでガチにゃデータ用にはいい感じ。
 
 とまぁあんまり選択肢にゃいにゃぁという。これといった決め手に欠けるZFSさんにしょんぼり。

▼ OpenSolaris 関連記事
▼ OpenSolaris 関連記事     一覧メニュー    (全51件表示)
NexentaCE 3.1.5でvmxnet3 / ZFSでsyspoolのHDDを移動 / Nexentaでceドライバ / solarisのiostatのエラーカウントクリア / ZFS導入時のRAID環境選び / zfsのL2ARCとメモリ / ZFSストレージのディスクエラー / iscsi targetを束ねてRAID考察 / iscsi targetを束ねてRAID実験 / Nexentaでiscsi initiatorがこけた場合の対処 / Nexentaでiscsi Multipath initiator / NexentaにVMXNET3が入らにゃい / Nexentaにvmware-toolsを入れようとするとSUNWuiu8が無い / NexentaのNICを1000BaseFullに固定する / ESX, NexentaでRAIDカード監視 / OpensolarisでRAIDカードとの相性がおかしい / Opensolarisでzfsにゃnfs鯖 作業メモまとめ2 / OpenSolarisでRAIDカード監視 / Opensolarisでmirrorのためのパーティション作成 / OpenSolarisでディスク表面検査 続続 / OpenSolarisでディスク表面検査 続 / opensolarisをCUIでbootする / opensolarisの起動が終わらにゃい / opensolarisでlink aggregation / opensolarisのswap領域を増やす / ZFSでsnapshotを削除しようとすると凍る / 負荷をかけると落ちるNAS / Opensolarisでzfsにゃnfs鯖 作業メモまとめ / opensolarisでRAIDカードが足かせ / opensolarisでNICのスループットを表示 / opensolarisでdedupはやっぱむり / nfsメモ / nfs鯖がbusy過ぎるとESXがこける / ZFSのHDDがエラーを吐いたので無視してたら落ちた / OpenSolarisでupdate? / OpenSolarisでDedupしてたらハング / OpenSolarisでディスク表面検査 / ファイル鯖廃棄 / OpenSolarisでRAID1 / OpenSolarisのsambaを新しくする / OpenSolarisでsambaがおかしい / OpenSolarisでsamba / OpenSolarisのCIFS共有が怪しい / OpenSolarisのidmapdがメモリリーク / zfsのsnapshotを削除するのに長時間かかる / RD120でreadが遅い / opensolarisで起動後に画面が表示されにゃい / OpenSolarisでdedupにゃNAS / OpenSolarisでCIFS鯖 / opensolarisでnfs鯖 / ソフト試用 OpenSolaris
▼ ZFS 関連記事
▼ ZFS 関連記事     一覧メニュー    (全107件表示)
nfs over ubuntu zfsとesxi6.5でvm毎snapshotは使えるか / zfs鯖とdevice timeout / zfs鯖でsnapshot多過ぎ / zfs鯖でdisk full / zfs鯖でsnapshotのlistが終わらにゃい / swapに吐かれにくくする / kswapdが高負荷でサービスが止まる / linuxでlsblk / ZFS on Linux L2ARCのメモリ使用量 / ZFS on Linux基本設定 / ZFSのrecordsize / ZFSでlz4 / ZFS on linuxでsnapshot dirにアクセスすると削除できにゃい / ZFS cache死亡 / zfs on Linuxでハング / zfs on Linux on Hyper-Vでdedup / zfs on Linux でrsyncが止まる / zfs on Linux で容量拡張 / zfsで履歴バックアップ失敗 / Linux on Hyper-Vでzfs dedupにゃ履歴バックアップ / Ubuntu14 on Hyper-VでZFS / ZFS raidzの再構築 / Server2012と比べて分かるZFSの活用法 / ZFSでsyspoolのHDDを移動 / Nexentaでceドライバ / ZFS導入時のRAID環境選び / zfsのL2ARCとメモリ / ZFSストレージのディスクエラー / iscsi targetを束ねてRAID考察 / iscsi targetを束ねてRAID実験 / Nexentaでiscsi initiatorがこけた場合の対処 / Nexentaでiscsi Multipath initiator / ZFSとRAIDカードの機能的相性 / RAID1でもデータ破損 / ZFSのHDDエラー / SolarisのDedupとARC関連 / ZFSが遅い dedup編 / ZFSが遅い / ZFSでdedup / ZFSのキャッシュ制御 / ZFSが低速化 / NexentaStorのnfsでIP alias / NexentaStorのsyspoolを有効利用したい / zfs sync / NexentaStor 3.11メモ / opensolarisのzfsパラメータを表示 / zfsのsnapshotの使用容量 / zfsでscrubすると重い / Opensolarisでzfsにゃnfs鯖 作業メモまとめ2 / Opensolarisでmirrorのためのパーティション作成 / OpenSolarisでディスク表面検査 続続 / OpenSolarisでディスク表面検査 続 / zfsのrecordsizeを小さくすると遅い / nfs共有は入れ子にしにくい / opensolarisのswap領域を増やす / ZFSでsnapshotを削除しようとすると凍る / 負荷をかけると落ちるNAS / nfs鯖のファイルをバックアップしたい7 / Opensolarisでzfsにゃnfs鯖 作業メモまとめ / nfs鯖のファイルをバックアップしたい6 / nfs鯖のファイルをバックアップしたい5 / nfs鯖のファイルをバックアップしたい4 / FreeNASでLink Aggregation / FreeNASの書き込みが脈動する / FreeNASでzpool createがこける / FreeNASの/boot/loader.conf / nfs鯖のファイルをバックアップしたい3 / FreeNASをfullインストール / nfs鯖のファイルをバックアップしたい2 / nfs鯖のファイルをバックアップしたい1 / opensolarisでdedupはやっぱむり / ZFSのHDDがエラーを吐いたので無視してたら落ちた / NexentaStorでswap不足 / ソフト試用 NexentaStor CommunityEdition 3.04 / OpenSolarisでupdate? / OpenSolarisでDedupしてたらハング / NexentaStorのVMが酷い / ZFSのHDDがエラーを吐いたので無視 / ZFSのHDDが壊れたのでリプレイス / OpenSolarisでディスク表面検査 / OpenSolarisでRAID1 / OpenSolarisのsambaを新しくする / OpenSolarisでsambaがおかしい / OpenSolarisでsamba / OpenSolarisのCIFS共有が怪しい / OpenSolarisのidmapdがメモリリーク / zfsのsnapshotを削除するのに長時間かかる / RD120でreadが遅い / opensolarisで起動後に画面が表示されにゃい / OpenSolarisでdedupにゃNAS / NexentaStorのidmapdがメモリリーク / OpenSolarisでCIFS鯖 / opensolarisでnfs鯖 / ソフト試用 OpenSolaris / FreeNAS落ち / FreeNASでZFSでメモリ不足 / nexentaでWinのドメイン参加に失敗する / vmwareでpfsense / ZFSでブロックデバイス / NexentaCore3でdedup / Nexentaで定期snapshot / NexentaCore3でapt-get / NexentaCoreでCIFS共有 / ソフト試用 NexentaCore / ソフト試用 Nexenta Stor / ソフト試用 NexentaStor / FreeNASのZFSでsnapshot自動化


Index


2013/02/03 21:04 
2013/02/02 20:31 
2013/02/01 00:12 
2013/01/31 22:45 
2013/01/30 09:52 
2013/01/29 21:18 
2013/01/28 20:17 
2013/01/27 04:37 
2013/01/26 05:02 
2013/01/25 04:18 
2013/01/24 08:17 
2013/01/23 04:08 
2013/01/22 06:02 
2013/01/21 08:03 
2013/01/20 20:37 
2013/01/19 08:58 
2013/01/18 20:12 
2013/01/17 15:38 
2013/01/16 20:53 
2013/01/15 20:44 
2013/01/14 23:42 
2013/01/13 07:47 
2013/01/12 19:39 
2013/01/11 07:05 
2013/01/10 00:50 
2013/01/09 21:11 
2013/01/08 00:46 
2013/01/07 00:01 
2013/01/06 23:23 
2013/01/05 22:42 
2013/01/04 23:16 
2013/01/03 16:26 
2013/01/02 01:52 
2013/01/01 18:40 
2012/12/31 23:45 
2012/12/30 00:49 
2012/12/29 00:20 
2012/12/28 16:52 
2012/12/25 22:10 
2012/12/24 21:08 
2012/12/23 23:30 
2012/12/22 17:53 
2012/12/21 00:47 
2012/12/20 23:28 
2012/12/19 06:44 
2012/12/18 08:07 
2012/12/16 15:56 
2012/12/15 15:41 
2012/12/14 23:28 
2012/12/13 21:48 
2012/12/12 23:34 
2012/12/11 23:56 
2012/12/10 22:25 
2012/12/09 22:20 
2012/12/08 12:19 
2012/12/07 21:48 
2012/12/06 11:43 
2012/12/05 22:55 
2012/12/04 22:15 
2012/12/03 20:31 
2012/12/02 16:28 
2012/12/01 18:30 
2012/11/30 21:03 
2012/11/29 23:17 
2012/11/28 21:58 
2012/11/27 02:59 
2012/11/26 20:35 
2012/11/25 21:25 
2012/11/24 19:58 
2012/11/23 08:17 
2012/11/22 20:03 
2012/11/21 18:16 
2012/11/20 02:25 
2012/11/19 03:01 
2012/11/18 10:47 
2012/11/17 05:49 
2012/11/16 21:35 
2012/11/15 18:57 
2012/11/14 23:48 
2012/11/13 17:37 
2012/11/12 01:02 
2012/11/11 03:08 
2012/11/10 02:47 
2012/11/09 18:51 
2012/11/08 22:49 
2012/11/07 18:46 
2012/11/06 02:43 
2012/11/05 04:04 
2012/11/04 19:54 
2012/11/03 20:18 
2012/11/02 18:24 
2012/11/01 20:31 
2012/10/31 19:01 
2012/10/30 18:57 
2012/10/30 00:15 
2012/10/29 20:45 
2012/10/28 15:41 
2012/10/27 01:43 
2012/10/26 21:35 
2012/10/26 01:11 
2012/10/25 19:30 

↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |