つぶねこ

@もじらもーど。
↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |
2011/3/28 19:52
さいきんのnfs鯖のファイルをバックアップしたい3

 そんにゃわけでssh経由でrsync実行できるようにはにゃったのだが、まずはパフォーマンスの計測を。
 現状50MB/s以上出てるけど今度はrsyncとsshがCPUを食い尽くす(笑) そうかーそうきたかー。まぁ結構演算量多いししょうがにゃいか。
 ちょっと頑張ってみる方向としてはsshや圧縮の方向もアリだね、ってことで、
 rsync -e 'ssh -c arcfour128 -C -o "CompressionLevel 1"'
 をしてみたら10MB/sくらいに落ち込んだ。これは酷い。
 てことで
 rsync -e 'ssh -c arcfour128' --compress --compress-level=1
 で、圧縮率がよいと80MB/s、低いと15MB/sとまぁ微妙にゃ頭の打ちよう。CPUが足りにゃい。sparse度の高いファイルの初回転送時のみ圧縮したほうがいい、といったところ。圧縮がgzipにゃのとシングルプロセスにゃのでどうにもにゃらにゃい気味。初回のみに限ればtar|sshで送った方が効率的かも知れにゃいが面倒。ていうか初回にゃら--inplaceの代わりに--sparseでいいのか。
 
 と、ここまでやって結果は50MB/sか。・・・nfsで100MB/s出るのに! 単体で使うのはバカらしいシステムににゃってしまった。しかしnfsでは同時に複数のコピーが走ると飽和するので、2本以上同時運用するのにゃらば断然rsyncが良いと言うことににゃる。
 ま、まぁマシか?多少は。

▼ ESX 関連記事
▼ ESX 関連記事     一覧メニュー    (全105件表示)
pyvisdkで遊ぶ / vm鯖変更 / HostStorageSystem.ComputeDiskPartitionInfo / NFSデータストア上限 / ESXi5.0でhostdが肥大化 / hpのSmartArrayをESXi5から / Linux vmのディスクタイムアウト / ESX用BIOS設定 / ESXのネットワークを冗長化 / vmの大量クローンでWinのホスト名を自動で変える / vmの大量クローン / 無償版ESXi5でvmのバックアップ方法再考 / ESXi用vCLIのセットアップ / ESX鯖作成 / hpのRAID板をESXiから / ESXi5.0 関連作業まとめ / ESXi5 でMegaCliが動かにゃい / vmware converterで選択したマシンのハードウェア情報を取得できません / ESX, NexentaでRAIDカード監視 / vmでL2スイッチしにくい / ESXi 5 / ESXi 5 / ESXiのコマンド / ESX再起動したらnasがmountできにゃい / ESX終了時にVMを自動シャットダウンさせる / ESX上のut-vpnが不安定 / 負荷をかけると落ちるNAS / nfs鯖のファイルをバックアップしたい7 / ESXのUbuntuでVMXNET3を安定動作させる / ESXのUbuntuにVMXNET2が入らにゃい / ESXのVMでVMXNET3にゃLinuxのネットワークが不安定 / ESXのVMでネットワークのダウンロード帯域を広げる / Ubuntu鯖のVMでNICが高負荷で行方不明 / nfs鯖のファイルをバックアップしたい6 / nfs鯖のファイルをバックアップしたい5 / nfs鯖のファイルをバックアップしたい4 / nfs鯖のファイルをバックアップしたい3 / nfs鯖のファイルをバックアップしたい2 / nfs鯖のファイルをバックアップしたい1 / ESXでスナップショット失敗 / ESXiで設定が通らにゃい / esxのバックアップを改善する / ESXiでサービスコンソールが重い / esxiでLSIのMegaRAID / ESXi 4.1 u1 / ESX不調 / ESXクライアントが重い / nfsメモ / ut-vpn鯖をESX上で / nfs鯖がbusy過ぎるとESXがこける / ESX4.1でクリップボードが使えるようにvmxを変更 / ESXでvmkapimodがCPUを食う3 / ESX4.1でコンソールのマウスが遅延 / ESX鯖にはSSDがおすすめ / ESXi4.1関連作業まとめ / ESXi4.1の設定のバックアップ / ESXi4.1にsshのauthorized_keysを置く / ESXiにssh / ESXでvmkapimodがCPUを食う2 / ESXのsnapshotの場所 / ESXのsnapshotで高負荷 / ESXでvmkapimodがCPUを食う / OpenSolarisのidmapdがメモリリーク / ESX4u1でThe lock protecting vmdk has been lost / ESXにserver 2008 R2を入れたらVGA driverが入らにゃい / ESX4のメモリ共有速度 / ESX4u1関連作業まとめ / NexentaStorのidmapdがメモリリーク / ESX4u1のsfcbdがメモリリーク / opensolarisでnfs鯖 / vmwareでpfsense / ソフト試用 Nexenta Stor / iSCSIとESXと再接続 / ソフト試用 ESX 4 update 1 / ESX鯖のバックアップ先 / ESX4メモまとめ / ESX鯖にSSDでsnapshotが強い / ESX4用バックアップスクリプトメモ / freenasのiSCSIやnfsが遅いのでubuntuに乗り換えてみる / freenasのiSCSIがやっぱり遅い / ESX4のswapファイルを改善してみた / freenasが遅いのだが?? / ESX4のswapファイル / ESX4のdatastoreをNFSに / ESXi4のバックアップ用にnfsマウント / ESX4はESX4iのラインセンスで / ESXi4のsshが遅い / ESXi4のSSH認証を自動化 / ESXi4でrsyncdが使いたい / ESXi4でrsyncが使いたい / ESXi4のpythonでsparseにゃファイルコピー / vmware server 1.xからESX4へvm移行 / CPUキャッシュとvm / vmware ESX4iのメモリ共有 / ESXi4でsshが使いたい / ESXi4にSSHで入れるようにする / ESXi4の2008 R2が不安定 / ESXi4のWinにゃvmのvmdkを圧縮 / ソフト試用 ESXi4からメール送信 / ESXi4のvmバックアップ / ソフト試用 vmware vifs.pl / ソフト試用 VMware vCenter Converter / ソフト試用 VMware vSphere CLI / ソフト試用 vmware ESXi4をUSBからboot / ソフト試用 vmware ESXi 4.0 vSphere 4
▼ ZFS 関連記事
▼ ZFS 関連記事     一覧メニュー    (全107件表示)
nfs over ubuntu zfsとesxi6.5でvm毎snapshotは使えるか / zfs鯖とdevice timeout / zfs鯖でsnapshot多過ぎ / zfs鯖でdisk full / zfs鯖でsnapshotのlistが終わらにゃい / swapに吐かれにくくする / kswapdが高負荷でサービスが止まる / linuxでlsblk / ZFS on Linux L2ARCのメモリ使用量 / ZFS on Linux基本設定 / ZFSのrecordsize / ZFSでlz4 / ZFS on linuxでsnapshot dirにアクセスすると削除できにゃい / ZFS cache死亡 / zfs on Linuxでハング / zfs on Linux on Hyper-Vでdedup / zfs on Linux でrsyncが止まる / zfs on Linux で容量拡張 / zfsで履歴バックアップ失敗 / Linux on Hyper-Vでzfs dedupにゃ履歴バックアップ / Ubuntu14 on Hyper-VでZFS / ZFS raidzの再構築 / Server2012と比べて分かるZFSの活用法 / ZFSでsyspoolのHDDを移動 / Nexentaでceドライバ / ZFS導入時のRAID環境選び / zfsのL2ARCとメモリ / ZFSストレージのディスクエラー / iscsi targetを束ねてRAID考察 / iscsi targetを束ねてRAID実験 / Nexentaでiscsi initiatorがこけた場合の対処 / Nexentaでiscsi Multipath initiator / ZFSとRAIDカードの機能的相性 / RAID1でもデータ破損 / ZFSのHDDエラー / SolarisのDedupとARC関連 / ZFSが遅い dedup編 / ZFSが遅い / ZFSでdedup / ZFSのキャッシュ制御 / ZFSが低速化 / NexentaStorのnfsでIP alias / NexentaStorのsyspoolを有効利用したい / zfs sync / NexentaStor 3.11メモ / opensolarisのzfsパラメータを表示 / zfsのsnapshotの使用容量 / zfsでscrubすると重い / Opensolarisでzfsにゃnfs鯖 作業メモまとめ2 / Opensolarisでmirrorのためのパーティション作成 / OpenSolarisでディスク表面検査 続続 / OpenSolarisでディスク表面検査 続 / zfsのrecordsizeを小さくすると遅い / nfs共有は入れ子にしにくい / opensolarisのswap領域を増やす / ZFSでsnapshotを削除しようとすると凍る / 負荷をかけると落ちるNAS / nfs鯖のファイルをバックアップしたい7 / Opensolarisでzfsにゃnfs鯖 作業メモまとめ / nfs鯖のファイルをバックアップしたい6 / nfs鯖のファイルをバックアップしたい5 / nfs鯖のファイルをバックアップしたい4 / FreeNASでLink Aggregation / FreeNASの書き込みが脈動する / FreeNASでzpool createがこける / FreeNASの/boot/loader.conf / nfs鯖のファイルをバックアップしたい3 / FreeNASをfullインストール / nfs鯖のファイルをバックアップしたい2 / nfs鯖のファイルをバックアップしたい1 / opensolarisでdedupはやっぱむり / ZFSのHDDがエラーを吐いたので無視してたら落ちた / NexentaStorでswap不足 / ソフト試用 NexentaStor CommunityEdition 3.04 / OpenSolarisでupdate? / OpenSolarisでDedupしてたらハング / NexentaStorのVMが酷い / ZFSのHDDがエラーを吐いたので無視 / ZFSのHDDが壊れたのでリプレイス / OpenSolarisでディスク表面検査 / OpenSolarisでRAID1 / OpenSolarisのsambaを新しくする / OpenSolarisでsambaがおかしい / OpenSolarisでsamba / OpenSolarisのCIFS共有が怪しい / OpenSolarisのidmapdがメモリリーク / zfsのsnapshotを削除するのに長時間かかる / RD120でreadが遅い / opensolarisで起動後に画面が表示されにゃい / OpenSolarisでdedupにゃNAS / NexentaStorのidmapdがメモリリーク / OpenSolarisでCIFS鯖 / opensolarisでnfs鯖 / ソフト試用 OpenSolaris / FreeNAS落ち / FreeNASでZFSでメモリ不足 / nexentaでWinのドメイン参加に失敗する / vmwareでpfsense / ZFSでブロックデバイス / NexentaCore3でdedup / Nexentaで定期snapshot / NexentaCore3でapt-get / NexentaCoreでCIFS共有 / ソフト試用 NexentaCore / ソフト試用 Nexenta Stor / ソフト試用 NexentaStor / FreeNASのZFSでsnapshot自動化


Index


2011/05/20 14:11 
2011/05/20 08:23 
2011/05/19 10:03 
2011/05/18 23:14 
2011/05/17 21:36 
2011/05/16 22:42 
2011/05/15 21:46 
2011/05/14 22:26 
2011/05/13 09:03 
2011/05/12 02:37 
2011/05/11 02:41 
2011/05/10 22:49 
2011/05/09 23:21 
2011/05/08 20:32 
2011/05/07 14:27 
2011/05/06 23:40 
2011/05/05 20:29 
2011/05/04 21:40 
2011/05/03 23:01 
2011/05/02 23:01 
2011/05/01 01:41 
2011/04/30 23:15 
2011/04/29 21:46 
2011/04/28 00:01 
2011/04/27 02:43 
2011/04/26 20:53 
2011/04/25 02:48 
2011/04/24 04:38 
2011/04/23 04:28 
2011/04/22 23:23 
2011/04/20 10:20 
2011/04/19 16:37 
2011/04/18 00:25 
2011/04/17 21:44 
2011/04/16 00:06 
2011/04/15 22:04 
2011/04/13 22:55 
2011/04/11 06:30 
2011/04/09 21:53 
2011/04/08 09:54 
2011/04/07 01:56 
2011/04/06 06:28 
2011/04/05 00:32 
2011/04/04 06:19 
2011/04/03 08:14 
2011/04/02 01:53 
2011/04/01 00:53 
2011/03/31 20:58 
2011/03/30 16:10 
2011/03/29 20:44 
2011/03/28 19:52 
2011/03/27 20:30 
2011/03/25 03:02 
2011/03/23 18:58 
2011/03/21 16:40 
2011/03/20 18:45 
2011/03/19 02:02 
2011/03/18 13:48 
2011/03/17 19:22 
2011/03/16 13:48 
2011/03/15 12:25 
2011/03/14 18:31 
2011/03/13 11:16 
2011/03/12 23:51 
2011/03/11 03:04 
2011/03/10 11:53 
2011/03/09 19:40 
2011/03/08 19:38 
2011/03/07 21:53 
2011/03/06 20:51 
2011/03/05 19:43 
2011/03/04 03:10 
2011/03/03 16:15 
2011/03/02 16:14 
2011/03/01 19:34 
2011/02/27 07:01 
2011/02/26 07:04 
2011/02/25 04:06 
2011/02/24 20:18 
2011/02/23 21:34 
2011/02/22 07:09 
2011/02/21 20:16 
2011/02/20 15:33 
2011/02/19 18:28 
2011/02/19 15:44 
2011/02/18 03:04 
2011/02/17 21:20 
2011/02/17 01:30 
2011/02/16 11:00 
2011/02/16 05:32 
2011/02/15 21:56 
2011/02/15 01:26 
2011/02/14 15:24 
2011/02/13 20:55 
2011/02/13 15:51 
2011/02/12 20:41 
2011/02/12 15:47 
2011/02/11 02:23 
2011/02/10 18:12 
2011/02/09 15:39 
2011/02/08 18:01 

↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |