つぶねこ

@もじらもーど。
↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |
2016/4/8 2:47
さいきんじゃにゃいrsyncでhardlinkする履歴バックアップ

 昔作って動かしてたやつをメモ。しばらく使わにゃいので散逸しにゃいように。
 
#!/bin/sh

if [ $# -lt 2 ]; then
echo "usage: $0 <SOURCE> "
exit 1
fi

force_trailing_slash() {
case $1 in
*/) echo -n "$1" ;;
*) echo -n "$1/" ;;
esac
}

k=$2
SRC=`cd $1 && pwd`
DST=`cd $2 && pwd`

echo src = ${SRC}
echo dst = ${DST}

df=$(( $(df "${DST}" | tail -1 | awk '{print $4}') / 1024 / 1024 ))
while [ $df -le 2 ] ; do
echo df=$df delete
( cd ${DST} && rm -r $(ls | head -1) )
df=$(( $(df "${DST}" | tail -1 | awk '{print $4}') / 1024 / 1024 ))
done

mkdir -p ${DST}/0
last_dir=`ls ${DST} | tail -1`
rmdir ${DST}/0
echo last_dir = ${DST}/${last_dir}

olds=$(ls ${DST} | tail -6)

new_dir=`date +%G%m%d%H%M`
mkdir -p "${DST}/${new_dir}"
echo new_dir = ${DST}/${new_dir}

list=$( cd "${SRC}/" ; find . -mindepth 2 -maxdepth 2 -type d -printf "%P\n" )

echo "$list" | while read d ; do mkdir -p "${DST}/${new_dir}/$d" ; done

echo "$list" | grep -v "System Volume Information" | grep -v "RECYCLE.BIN" | grep -v "DfsrPrivate" |
while read d ; do
link_dest=$(echo "$olds"|sort -r| while read a ; do test -d "${DST}/${a}/${d}" && echo --link-dest="${DST}/${a}/${d}" ; done)
echo rsync -a --log-file=${DST}/${new_dir}/rsync.log --exclude= \
--link-dest="${DST}/${last_dir}/$d" ${link_dest} "${SRC}/$d/" "${DST}/${new_dir}/$d/"
rsync -av --log-file=${DST}/${new_dir}/rsync.log --exclude= \
--exclude="RECYCLE.BIN" --exclude="DfsrPrivate" --exclude="System Volume Information" \
--link-dest="${DST}/${last_dir}/$d" ${link_dest} "${SRC}/$d/" "${DST}/${new_dir}/$d/"
done

ls ${DST}/${new_dir}/ | grep -v rsync.log | grep . || ( rm ${DST}/${new_dir}/rsync.log && rmdir ${DST}/${new_dir} )

umount /mnt/backup/$k
umount /mnt/backup/$k
umount -f /mnt/backup/$k
umount -f /mnt/backup/$k
echo 1 > /proc/sys/vm/drop_caches
mount -a
 環境依存しまくってるが、過去数回分のバックアップ先と比較して合致するファイルはlink-destしてる。
 ディスク容量が不足したら最古の物から消す。
 最終的にバックアップ先をunmountしてキャッシュクリアしてるのはバックアップ先をreiserfsで高速化してたから。大変高速だったが、ファイル数増えすぎるとメモリ不足ににゃるのでこのスクリプトを順次回していくといろいろ溜まっていくことににゃった対処跡。
 部分的に変更された巨大ファイルにゃどには全く対応していにゃい。
 同じことをNTFSでやったらhardlink数が64あたりからおかしくにゃったので、link数4桁とかに耐えられるFSを選ぶこと。
 hardlinkしてるだけにゃのでどこかのファイルを変更すると全部変更されるので注意。まあしにゃいけど。
 更新されてにゃいファイルはローカルでlnされるだけにゃのでバックアップ速度は高速。但しローカルでfind hoge/とかした時にFSが遅いと終わらにゃい。
 
 同類の結果をもたらすバックアップ方法としては、
 ・NTFSに全部コピーしてdedupする(短時間で全容量コピー出来るI/O速度と残容量が必要)
 ・zfsに上書き同期してsnapshotする(dedupやcompressも併用して良い)
 もちろんこれが動いてるvmをntfs dedupするという方向性も無くは無い。



Index


2016/06/07 01:32 
2016/06/06 12:04 
2016/06/05 00:37 
2016/06/04 14:20 
2016/06/03 00:39 
2016/06/02 01:09 
2016/05/31 23:13 
2016/05/30 18:19 
2016/05/29 16:52 
2016/05/28 18:34 
2016/05/27 14:38 
2016/05/26 18:23 
2016/05/25 02:27 
2016/05/24 14:56 
2016/05/23 01:57 
2016/05/22 19:14 
2016/05/21 20:10 
2016/05/20 14:00 
2016/05/19 14:48 
2016/05/18 14:04 
2016/05/17 01:05 
2016/05/13 23:52 
2016/05/12 01:53 
2016/05/11 23:53 
2016/05/10 22:15 
2016/05/09 01:09 
2016/05/08 18:10 
2016/05/07 21:52 
2016/05/06 22:55 
2016/05/05 23:57 
2016/05/04 19:27 
2016/05/03 21:25 
2016/05/02 19:17 
2016/05/01 02:18 
2016/04/30 21:04 
2016/04/29 19:02 
2016/04/28 18:00 
2016/04/27 14:26 
2016/04/26 16:08 
2016/04/25 13:50 
2016/04/22 18:11 
2016/04/21 13:38 
2016/04/20 13:17 
2016/04/18 13:00 
2016/04/17 23:19 
2016/04/16 12:36 
2016/04/15 22:31 
2016/04/14 18:49 
2016/04/13 20:21 
2016/04/09 18:07 
2016/04/08 02:47 
2016/04/07 14:08 
2016/04/06 03:35 
2016/04/05 17:18 
2016/04/04 00:52 
2016/04/03 15:27 
2016/04/02 00:50 
2016/04/01 10:20 
2016/03/31 03:34 
2016/03/30 08:20 
2016/03/29 22:10 
2016/03/28 20:45 
2016/03/27 00:58 
2016/03/26 19:58 
2016/03/25 03:30 
2016/03/24 00:01 
2016/03/19 19:07 
2016/03/18 01:21 
2016/03/17 22:44 
2016/03/16 19:33 
2016/03/15 00:59 
2016/03/14 18:44 
2016/03/13 12:55 
2016/03/12 15:32 
2016/03/11 22:51 
2016/03/10 18:07 
2016/03/09 22:40 
2016/03/08 18:13 
2016/03/07 13:00 
2016/03/06 13:59 
2016/03/05 19:18 
2016/03/04 13:09 
2016/03/03 21:14 
2016/03/02 14:48 
2016/03/01 10:23 
2016/02/27 22:46 
2016/02/26 10:22 
2016/02/25 09:12 
2016/02/24 12:09 
2016/02/23 20:18 
2016/02/22 13:17 
2016/02/21 23:00 
2016/02/19 05:18 
2016/02/18 04:25 
2016/02/17 00:23 
2016/02/16 04:46 
2016/02/15 13:08 
2016/02/14 02:56 
2016/02/13 01:19 
2016/02/12 23:57 
2016/02/11 20:26 

↑recent | ↓old | 20 index | 100 index | 300 index | 記事5件 | 記事10件 | 記事20件 |最新5件 |FAQ | カテゴリ一覧 | Index |