ディレクトリをバックアップする

rsyncによるバックアップ

http://x68000.q-e-d.net/~68user/unix/pickup?rsync
http://www.itmedia.co.jp/enterprise/articles/0804/25/news034.html

tar を使う方法とかあるけど、rsync もなかなか良い。

オプションの -a はアーカイブモードで -rlptgoD と同じである。各オプションの意味は以下のとおり。

ディレクトリを再帰的にコピーする (-r)
シンボリックリンクを、そのままシンボリックリンクとしてコピーする (-l)
パーミッションをそのままコピーする (-p)
タイムスタンプをそのままコピーする (-t)
グループをそのままコピーする (-g)
ファイルオーナー (所有者) をそのままコピーする (-o)
デバイスファイルやを特殊ファイルを、そのままコピーする (-D) 

rsync -av /foo/from_dir /bar/to_dir

sshサーバに転送するには

rsync -av -e ssh user@example.com:from_dir/ /foo/to_dir/ 

 ファイル名の文字コードを変換しながら転送

http://rottarte.net/blog/archives/2847

--iconv=SRC-CHARSET,DEST-CHARSET

というオプションを使うとファイル名の文字コードを変換できる。

rsync -auv --iconv=EUC-JP,UTF8 ./ 123.123.123.123 :/dest/dir/

 差分バックアップ

差分バックアップするには --link-dest オプションを使う

rsync -av --delete --link-dest=../dir1_bak0 ~/dir1/ ~/dir1_bak1

相対パスを利用する場合は、--link-destで指定するディレクトリは、コピー先ディレクトリからの相対パスになるの注意。
絶対パスを使うと安心。

--link-destは、このオプションで指定したディレクトリ以下とコピー元を比較し、ファイルの所有者、タイムスタンプ、パーミッションなどすべてが一致するファイルであれば、指定されたディレクトリ内のファイルのハードリンクを作成します（ファイルが一致しない場合は、ハードリンクではなくコピーが行われます）

ls -li

でハードリンクになっていることが確認できる。

サンプルシェル

 #!/bin/sh
 export LANG=ja_JP.UTF-8
 
 ###############
 #  環境変数
 ###############
 nowTime=`date +%Y%m%d_%H%M%S`
 limit=5
 sourcePath="/home/centos/temp/backup/src"
 backupBasePath="/home/centos/temp/backup/dest"
 destPath=${backupBasePath}/${nowTime}
 workPath=${backupBasePath}/work
 
 execListBackupBasePath="ls \"\${backupBasePath}\" | grep \"[0-9]\{8\}_[0-9]\{6\}\""
 pidFile=/var/run/backup.pid
 mail="hoge@hoge.com"
 subject="[Backup Log] ${nowTime}"
 
 # LINE_SEP='
 # '
 LINE_SEP=$'\n'
 IFS_DEFAULT=$IFS
 
 ##############
 #   関数群
 ##############
 # sendMail(){
   # subjectBase64=""
   # lines=`echo -e ${subject} | fold -c10`
   # sep=""
   # IFS=${LINE_SEP}
   # for line in ${lines}; do
     # subjectBase64=${subjectBase64}${sep}"=?UTF-8?B?`echo -e ${line} | base64`?="
     # sep="\n\t"
   # done
   # IFS=${IFS_DEFAULT} 
   # #subject="${subjectBase64%\\n\\t}"
   # # echo -e ${subjectBase64}
   # body=`echo -e $1 | base64`
   # echo -e "To:${mail}\nSubject:${subjectBase64}\nContent-Type: text/plain; charset=UTF-8\nContent-Transfer-Encoding: base64\n\n$body" | /usr/sbin/sendmail -t
 # }
 
 checkError(){
   if [ $1 -ne 0 ]; then
     echo $2
     # sendMail "バックアップ異常終了\n$2"
     exit $1
   fi
 }
 
 checkProcess(){
   if [ -f "${pidFile}" ]; then
     PID=`cat "${pidFile}" `
     if (ps -e | awk '{print $1}' | grep ${PID} > /dev/null); then
       return 1
     fi
   fi
   echo $$ > "${pidFile}"
   return 0
 }
 
 judgeFullBackup() {
   local result=0
   fullBackup=1
   local countBackup=`eval ${execListBackupBasePath} | wc -l`
   if [ ${countBackup} -ne 0 ]; then
     fullBackup=0
     beforeBackup=`eval ${execListBackupBasePath} | sort -r | head -n 1`
     result=$?
     beforeBackup="${backupBasePath}/${beforeBackup}"
   fi
   return ${result}
 }
 
 runBackup() {
   if [ -d "${workPath}" ]; then
     echo 作業用ディレクトリを削除します。
     echo rm "${workPath}"
     rm -rf "${workPath}"
     result=$?
     checkError ${result} "作業用ディレクトリ削除に失敗しました。"
   fi
   
   if [ $fullBackup -eq 1 ]; then
     echo バックアップ種類 ベースバックアップ
     echo バックアップソース "${sourcePath}"
     echo バックアップ先 "${destPath}"
   else
     echo バックアップ種類 差分バックアップ
     echo バックアップソース "${sourcePath}"
     echo バックアップ比較元 "${beforeBackup}"
     echo バックアップ先 "${destPath}"
   fi
   echo ${LINE_SEP}
   
   if [ $fullBackup -eq 1 ]; then
     #(time rsync -av --chmod=ugo-w --delete "${sourcePath}/" "${workPath}/")
     (time rsync -av --delete "${sourcePath}/" "${workPath}/")
   else
     #(time rsync -av --chmod=ugo-w --delete --link-dest="${beforeBackup}" "${sourcePath}/" "${workPath}/")
     (time rsync -av --delete --link-dest="${beforeBackup}" "${sourcePath}/" "${workPath}/")
   fi
   result=$?
   checkError ${result} "バックアップに失敗しました。"
   
   mv "${workPath}" "${destPath}"
   result=$?
   checkError ${result} "作業ディレクトリの名前変更に失敗しました。"
   
   return 0
 }
 
 deleteBackup() {
   IFS=$LINE_SEP
   local countBackup=`eval ${execListBackupBasePath} | wc -l`
   local countDelete=`expr ${countBackup} - ${limit}`
   if [ $countDelete -gt 0 ]; then
     local deleteDirs=`eval ${execListBackupBasePath} | sort | head -n ${countDelete}`
     for deleteDir in ${deleteDirs}; do
       deleteDir="${backupBasePath}/${deleteDir}"
       echo delete "${deleteDir}"
       (time rm -rf "${deleteDir}")
     done
   fi
   IFS=${IFS_DEFAULT} 
 }
 
 ####################
 #   メイン処理
 ####################
 echo "#########################"
 echo backup start
 date "+%Y-%m-%d %H:%M:%S"
 echo "#########################"
 
 checkProcess
 result=$?
 checkError ${result} "多重起動エラー"
 
 # パスの存在チェック
 if [ ! -d "${sourcePath}" ]; then
   checkError 1 "${sourcePath}がありません。"
 fi
 
 if [ ! -d "${backupBasePath}" ]; then
   checkError 1 "${backupBasePath}がありません。"
 fi
 
 if [ -d "${destPath}" ]; then
   checkError 1 "${destPath}が既に存在しています。"
 fi
 
 # バックアップモード決定
 judgeFullBackup
 result=$?
 checkError ${result} "バックアップモード決定に失敗しました。"
 
 # バックアップ実行
 runBackup
 result=$?
 checkError ${result} "バックアップに失敗しました。"
 
 # 古いバックアップファイルを削除
 deleteBackup
 
 echo "#########################"
 echo backup end
 date "+%Y-%m-%d %H:%M:%S"
 echo "#########################"
 rm "${pidFile}"
 
 # sendMail "バックアップ正常終了"
 echo "バックアップ正常終了"

 cron を使う場合の注意

cron で実行すると LANG環境変数が設定されずにログファイル等が化けることがある。
cron から実行されるシェル等の冒頭で

export LANG=ja_JP.UTF-8

で文字コードを設定しておくと良い。

 ファイルの変更検出について

rsyncは通常のオプションでは、日付とサイズによってファイルの変更検出を行う。
ファイルの中身で変更検出を行う場合は
-c または --checksum

転送要否を決定する際、タイムスタンプとファイルサイズではなく、128bit の MD4 チェックサムを用いて同一ファイルか否かをチェックする。

を使う。

 バックアップ領域の書込権限

可能であれば、バックアップ領域は読取専用にしておく。
通常はroot権限でも書込出来ないように読取専用でマウントしておく。
バックアップ時に書込み可能にする。

方法１

通常は

mount -o ro /dev/sdb1 /mnt/backup

にしておき、バックアップ時に

mount -o remount,rw /mnt/backup

にする。ただし、バックアップ中は書込み可能になる

方法２

名前空間を使ってバックアッププロセス以外は書込不可にする。
通常は

mount -o ro /dev/sdb1 /mnt/backup

にしておく。バックアッププロセスを

unshare -m

で実行して分離している状態で

mount -o remount,rw /mnt/backup

にする。