rsync配置命令詳解

rsync配置命令詳解 1、什麼是Rsync-Rsync配置參數詳解 Rsync（remote synchronize）是一個遠程數據同步工具，可通過LAN/WAN快速同步多台主機間的文件。Rsync使用所謂的“Rsync算法”來使本地和遠 程兩個主機之間的文件達到同步，這個算法只傳送兩個文件的不同部分，而不是每次都整份傳送，因此速度相當快。 　　Rsync本來是用於替代rcp的一個工具，目前由rsync.samba.org維護，所以rsync.conf文件的格式類似於samba 的主配置文件。Rsync可以通過rsh或ssh使用，也能以daemon模式去運行，在以daemon方式運行時Rsync server會打開一個873端口，等待客戶端去連接。連接時，Rsync server會檢查口令是否相符，若通過口令查核，則可以開始進行文件傳輸。第一次連通完成時，會把整份文件傳輸一次，以後則就只需進行增量備份。 　　Rsync支持大多數的類Unix系統，無論是Linux、Solaris還是BSD上都經過了良好的測試。此外，它在windows平台下也 有相應的版本，如cwRsync和Sync2NAS等工具。 　　Rsync的基本特點如下： 　　1.可以鏡像保存整個目錄樹和文件系統； 　　2.可以很容易做到保持原來文件的權限、時間、軟硬鏈接等； 　　3.無須特殊權限即可安裝； 　　4.優化的流程，文件傳輸效率高； 　　5.可以使用rsh、ssh等方式來傳輸文件，當然也可以通過直接的socket連接； 　　6.支持匿名傳輸。 2、Rsync同步算法 Rsync只所以同步文件的速度相當快，是因為“Rsync同步算法”能在很短的時間內計算出需要備份的數據，關於Rsync的同步算法描述如下： 假定在1號和2號兩台計算機之間同步相似的文件A與B，其中1號對文件A擁有訪問權，2號對文件B擁有訪問權。並且假定主機1號與2號之間的網絡帶寬很 小。那麼rsync算法將通過下面的五個步驟來完成： 1、2號將文件B分割成一組不重疊的固定大小為S字節的數據塊，最後一塊可能會比S 小。 2、2號對每一個分割好的數據塊執行兩種校驗：一種是32位的滾動弱校驗，另一種是128位的MD4強校驗。 3、2號將這些校驗結果發給1號。 4、1號通過搜索文件A的所有大小為S的數據塊(偏移量可以任選，不一定非要是S的倍數)，來尋找與文件B的某一塊有著相同的弱校驗碼和強校驗碼的 數據塊。這項工作可以借助滾動校驗的特性很快完成。 5、1號發給2號一串指令來生成文件A在2號上的備份。這裡的每一條指令要麼是對文件B經擁有某一個數據塊而不須重傳的證明，要麼是一個數據塊，這 個數據塊肯定是沒有與文件B的任何一個數據塊匹配上的。 3、Rsync參數說明 3.1 rsyncd.conf配置文件 －、全局參數 在文件中[module]之前的所有參數都是全局參數，當然也可以在全局參數部分定義模塊參數，這時候該參數的值就是所有模塊的默認值。 port 指定後台程序使用的端口號，默認為873。 motd file “motd file”參數用來指定一個消息文件，當客戶連接服務器時該文件的內容顯示給客戶，默認是沒有motd文件的。 log file “log file”指定rsync的日志文件，而不將日志發送給syslog。比如可指定為“/var/log/rsyncd.log”。 pid file 指定rsync的pid文件，通常指定為“/var/run/rsyncd.pid”。 syslog facility 指定rsync發送日志消息給syslog時的消息級別，常見的消息級別是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默認值是daemon。 二、模塊參數 主要是定義服務器哪個目錄要被同步。其格式必須為“[module]”形式，這個名字就是在rsync 客戶端看到的名字，其實有點象Samba服務器提供的共享名。而服務器真正同步的數據是通過 path 來指定的。我們可以根據自己的需要，來指定多個模塊，模塊中可以定義以下參數： comment 給模塊指定一個描述，該描述連同模塊名在客戶連接得到模塊列表時顯示給客戶。默認沒有描述定義。 path 指定該模塊的供備份的目錄樹路徑，該參數是必須指定的。 use chroot 如果”use chroot”指定為true，那麼rsync在傳輸文件以前首先chroot到path參數所指定的目錄下。這樣做的原因是實現額外的安全防護，但是缺 點是需要以roots權限，並且不能備份指向外部的符號連接所指向的目錄文件。默認情況下chroot值為true。 uid 該選項指定當該模塊傳輸文件時守護進程應該具有的uid，配合gid選項使用可以確定哪些可以訪問怎麼樣的文件權限，默認值是”nobody”。 gid 該選項指定當該模塊傳輸文件時守護進程應該具有的gid。默認值為”nobody”。 max connections 指定該模塊的最大並發連接數量以保護服務器，超過限制的連接請求將被告知隨後再試。默認值是0，也就是沒有限制。 list 該選項設定當客戶請求可以使用的模塊列表時，該模塊是否應該被列出。如果設置該選項為false，可以創建隱藏的模塊。默認值是true。 read only 該選項設定是否允許客戶上載文件。如果為true那麼任何上載請求都會失敗，如果為false並且服務器目錄讀寫權限允許那麼上載是允許的。默認值 為true。 exclude 用來指定多個由空格隔開的多個文件或目錄(相對路徑)，並將其添加到exclude列表中。這等同於在客戶端命令中使用–exclude來指定模 式，一個模塊只能指定一個exclude選項。但是需要注意的一點是該選項有一定的安全性問題，客戶很有可能繞過exclude列表，如果希望確保特定的 文件不能被訪問，那就最好結合uid/gid選項一起使用。 exclude from 指定一個包含exclude模式的定義的文件名，服務器從該文件中讀取exclude列表定義。 include 用來指定不排除符合要求的文件或目錄。這等同於在客戶端命令中使用–include來指定模式，結合include和exclude可以定義復雜的 exclude/include規則 。 include from 指定一個包含include模式的定義的文件名，服務器從該文件中讀取include列表定義。 auth users 該選項指定由空格或逗號分隔的用戶名列表，只有這些用戶才允許連接該模塊。這裡的用戶和系統用戶沒有任何關系。如果”auth users”被設置，那麼客戶端發出對該模塊的連接請求以後會被rsync請求challenged進行驗證身份這裡使用的 challenge/response認證協議。用戶的名和密碼以明文方式存放在”secrets file”選項指定的文件中。默認情況下無需密碼就可以連接模塊(也就是匿名方式)。 secrets file 該選項指定一個包含定義用戶名:密碼對的文件。只有在”auth users”被定義時，該文件才有作用。文件每行包含一個username:passwd對。一般來說密碼最好不要超過8個字符。沒有默認的 secures file名，需要限式指定一個(例如：/etc/rsyncd.passwd)。注意：該文件的權限一定要是600，否則客戶端將不能連接服務器。 strict modes 該選項指定是否監測密碼文件的權限，如果該選項值為true那麼密碼文件只能被rsync服務器運行身份的用戶訪問，其他任何用戶不可以訪問該文 件。默認值為true。 hosts allow 該選項指定哪些IP的客戶允許連接該模塊。客戶模式定義可以是以下形式： 單個IP地址，例如：192.167.0.1 整個網段，例如：192.168.0.0/24，也可以是192.168.0.0/255.255.255.0 多個IP或網段需要用空格隔開，“*”則表示所有，默認是允許所有主機連接。 hosts deny 指定不允許連接rsync服務器的機器，可以使用hosts allow的定義方式來進行定義。默認是沒有hosts deny定義。 ignore errors 指定rsyncd在判斷是否運行傳輸時的刪除操作時忽略server上的IO錯誤，一般來說rsync在出現IO錯誤時將將跳過–delete操 作，以防止因為暫時的資源不足或其它IO錯誤導致的嚴重問題。 ignore nonreadable 指定rysnc服務器完全忽略那些用戶沒有訪問權限的文件。這對於在需要備份的目錄中有些文件是不應該被備份者得到的情況是有意義的。 lock file 指定支持max connections參數的鎖文件，默認值是/var/run/rsyncd.lock。 transfer logging 使rsync服務器使用ftp格式的文件來記錄下載和上載操作在自己單獨的日志中。 log format 通過該選項用戶在使用transfer logging可以自己定制日志文件的字段。其格式是一個包含格式定義符的字符串，可以使用的格式定義符如下所示： %h 遠程主機名 %a 遠程IP地址 %l 文件長度字符數 %p 該次rsync會話的進程id %o 操作類型："send"或"recv" %f 文件名 %P 模塊路徑 %m 模塊名 %t 當前時間 %u 認證的用戶名(匿名時是null) %b 實際傳輸的字節數 %c 當發送文件時，該字段記錄該文件的校驗碼 默認log格式為：”%o %h [%a] %m (%u) %f %l”，一般來說,在每行的頭上會添加”%t [%p] “。在源代碼中同時發布有一個叫rsyncstats的perl腳本程序來統計這種格式的日志文件。 timeout 通過該選項可以覆蓋客戶指定的IP超時時間。通過該選項可以確保rsync服務器不會永遠等待一個崩潰的客戶端。超時單位為秒鐘，0表示沒有超時定 義，這也是默認值。對於匿名rsync服務器來說，一個理想的數字是600。 refuse options 通過該選項可以定義一些不允許客戶對該模塊使用的命令參數列表。這裡必須使用命令全名，而不能是簡稱。但發生拒絕某個命令的情況時服務器將報告錯誤 信息然後退出。如果要防止使用壓縮，應該是：”dont compress = *”。 dont compress 用來指定那些不進行壓縮處理再傳輸的文件，默認值是*.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz 3.2 Rsync命令 在對rsync服務器配置結束以後，下一步就需要在客戶端發出rsync命令來實現將服務器端的文件備份到客戶端來。rsync是一個功能非常強大 的工具，其命令也有很多功能特色選項，我們下面就對它的選項一一進行分析說明。 Rsync的命令格式可以為以下六種： 　　rsync [OPTION]... SRC DEST 　　rsync [OPTION]... SRC [USER@]HOST:DEST 　　rsync [OPTION]... [USER@]HOST:SRC DEST 　　rsync [OPTION]... [USER@]HOST::SRC DEST 　　rsync [OPTION]... SRC [USER@]HOST::DEST 　　rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST] 　　對應於以上六種命令格式，rsync有六種不同的工作模式： 　　1)拷貝本地文件。當SRC和DES路徑信息都不包含有單個冒號”:“分隔符時就啟動這種工作模式。如：rsync -a /data /backup 　　2)使用一個遠程shell程序(如rsh、ssh)來實現將本地機器的內容拷貝到遠程機器。當DST路徑地址包含單個冒號”:“分隔符時啟動 該模式。如：rsync -avz *.c foo:src 　　3)使用一個遠程shell程序(如rsh、ssh)來實現將遠程機器的內容拷貝到本地機器。當SRC地址路徑包含單個冒號”:“分隔符時啟動 該模式。如：rsync -avz foo:src/bar /data 　　4)從遠程rsync服務器中拷貝文件到本地機。當SRC路徑信息包含”::“分隔符時啟動該模式。如：rsync -av [email protected]::www /databack 　　5)從本地機器拷貝文件到遠程rsync服務器中。當DST路徑信息包含”::“分隔符時啟動該模式。如：rsync -av /databack [email protected]::www 　　6)列遠程機的文件列表。這類似於rsync傳輸，不過只要在命令中省略掉本地機信息即可。如：rsync -v rsync://172.16.78.192/www rsync參數的具體解釋如下： -v, --verbose 詳細模式輸出 -q, --quiet 精簡輸出模式 -c, --checksum 打開校驗開關，強制對文件傳輸進行校驗 -a, --archive 歸檔模式，表示以遞歸方式傳輸文件，並保持所有文件屬性，等於-rlptgoD -r, --recursive 對子目錄以遞歸模式處理 -R, --relative 使用相對路徑信息 -b, --backup 創建備份，也就是對於目的已經存在有同樣的文件名時，將老的文件重新命名為~filename。可以使用--suffix選項來指定不同的備份文件前綴。 --backup-dir 將備份文件(如~filename)存放在在目錄下。 -suffix=SUFFIX 定義備份文件前綴 -u, --update 僅僅進行更新，也就是跳過所有已經存在於DST，並且文件時間晚於要備份的文件。(不覆蓋更新的文件) -l, --links 保留軟鏈結 -L, --copy-links 想對待常規文件一樣處理軟鏈結 --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結 --safe-links 忽略指向SRC路徑目錄樹以外的鏈結 -H, --hard-links 保留硬鏈結 -p, --perms 保持文件權限 -o, --owner 保持文件屬主信息 -g, --group 保持文件屬組信息 -D, --devices 保持設備文件信息 -t, --times 保持文件時間信息 -S, --sparse 對稀疏文件進行特殊處理以節省DST的空間 -n, --dry-run現實哪些文件將被傳輸 -W, --whole-file 拷貝文件，不進行增量檢測 -x, --one-file-system 不要跨越文件系統邊界 -B, --block-size=SIZE 檢驗算法使用的塊尺寸，默認是700字節 -e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步 --rsync-path=PATH 指定遠程服務器上的rsync命令所在路徑信息 -C, --cvs-exclude 使用和CVS一樣的方法自動忽略文件，用來排除那些不希望傳輸的文件 --existing 僅僅更新那些已經存在於DST的文件，而不備份那些新創建的文件 --delete 刪除那些DST中SRC沒有的文件 --delete-excluded 同樣刪除接收端那些被該選項指定排除的文件 --delete-after 傳輸結束以後再刪除 --ignore-errors 及時出現IO錯誤也進行刪除 --max-delete=NUM 最多刪除NUM個文件 --partial 保留那些因故沒有完全傳輸的文件，以是加快隨後的再次傳輸 --force 強制刪除目錄，即使不為空 --numeric-ids 不將數字的用戶和組ID匹配為用戶名和組名 --timeout=TIME IP超時時間，單位為秒 -I, --ignore-times 不跳過那些有同樣的時間和長度的文件 --size-only 當決定是否要備份文件時，僅僅察看文件大小而不考慮文件時間 --modify-window=NUM 決定文件是否時間相同時使用的時間戳窗口，默認為0 -T --temp-dir=DIR 在DIR中創建臨時文件 --compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份 -P 等同於 --partial --progress 顯示備份過程 -z, --compress 對備份的文件在傳輸時進行壓縮處理 --exclude=PATTERN 指定排除不需要傳輸的文件模式 --include=PATTERN 指定不排除而需要傳輸的文件模式 --exclude-from=FILE 排除FILE中指定模式的文件 --include-from=FILE 不排除FILE指定模式匹配的文件 --version 打印版本信息 --address 綁定到特定的地址 --config=FILE 指定其他的配置文件，不使用默認的rsyncd.conf文件 --port=PORT 指定其他的rsync服務端口 --blocking-io 對遠程shell使用阻塞IO -stats 給出某些文件的傳輸狀態 --progress 在傳輸時現實傳輸過程 --log-format=formAT 指定日志文件格式 --password-file=FILE 從FILE中得到密碼 --bwlimit=KBPS 限制I/O帶寬，KBytes per second -h, --help 顯示幫助信息 4、Rsync使用實例 4.1、SSH方式 1、首先在服務端啟動ssh服務： # service sshd start 啟動 sshd： [確定] 2、使用rsync進行同步 接下來就可以在客戶端使用rsync命令來備份服務端上的數據了，SSH方式是通過系統用戶來進行備份的，如下： # rsync -vzrtopg --progress -e ssh --delete [email protected]:/www/* /databack/experiment/rsync [email protected]'s password: receiving file list ... 5 files to consider test/ a 0 100% 0.00kB/s 527:35:41 (1, 20.0% of 5) b 67 100% 65.43kB/s 0:00:00 (2, 40.0% of 5) c 0 100% 0.00kB/s 527:35:41 (3, 60.0% of 5) dd 100663296 100% 42.22MB/s 0:00:02 (4, 80.0% of 5) sent 96 bytes received 98190 bytes 11563.06 bytes/sec total size is 100663363 speedup is 1024.19 上面的信息描述了整個的備份過程，以及總共備份數據的大小。 4.2 、後台服務方式 1、啟動rsync服務 編輯/etc/xinetd.d/rsync文件，將其中的disable=yes改為disable=no，並重啟xinetd服務，如下： # vi /etc/xinetd.d/rsync #default: off # description: The rsync server is a good addition to an ftp server, as it \ # allows crc checksumming etc. service rsync { disable = no socket_type = stream wait = no user = root server = /usr/bin/rsync server_args = --daemon log_on_failure += USERID } # /etc/init.d/xinetd restart 停止 xinetd： [確定] 啟動 xinetd： [確定] 2、創建配置文件 默認安裝好rsync程序後，並不會自動創建rsync的主配置文件，需要手工來創建，其主配置文件為“/etc/rsyncd.conf”，創建該文件 並插入如下內容： # vi /etc/rsyncd.conf uid=root gid=root max connections=4 log file=/var/log/rsyncd.log pid file=/var/run/rsyncd.pid lock file=/var/run/rsyncd.lock secrets file=/etc/rsyncd.passwd hosts deny=172.16.78.0/22 [www] comment= backup web path=/www read only = no exclude=test auth users=work 3、創建密碼文件 采用這種方式不能使用系統用戶對客戶端進行認證，所以需要創建一個密碼文件，其格式為“username:password”，用戶名可以和密碼可以隨便 定義，最好不要和系統帳戶一致，同時要把創建的密碼文件權限設置為600，這在前面的模塊參數做了詳細介紹。 # echo “work:abc123” > /etc/rsyncd.passwd # chmod 600 /etc/rsyncd.passwd 4、備份 完成以上工作，現在就可以對數據進行備份了，如下： # rsync -avz --progress --delete [email protected]::www /databack/experiment/rsync Password: receiving file list ... 6 files to consider ./ files... a 0 100% 0.00kB/s 528:20:41 (1, 50.0% of 6) b 67 100% 65.43kB/s 0:00:00 (2, 66.7% of 6) c 0 100% 0.00kB/s 528:20:41 (3, 83.3% of 6) dd 100663296 100% 37.49MB/s 0:00:02 (4, 100.0% of 6) sent 172 bytes received 98276 bytes 17899.64 bytes/sec total size is 150995011 speedup is 1533.75 5、恢復 當服務器的數據出現問題時，那麼這時就需要通過客戶端的數據對服務端進行恢復，但前提是服務端允許客戶端有寫入權限，否則也不能在客戶端直接對服務端進行 恢復，使用rsync對數據進行恢復的方法如下： # rsync -avz --progress /databack/experiment/rsync/ [email protected]::www Password: building file list ... 6 files to consider ./ a b 67 100% 0.00kB/s 0:00:00 (2, 66.7% of 6) c sent 258 bytes received 76 bytes 95.43 bytes/sec total size is 150995011 speedup is 452080.87 5、示例腳本 這裡這些腳本都是rsync網站上的例子： 1、每隔七天將數據往中心服務器做增量備份 #!/bin/sh # This script does personal backups to a rsync backup server. You will end up # with a 7 day rotating incremental backup. The incrementals will go # into subdirectories named after the day of the week, and the current # full backup goes into a directory called "current" # [email protected] # directory to backup BDIR=/home/$USER # excludes file - this contains a wildcard pattern per line of files to exclude EXCLUDES=$HOME/cron/excludes # the name of the backup machine BSERVER=owl # your password on the backup server export RSYNC_PASSWORD=XXXXXX ######################################################################## BACKUPDIR=`date +%A` OPTS="--force --ignore-errors --delete-excluded --exclude-from=$EXCLUDES --delete --backup --backup-dir=/$BACKUPDIR -a" export PATH=$PATH:/bin:/usr/bin:/usr/local/bin # the following line clears the last weeks incremental directory [ -d $HOME/emptydir ] || mkdir $HOME/emptydir rsync --delete -a $HOME/emptydir/ $BSERVER::$USER/$BACKUPDIR/ rmdir $HOME/emptydir # now the actual transfer rsync $OPTS $BDIR $BSERVER::$USER/current 2、備份至一個空閒的硬盤 #!/bin/sh export PATH=/usr/local/bin:/usr/bin:/bin LIST="rootfs usr data data2" for d in $LIST; do mount /backup/$d rsync -ax --exclude fstab --delete /$d/ /backup/$d/ umount /backup/$d done DAY=`date "+%A"` rsync -a --delete /usr/local/apache /data2/backups/$DAY rsync -a --delete /data/solid /data2/backups/$DAY 3、對vger.rutgers.edu的cvs樹進行鏡像 #!/bin/bash cd /var/www/cvs/vger/ PATH=/usr/local/bin:/usr/freeware/bin:/usr/bin:/bin RUN=`lps x | grep rsync | grep -v grep | wc -l` if [ "$RUN" -gt 0 ]; then echo already running exit 1 fi rsync -az vger.rutgers.edu::cvs/CVSROOT/ChangeLog $HOME/ChangeLog sum1=`sum $HOME/ChangeLog` sum2=`sum /var/www/cvs/vger/CVSROOT/ChangeLog` if [ "$sum1" = "$sum2" ]; then echo nothing to do exit 0 fi rsync -az --delete --force vger.rutgers.edu::cvs/ /var/www/cvs/vger/ exit 0 6、FAQ Q：如何通過ssh進行rsync，而且無須輸入密碼？ A：可以通過以下幾個步驟 1. 通過ssh-keygen在server A上建立SSH keys，不要指定密碼，你會在~/.ssh下看到identity和identity.pub文件 2. 在server B上的home目錄建立子目錄.ssh 3. 將A的identity.pub拷貝到server B上 4. 將identity.pub加到~[user b]/.ssh/authorized_keys 5. 於是server A上的A用戶，可通過下面命令以用戶B ssh到server B上了 e.g. ssh -l userB serverB 這樣就使server A上的用戶A就可以ssh以用戶B的身份無需密碼登陸到server B上了。 Q：如何通過在不危害安全的情況下通過防火牆使用rsync? A：解答如下： 這通常有兩種情況，一種是服務器在防火牆內，一種是服務器在防火牆外。無論哪種情況，通常還是使用ssh，這時最好新建一個備份用戶，並且配置 sshd僅允許這個用戶通過RSA認證方式進入。 如果服務器在防火牆內，則最好限定客戶端的IP地址，拒絕其它所有連接。如果客戶機在防火牆內，則可以簡單允許防火牆打開TCP端口22的ssh外發連接 就ok了。 Q：我能將更改過或者刪除的文件也備份上來嗎？ A：當然可以： 你可以使用如：rsync -other -options -backupdir = ./backup-2000-2-13 …這樣的命令來實現。 這樣如果源文件:/path/to/some/file.c改變了，那麼舊的文件就會被移到./backup-2000-2-13/path/to /some/file.c， 這裡這個目錄需要自己手工建立起來 Q：我需要在防火牆上開放哪些端口以適應rsync？ A：視情況而定 rsync可以直接通過873端口的tcp連接傳文件，也可以通過22端口的ssh來進行文件傳遞，但你也可以通過下列命令改變它的端口： rsync –port 8730 otherhost:: 或者 rsync -e ‘ssh -p 2002’ otherhost: Q：我如何通過rsync只復制目錄結構，忽略掉文件呢？ A：rsync -av –include ‘*/' –exclude ‘*’ source-dir dest-dir Q：為什麼我總會出現”Read-only file system”的錯誤呢？ A：看看是否忘了設”read only = no”了 Q：為什麼我會出現’@ERROR : invalid gid’的錯誤呢？ A：rsync使用時默認是用uid=nobody;gid=nobody來運行的，如果你的系統不存在nobody組的話，就會出現這樣的錯誤，可以試 試gid = nogroup或者其它 Q：綁定端口873失敗是怎麼回事？ A：如果你不是以root權限運行這一守護進程的話，因為1024端口以下是特權端口，會出現這樣的錯誤。你可以用–port參數來改變。 Q：為什麼我認證失敗？ A：從你的命令行看來： 你用的是： > bash$ rsync -a 144.16.251.213::test test > Password: > @ERROR: auth failed on module test > > I dont understand this. Can somebody explain as to how to acomplish this. > All suggestions are welcome. 應該是沒有以你的用戶名登陸導致的問題，試試rsync -a [email protected]::test test