rsync - Linux下進行文件同步命令

rsync是Linux下進行文件同步到一個命令，可以同步兩台計算機到文件與目錄，利用查找文件中到不同塊以減少數據傳輸。也可以在一台電腦到不同目錄間同步，比如可以寫個簡單到腳本，將系統中你到一些配置文件備份到一個 dotfiles 文件夾，上傳到 GitHub 以便以後新的電腦或系統再利用 rsync 回復這些配置文件，這是很方便自動化的（我就是這麼干的 dotfiles)。

rsync的基本用法

$ rsync [options] src dest

1. 目的端和源端文件內容不同，觸發同步
2. rsync不同步文件到”modify time”，進行同步到文件，目的端到”modify time”總是被修改為最新時刻到時間。
3. rsync不會太關注目的端文件到rwx權限，如果目的端無此文件，則權限與源端保持一致；如果目的端有此文件，則權限不會隨著源端變更。
4. rsync有對源文件到讀權限，且對目標路徑有寫權限，rsync就能確保目的端文件同步到和源端一致。
5. rsync只能以登錄目的端到帳號來創建文件，無法保持目的端文件到屬主和屬組和源端一致。

[-t選項]

1. 使用-t選項後，rsync總會想著一件事，那就是將源文件的“modify time”同步到目標機器。
2. 帶有-t選項的rsync，會變得更聰明些，它會在同步前先對比兩邊文件的時間戳和文件大小，如果一致，則就認為兩邊文件一樣，對此文件就不再采取更新動作了。
3. 因為rsync的聰明，也會反被聰明誤。如果目的端的文件的時間戳、大小和源端完全一致，但是內容恰巧不一致時，rsync是發現不了的。這就是傳說中的“坑”！
4. 對於rsync自作聰明的情況，解決辦法就是使用-I選項。

[-I選項]

1. -I選項會讓rsync變得很乖很老實，它會挨個文件去發起數據同步。
2. -I選項可以確保數據的一致性，代價便是速度上會變慢，因為我們放棄了“quick check”策略。（quick check策略，就是先查看文件的時間戳和文件大小，依次先排除一批認為相同的文件）
3. 無論情況如何，目的端的文件的modify time總會被更新到當前時刻。

[-v選項]

這個選項，簡單易懂，就是讓rsync輸出更多的信息，你增加越多的v，就可以獲得越多的日志信息。

[-z選項]

這是個壓縮選項，只要使用了這個選項，rsync就會把發向對端的數據先進行壓縮再傳輸。對於網絡環境較差的情況下建議使用。一般情況下，-z的壓縮算法會和gzip的一樣。

[-r選項]

我們在第一次使用rsync時，往往會遇到這樣的囧境：

$ rsync superman machineB:/home/userB
skipping directory superman

如果你不額外告訴rsync你需要它幫你同步文件夾的話，它是不會主動承擔的，這也正是rsync的懶惰之處。所以，如果你真的想同步文件夾，那就要加上-r選項，即recursive（遞歸的、循環的），像這樣：

$  rsync -r superman machineB:/home/userB

對於文件夾，rsync是會明察秋毫的，只要你加了-r選項，它就會恪盡職守的進入到文件夾裡去檢查，而不會只對文件夾本身做“quick check”的。

[-l選項]

rsync一旦發現某個文件是軟鏈接，就會無視它，除非我們增加-l選項。使用了-l選項後，rsync會完全保持軟鏈接文件類型，原原本本的將軟 鏈接文件復制到目的端，而不會“follow link”到指向的實體文件。如果我偏偏就想讓rsync采取follow link的方式，那就用-L選項就可以了。你可以自己試試效果。

[-p選項]

這個選項的全名是“perserve permissions”，顧名思義，就是保持權限。如果你不使用此選項的話，rsync是這樣來處理權限問題的：

1. 如果目的端沒有此文件，那麼在同步後會將目的端文件的權限保持與源端一致；
2. 如果目的端已存在此文件，那麼只會同步文件內容，權限保持原有不變。

如果你使用了-p選項，則無論如何，rsync都會讓目的端保持與源端的權限一致的。

[-g選項和-o選項]

這兩個選項是一對，用來保持文件的屬組(group)和屬主（owner），作用應該很清晰明了。不過要注意的一點是，改變屬主和屬組，往往只有管理員權限才可以。

[-D選項]

-D選項，原文解釋是“preserve devices(root only)”，從字面意思看，就是保持設備文件的原始信息。

[-a選項]

1. -a選項是rsync裡比較霸道的一個選項，因為你使用-a選項，就相當於使用了-rlptgoD這一坨選項。以一敵七，唯-a選項也。
2. -a選項的學名應該叫做archive option，中文叫做歸檔選項。使用-a選項，就表明你希望采取遞歸方式來同步，且盡可能的保持各個方面的一致性。
3. 但是-a無法同步“硬鏈接”情況。如果有這方面需求，要加上-H選項。

[—delete選項、—delete-excluded選項和—delete-after選項]

三個選項都是和“刪除”有關的：

1. –delete：如果源端沒有此文件，那麼目的端也別想擁有，刪除之。（如果你使用這個選項，就必須搭配-r選項一起）
2. –delete-excluded：專門指定一些要在目的端刪除的文件。
3. –delete-after：默認情況下，rsync是先清理目的端的文件再開始數據同步；如果使用此選項，則rsync會先進行數據同步，都完成後再刪除那些需要清理的文件。

這個學習可是要小心使用到，一不小心會刪除很多東西哦。

可以使用-n選項，它會用受影響的文件列表來警告你，但不會真的去刪除，這就讓我們有了確認的機會和回旋的余地。

[—exclude選項和—exclude-from選項]

如果你不希望同步一些東西到目的端的話，可以使用–exclude選項來隱藏，rsync還是很重視大家隱私的，你可以多次使用–exclude選項來設置很多的“隱私”。 如果你要隱藏的隱私太多的話，在命令行選項中設置會比較麻煩，rsync還是很體貼，它提供了–exclude-from選項，讓你可以把隱私一一列在一個文件裡，然後讓rsync直接讀取這個文件就好了。

[—partial選項]

這就是傳說中的斷點續傳功能。默認情況下，rsync會刪除那些傳輸中斷的文件，然後重新傳輸。但在一些特別情況下，我們不希望重傳，而是續傳。 我們在使用中，經常會看到有人會使用-P選項，這個選項其實是為了偷懶而設計的。以前人們總是要手動寫–partial –progress，覺得太費勁了，倒不如用一個新的選項來代替，於是-P應運而生了。

[—progress選項]

使用這個選項，rsync會顯示出傳輸進度信息，有什麼用呢，rsync給了一個很有意思的解釋： This gives a bored user something to watch.

rsync核心算法

rsync的算法十分高效，酷殼上 一篇文章 介紹來其核心算法，就不再贅述來。

rsync服務器架設

可以架設rsync服務器，rsync以守護進程運行，客戶端將rsync指令寫成一個shell腳本，通過crontab定期執行腳本，以實現服務器和客戶端間特定文件或目錄到同步，這樣就不需要你每次手動同步來，而且rsync服務器配置也十分簡單。

主要涉及三個文件：

1. /etc/rsyncd.conf 是rsync服務器主要配置文件
2. /etc/rsyncd.secrets 是登錄rsync服務器到密碼文件
3. /etc/rsyncd.motd 是定義用戶登錄時顯示到信息

rsyncd.conf

文件內容大體如下：

# Minimal configuration file for rsync daemon
# See rsync(1) and rsyncd.conf(5) man pages for help

# This line is required by the /etc/init.d/rsync script
pid file = /var/run/rsyncd.pid
motd file = /etc/rsyncd.motd
port = 873
address = 192.168.20.24
#uid = nobody
#gid = nobody
uid = root
gid = root
use chroot = yes
read only = no

# limit access to private LANs
hosts allow = *
hosts deny = *

max connections = 5

# This will give you a separate log file
log file = /var/log/rsync.log

# This will log every file transferred - up to 85,000+ per user, per sync
# transfer logging = yes

log format = %t %a %m %f %b
syslog facility = local3
timeout = 300

[test]
path = /home/lcl/test
list = yes
ignore errors
auth users = lcl
secrets file = /etc/rsyncd.secrets
comment = lcl test
#exclude = samba/

rsync使用到是873好端口，上面到配置中hosts allow是允許使用這台rsync服務到機器到IP地址，hosts deny則是拒絕到，不同IP以空格隔開。

[test]及之後到配置則是，配置rsync目錄，包括目錄到路徑，使用到用戶，密碼文件，可以使用exclude排除不要同步到文件或目錄。

rsyncd.secrets

這是存儲rsync服務用戶到用戶名和密碼，是一個明文文本文件，非常重要，屬性需要設為600，只允許所有者讀寫，文件格式如下：

lcl:12345

rsyncd.motd

文件記錄來rsync服務到歡迎信息，當用戶使用該服務時會顯示，可以設置為任何文本信息，如：

++++++++++++++++++++++++++++++++++++++
+ Welcome to use lcl rsync services! +
++++++++++++++++++++++++++++++++++++++

配置完以上文件，可以啟動rsync服務來：

rsync --daemon

客戶端可以通過rsync命令活腳本來進行同步數據來

rsync的命令格式可以為：

1. rsync [OPTION]… SRC [SRC]… [USER@]HOST:DEST]
2. rsync [OPTION]… [USER@]HOST:SRC DEST]
3. rsync [OPTION]… SRC [SRC]… DEST]
4. rsync [OPTION]… [USER@]HOST::SRC [DEST]
5. rsync [OPTION]… SRC [SRC]… [USER@]HOST::DEST]
6. rsync [OPTION]… rsync://[USER@]HOST[:PORT]/SRC [DEST]

rsync有六種不同的工作模式：

1. 拷貝本地文件；當SRC和DES路徑信息都不包含有單個冒號”:“分隔符時就啟動這種工作模式。
2. 使用一個遠程shell程序（如rsh、ssh）來實現將本地機器的內容拷貝到遠程機器。當DST地址包含單個冒號”:“分隔符時啟動該模式。
3. 使用一個遠程shell程序（如rsh、ssh）來實現將遠程機器的內容拷貝到本地機器。當SRC路徑包含單個冒號”:“分隔符時啟動該模式。
4. 從遠程rsync服務器中拷貝文件到本地機。當SRC路徑信息包含”::“分隔符時啟動該模式。
5. 從本地機器拷貝文件到遠程rsync服務器中。當DST路徑信息包含”::“分隔符時啟動該模式。
6. 列遠程機的文件列表。這類似於rsync傳輸，不過只要在命令中省略掉本地機信息即可。

原文：http://812lcl.com/blog/2014/05/04/linuxming-ling-xue-xi-%282%29%3Arsync/