介紹rsync同步工具配置與使用,linux<—>linux, linux<—>windows(cwRsync)

             昨天上網(wǎng)找一個(gè)同步工具,windows同步到linux,額,ms不少,但是配置實(shí)在是麻煩,而且很多按照步驟做下來 都不能使用,(估計(jì)rp問題),最郁悶的事莫過如此,經(jīng)過一個(gè)下午的努力,額,原來真的行的,分享給大家。(估計(jì)很多人會(huì)覺得啰嗦)

          一.介紹 (不想看直接可以跳過)

          Rsync是一個(gè)遠(yuǎn)程數(shù)據(jù)同步工具,可通過LAN/WAN快速同步多臺(tái)主機(jī)間的文件。Rsync本來是用以取代rcp的一個(gè)工具,它當(dāng)前由 rsync.samba.org維護(hù)。Rsync使用所謂的“Rsync演算法”來使本地和遠(yuǎn)程兩個(gè)主機(jī)之間的文件達(dá)到同步,這個(gè)算法只傳送兩個(gè)文件的不同部分,而不是每次都整份傳送,因此速度相當(dāng)快。運(yùn)行Rsync server的機(jī)器也叫backup server,一個(gè)Rsync server可同時(shí)備份多個(gè)client的數(shù)據(jù);也可以多個(gè)Rsync server備份一個(gè)client的數(shù)據(jù)。

            Rsync可以搭配rshssh甚至使用daemon模式。Rsync server會(huì)打開一個(gè)873的服務(wù)通道(port),等待對(duì)方Rsync連接。連接時(shí),Rsync server會(huì)檢查口令是否相符,若通過口令查核,則可以開始進(jìn)行文件傳輸。第一次連通完成時(shí),會(huì)把整份文件傳輸一次,下一次就只傳送二個(gè)文件之間不同的部份。

            Rsync支持大多數(shù)的類Unix系統(tǒng),無論是LinuxSolaris還是BSD上都經(jīng)過了良好的測試。此外,它在windows平臺(tái)下也有相應(yīng)的版本,比較知名的有cwRsyncSync2NAS

            Rsync的基本特點(diǎn)如下:

            1.可以鏡像保存整個(gè)目錄樹和文件系統(tǒng);

            2.可以很容易做到保持原來文件的權(quán)限、時(shí)間、軟硬鏈接等;

            3.無須特殊權(quán)限即可安裝;

            4.優(yōu)化的流程,文件傳輸效率高;

            5.可以使用rcpssh等方式來傳輸文件,當(dāng)然也可以通過直接的socket連接;

          6.支持匿名傳輸。


          核心算法介紹:

          假定在名為α和β的兩臺(tái)計(jì)算機(jī)之間同步相似的文件AB,其中α對(duì)文件A擁有訪問權(quán),β對(duì)文件B擁有訪問權(quán)。并且假定主機(jī)α與β之間的網(wǎng)絡(luò)帶寬很小。那么rsync算法將通過下面的五個(gè)步驟來完成:

            1.β將文件B分割成一組不重疊的固定大小為S字節(jié)的數(shù)據(jù)塊。最后一塊可能會(huì)比S 小。

            2.β對(duì)每一個(gè)分割好的數(shù)據(jù)塊執(zhí)行兩種校驗(yàn):一種是32位的滾動(dòng)弱校驗(yàn),另一種是128位的MD4強(qiáng)校驗(yàn)。

            3.β將這些校驗(yàn)結(jié)果發(fā)給α。

            4.α通過搜索文件A的所有大小為S的數(shù)據(jù)塊(偏移量可以任選,不一定非要是S的倍數(shù)),來尋找與文件B的某一塊有著相同的弱校驗(yàn)碼和強(qiáng)校驗(yàn)碼的數(shù)據(jù)塊。這項(xiàng)工作可以借助滾動(dòng)校驗(yàn)的特性很快完成。

            5.α發(fā)給β一串指令來生成文件A在β上的備份。這里的每一條指令要么是對(duì)文件B經(jīng)擁有某一個(gè)數(shù)據(jù)塊而不須重傳的證明,要么是一個(gè)數(shù)據(jù)塊,這個(gè)數(shù)據(jù)塊肯定是沒有與文件B的任何一個(gè)數(shù)據(jù)塊匹配上的。


          命令:

          rsync的命令格式可以為以下六種:

            rsync [OPTION]... SRC DEST

            rsync [OPTION]... SRC [USER@]HOST:DEST

            rsync [OPTION]... [USER@]HOST:SRC DEST

            rsync [OPTION]... [USER@]HOST::SRC DEST

            rsync [OPTION]... SRC [USER@]HOST::DEST

            rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

            對(duì)應(yīng)于以上六種命令格式,rsync有六種不同的工作模式:

            1)拷貝本地文件。當(dāng)SRCDES路徑信息都不包含有單個(gè)冒號(hào)":"分隔符時(shí)就啟動(dòng)這種工作模式。

            2)使用一個(gè)遠(yuǎn)程shell程序(rshssh)來實(shí)現(xiàn)將本地機(jī)器的內(nèi)容拷貝到遠(yuǎn)程機(jī)器。當(dāng)DST路徑地址包含單個(gè)冒號(hào)":"分隔符時(shí)啟動(dòng)該模式。

            3)使用一個(gè)遠(yuǎn)程shell程序(rshssh)來實(shí)現(xiàn)將遠(yuǎn)程機(jī)器的內(nèi)容拷貝到本地機(jī)器。當(dāng)SRC地址路徑包含單個(gè)冒號(hào)":"分隔符時(shí)啟動(dòng)該模式。

            4)從遠(yuǎn)程rsync服務(wù)器中拷貝文件到本地機(jī)。當(dāng)SRC路徑信息包含"::"分隔符時(shí)啟動(dòng)該模式。

            5)從本地機(jī)器拷貝文件到遠(yuǎn)程rsync服務(wù)器中。當(dāng)DST路徑信息包含"::"分隔符時(shí)啟動(dòng)該模式。

            6)列遠(yuǎn)程機(jī)的文件列表。這類似于rsync傳輸,不過只要在命令中省略掉本地機(jī)信息即可。

          二.安裝

          1.從原始網(wǎng)站下載:[url]http://rsync.samba.org/ftp/rsync/[/url]  (http://rsync.samba.org/ftp/rsync/rsync-3.0.7.tar.gz目前是這個(gè)版本)

          windows版本:
          客戶端:cwRsync_2.0.10_Installer http://blogimg.chinaunix.net/blog/upfile/070917224721.zip 
          服務(wù)端:cwRsync_Server_2.0.10_Installer   http://blogimg.chinaunix.net/blog/upfile/070917224837.zip

          對(duì)于client 和 server都是windows的,那么可以直接安裝如上2個(gè),然后可以通過建 windows的任務(wù),實(shí)現(xiàn)定時(shí)處理,可以參考:
          http://blog.csdn.net/daizhj/archive/2009/11/03/4765280.aspx

          2.[root@localhost bin]#./configure
          [root@localhost bin]#make
          [root@localhost bin]#make install

          這里可能會(huì)有權(quán)限問題,切換到root用戶


          Rsync配置
          /etc/rsyncd.conf  (默認(rèn)是沒有的,可以手工創(chuàng)建)
          #全局選項(xiàng)
          strict modes =yes                        #是否檢查口令文件的權(quán)限
          port = 873                               #默認(rèn)端口873
          log file = /var/log/rsyncd.log           #日志記錄文件    原文中有的,我沒有使用,日志文件
          pid file = /usr/local/rsync/rsyncd.pid   #運(yùn)行進(jìn)程的ID寫到哪里   原文中有的,我沒有使用,日志文件

          #模塊選項(xiàng)
          [test]                                   # 這里是認(rèn)證的模塊名,在client端需要指定
          max connections = 5                      #客戶端最大連接數(shù),默認(rèn)0(沒限制)
                   uid = root                      #指定該模塊傳輸文件時(shí)守護(hù)進(jìn)程應(yīng)該具有的uid
                   gid = root                      #指定該模塊傳輸文件時(shí)守護(hù)進(jìn)程應(yīng)該具有的gid
                    path = /home/admin/testrsync   # 需要做備份的目錄
                    ignore errors                  # 可以忽略一些無關(guān)的IO錯(cuò)誤
                    read only = no                 #no客戶端可上傳文件,yes只讀
                    write only = no                #no客戶端可下載文件,yes不能下載
                    hosts allow = *                #充許任何主機(jī)連接
                    hosts deny = 10.5.3.77         #禁止指定的主機(jī)連接
                    auth users = root              # 認(rèn)證的用戶名,如果沒有這行,則表明是匿名
                    secrets file = /home/admin/security/rsync.pass    # 指定認(rèn)證口令文件位置

             
          生成rsync密碼文件
          在server端生成一個(gè)密碼文件/home/admin/security/rsync.pass
                
                 vi rsync.pass
           
                  root:hell05a
            

          注意:密碼文件的權(quán)限,是由rsyncd.conf里的參數(shù)
          strict modes =yes/no 來決定
          Rsync 的啟動(dòng)
           rsycn 的啟動(dòng)方式有多種,我們?cè)谶@里介紹以下幾種:
          ●. 守護(hù)進(jìn)程方式:(我現(xiàn)在只使用這個(gè))
          /usr/local/bin/rsync --daemon

          驗(yàn)證啟動(dòng)是否成功
           ps -aux |grep rsync
           root       59120  0.0  0.2  1460   972  ??  Ss    5:20PM   0:00.00  /usr/local/rsync/bin/rsync –daemon

          netstat -an |grep 873
          tcp4       0      0  *.873                  *.*                    LISTEN

          結(jié)束進(jìn)程:kill -9 pid的值
          kill -15 進(jìn)程名


          如果是linux之間同步,只需要安裝rsync,如果是需要linux與windows之間同步,安裝 cwrsync



          三.客戶端訪問:(客戶端也需要安裝 rsync,如果是windows,安裝cwrsync)


          實(shí)例演示使用:

          下載文件:
          ./rsync  -vzrtopg --progress --delete  root@xxx.xxx.xxx.xxx::backup  /home/admin/getfile

          上傳文件:
          /usr/bin/rsync -vzrtopg --progress /home/admin/getfile  root@xxx.xxx.xxx.xxx::backup


          Rsync 同步參數(shù)說明
          -vzrtopg里的v是verbose,z是壓縮,r是recursive,topg都是保持文件原有屬性如屬主、時(shí)間的參數(shù)。
          --progress是指顯示出詳細(xì)的進(jìn)度情況
          --delete是指如果服務(wù)器端刪除了這一文件,那么客戶端也相應(yīng)把文件刪除
          root@xxx.xxx.xxx.xxx中的root是指定密碼文件中的用戶名,xxx為ip地址
          backup 是指在rsyncd.conf里定義的模塊名
          /home/admin/getfile 是指本地要備份目錄


          可能出現(xiàn)的問題:
          @ERROR: auth failed on module backup
          rsync error: error starting client-server protocol (code 5) at main.c(1506) [Receiver=3.0.7]
          那估計(jì)是密碼文件沒有設(shè)置權(quán)限哦:  chmod 600 /home/admin/security/rsync.pass
          應(yīng)該差不多就可以了。



          (2)打開rsync服務(wù)
          #chkconfig xinetd on
          #chkconfig rsync on

          (4)啟動(dòng)基于xinetd進(jìn)程的rsync服務(wù)t
          #/etc/init.d/xinetd start


          3、配置windows的rsync客戶端
          (1)安裝client端的rsync包
          (2)打開cmd,執(zhí)行同步計(jì)劃:
          cd C:\Program Files\cwRsync\bin

          下載同步(把服務(wù)器上的東東下載當(dāng)前目錄)
          rsync -vzrtopg --progress --delete root@xxx.xxx.xxx.xxx::backup  ./ff
          (此時(shí)須輸入root用戶的密碼,就可進(jìn)行同步了。)

          上傳同步(把本地東東上傳到服務(wù)器)
          rsync -vzrtopg --progress ./get/  root@xxx.xxx.xxx.xxx::backup



          參數(shù)說明
          -v, --verbose 詳細(xì)模式輸出
          -q, --quiet 精簡輸出模式
          -c, --checksum 打開校驗(yàn)開關(guān),強(qiáng)制對(duì)文件傳輸進(jìn)行校驗(yàn)
          -a, --archive 歸檔模式,表示以遞歸方式傳輸文件,并保持所有文件屬性,等于-rlptgoD
          -r, --recursive 對(duì)子目錄以遞歸模式處理
          -R, --relative 使用相對(duì)路徑信息
          -b, --backup 創(chuàng)建備份,也就是對(duì)于目的已經(jīng)存在有同樣的文件名時(shí),將老的文件重新命名為~filename。可以使用--suffix選項(xiàng)來指定不同的備份文件前綴。
          --backup-dir 將備份文件(如~filename)存放在在目錄下。
          -suffix=SUFFIX 定義備份文件前綴
          -u, --update 僅僅進(jìn)行更新,也就是跳過所有已經(jīng)存在于DST,并且文件時(shí)間晚于要備份的文件。(不覆蓋更新的文件)
          -l, --links 保留軟鏈結(jié)
          -L, --copy-links 想對(duì)待常規(guī)文件一樣處理軟鏈結(jié)
          --copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結(jié)
          --safe-links 忽略指向SRC路徑目錄樹以外的鏈結(jié)
          -H, --hard-links 保留硬鏈結(jié)     -p, --perms 保持文件權(quán)限
          -o, --owner 保持文件屬主信息     -g, --group 保持文件屬組信息
          -D, --devices 保持設(shè)備文件信息    -t, --times 保持文件時(shí)間信息
          -S, --sparse 對(duì)稀疏文件進(jìn)行特殊處理以節(jié)省DST的空間
          -n, --dry-run現(xiàn)實(shí)哪些文件將被傳輸
          -W, --whole-file 拷貝文件,不進(jìn)行增量檢測
          -x, --one-file-system 不要跨越文件系統(tǒng)邊界
          -B, --block-size=SIZE 檢驗(yàn)算法使用的塊尺寸,默認(rèn)是700字節(jié)
          -e, --rsh=COMMAND 指定使用rsh、ssh方式進(jìn)行數(shù)據(jù)同步
          --rsync-path=PATH 指定遠(yuǎn)程服務(wù)器上的rsync命令所在路徑信息
          -C, --cvs-exclude 使用和CVS一樣的方法自動(dòng)忽略文件,用來排除那些不希望傳輸?shù)奈募?br /> --existing 僅僅更新那些已經(jīng)存在于DST的文件,而不備份那些新創(chuàng)建的文件
          --delete 刪除那些DST中SRC沒有的文件
          --delete-excluded 同樣刪除接收端那些被該選項(xiàng)指定排除的文件
          --delete-after 傳輸結(jié)束以后再刪除
          --ignore-errors 及時(shí)出現(xiàn)IO錯(cuò)誤也進(jìn)行刪除
          --max-delete=NUM 最多刪除NUM個(gè)文件
          --partial 保留那些因故沒有完全傳輸?shù)奈募允羌涌祀S后的再次傳輸
          --force 強(qiáng)制刪除目錄,即使不為空
          --numeric-ids 不將數(shù)字的用戶和組ID匹配為用戶名和組名
          --timeout=TIME IP超時(shí)時(shí)間,單位為秒
          -I, --ignore-times 不跳過那些有同樣的時(shí)間和長度的文件
          --size-only 當(dāng)決定是否要備份文件時(shí),僅僅察看文件大小而不考慮文件時(shí)間
          --modify-window=NUM 決定文件是否時(shí)間相同時(shí)使用的時(shí)間戳窗口,默認(rèn)為0
          -T --temp-dir=DIR 在DIR中創(chuàng)建臨時(shí)文件
          --compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份
          -P 等同于 --partial
          --progress 顯示備份過程
          -z, --compress 對(duì)備份的文件在傳輸時(shí)進(jìn)行壓縮處理
          --exclude=PATTERN 指定排除不需要傳輸?shù)奈募J?br /> --include=PATTERN 指定不排除而需要傳輸?shù)奈募J?br /> --exclude-from=FILE 排除FILE中指定模式的文件
          --include-from=FILE 不排除FILE指定模式匹配的文件
          --version 打印版本信息
          --address 綁定到特定的地址
          --config=FILE 指定其他的配置文件,不使用默認(rèn)的rsyncd.conf文件
          --port=PORT 指定其他的rsync服務(wù)端口
          --blocking-io 對(duì)遠(yuǎn)程shell使用阻塞IO
          -stats 給出某些文件的傳輸狀態(tài)
          --progress 在傳輸時(shí)現(xiàn)實(shí)傳輸過程
          --log-format=formAT 指定日志文件格式
          --password-file=FILE 從FILE中得到密碼
          --bwlimit=KBPS 限制I/O帶寬,KBytes per second      -h, --help 顯示幫助信息









          posted on 2010-02-03 15:52 胡鵬 閱讀(2799) 評(píng)論(0)  編輯  收藏 所屬分類: 工具 and 軟件

          導(dǎo)航

          <2010年2月>
          31123456
          78910111213
          14151617181920
          21222324252627
          28123456
          78910111213

          統(tǒng)計(jì)

          常用鏈接

          留言簿(3)

          隨筆分類

          隨筆檔案

          agile

          搜索

          最新評(píng)論

          閱讀排行榜

          評(píng)論排行榜

          主站蜘蛛池模板: 和静县| 黄龙县| 土默特左旗| 兴海县| 柏乡县| 梅河口市| 沙坪坝区| 昭通市| 崇信县| 交城县| 盐津县| 上高县| 赣州市| 平定县| 瓮安县| 马鞍山市| 盘山县| 玉门市| 钟祥市| 青铜峡市| 石门县| 靖边县| 和顺县| 宁阳县| 射洪县| 杭锦旗| 永丰县| 芦溪县| 福泉市| 玉门市| 盐池县| 碌曲县| 化德县| 涿州市| 兴和县| 陇西县| 沅江市| 青冈县| 辽宁省| 南郑县| 醴陵市|