如果用傳統(tǒng)SCP遠(yuǎn)程拷貝,速度是比較慢的。現(xiàn)在采用lz4壓縮傳輸。LZ4是一個非常快的無損壓縮算法,壓縮速度在單核300MB/S,可擴(kuò)展支持多核CPU。它還具有一個非常快速的解碼器,速度單核可達(dá)到和超越1GB/S。通常能夠達(dá)到多核系統(tǒng)上的RAM速度限制。
你PV 全命為Pipe Viewer,利用它我們可以查看到命令執(zhí)行的進(jìn)度。
下面介紹下lz4和pv的安裝,下載軟件:
下載pv-1.1.4.tar.gz wget http://sourceforge.jp/projects/sfnet_pipeviewer/downloads/pipeviewer/1.1.4/pv-1.1.4.tar.bz2/
下lz4的包難一些,可能要FQ:https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz
安裝灰常簡單:
pv安裝:
[root ~]$ tar jxvf pv-1.1.4.tar.bz2
[root ~]$ cd pv-1.1.4
[root pv-1.1.4]$ ./configure && make && make install
lz4安裝:
[root ~]$ tar zxvf lz4-r108.tar.gz
[root ~]$ cd lz4-r108
[root lz4-r108]$ make && make install
用法:(-c 后指定要傳輸?shù)奈募瑂sh -p 是指定端口,后面的ip是目標(biāo)主機(jī)的ip, -xC指定傳到目標(biāo)主機(jī)下的那個目錄下,別的不用修改):
tar -c mysql-slave-3307 |pv|lz4 -B4|ssh -p10022 -c arcfour128 -o"MACs umac-64@openssh.com" 192.168.100.234 "lz4 -d |tar -xC /data"
下面是我線上傳一個從庫的效果:
看到了吧,25.7G 只需要接近3分鐘,這樣遠(yuǎn)比scp速度快上了好幾倍,直接scp拷貝離散文件,很消耗IO,而使用LZ4快速壓縮,對性能影響不大,傳輸速度快
PS:下次補(bǔ)充同機(jī)房不同網(wǎng)段的傳輸效果及跨機(jī)房的傳輸效果^0^
作者:陸炫志
出處:xuanzhi的博客 http://www.cnblogs.com/xuanzhi201111
您的支持是對博主最大的鼓勵,感謝您的認(rèn)真閱讀。本文版權(quán)歸作者所有,歡迎轉(zhuǎn)載,但請保留該聲明。
posted on 2017-09-14 18:24
xzc 閱讀(441)
評論(0) 編輯 收藏 所屬分類:
hadoop