隨筆-314  評論-209  文章-0  trackbacks-0
          如果用傳統SCP遠程拷貝,速度是比較慢的。現在采用lz4壓縮傳輸。LZ4是一個非??斓臒o損壓縮算法,壓縮速度在單核300MB/S,可擴展支持多核CPU。它還具有一個非??焖俚慕獯a器,速度單核可達到和超越1GB/S。通常能夠達到多核系統上的RAM速度限制。 你PV 全命為Pipe Viewer,利用它我們可以查看到命令執行的進度。 下面介紹下lz4和pv的安裝,下載軟件: 下載pv-1.1.4.tar.gz wget http://sourceforge.jp/projects/sfnet_pipeviewer/downloads/pipeviewer/1.1.4/pv-1.1.4.tar.bz2/ 下lz4的包難一些,可能要FQ:https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz 安裝灰常簡單: pv安裝: [root ~]$ tar jxvf pv-1.1.4.tar.bz2 [root ~]$ cd pv-1.1.4 [root pv-1.1.4]$ ./configure && make && make install lz4安裝: [root ~]$ tar zxvf lz4-r108.tar.gz [root ~]$ cd lz4-r108 [root lz4-r108]$ make && make install 用法:(-c 后指定要傳輸的文件,ssh -p 是指定端口,后面的ip是目標主機的ip, -xC指定傳到目標主機下的那個目錄下,別的不用修改): tar -c mysql-slave-3307 |pv|lz4 -B4|ssh -p10022 -c arcfour128 -o"MACs umac-64@openssh.com" 192.168.100.234 "lz4 -d |tar -xC /data" 下面是我線上傳一個從庫的效果: 看到了吧,25.7G 只需要接近3分鐘,這樣遠比scp速度快上了好幾倍,直接scp拷貝離散文件,很消耗IO,而使用LZ4快速壓縮,對性能影響不大,傳輸速度快 PS:下次補充同機房不同網段的傳輸效果及跨機房的傳輸效果^0^ 作者:陸炫志 出處:xuanzhi的博客 http://www.cnblogs.com/xuanzhi201111 您的支持是對博主最大的鼓勵,感謝您的認真閱讀。本文版權歸作者所有,歡迎轉載,但請保留該聲明。
          posted on 2017-09-14 18:24 xzc 閱讀(455) 評論(0)  編輯  收藏 所屬分類: hadoop
          主站蜘蛛池模板: 中西区| 惠水县| 武胜县| 云和县| 卢龙县| 囊谦县| 威远县| 高阳县| 陆川县| 西青区| 双牌县| 桃园县| 上栗县| 应城市| 当雄县| 石林| 阿鲁科尔沁旗| 绿春县| 南川市| 通许县| 邹平县| 本溪市| 扎鲁特旗| 绍兴县| 伊春市| 临海市| 巨鹿县| 潮州市| 通州市| 金秀| 高密市| 康马县| 梅河口市| 哈密市| 孝义市| 正阳县| 文昌市| 弥勒县| 扶风县| 张家口市| 龙山县|