主页 > 知识库 > Linux如何提高大文件的拷贝效率以节约时间

Linux如何提高大文件的拷贝效率以节约时间

热门标签:河南智能电话机器人公司 地球地图标注方法 新郑电销外呼系统线路 怎样给景区加百度地图标注 河北语音电销机器人 商户地图标注 寿光百度地图标注中心网站 桦甸电销机器人 电话机器人哪里有卖的

  Linux系统操作中,当你在进行机器直接的拷贝时,遇到大文件的时候非常浪费时间,特别是将文件同时拷贝到多台机器上的时候,那么有什么好的方法能够提高大文件的拷贝效率呢?一起来学习下吧。

  你可以从源机器逐个拷贝到逐台目标机器,但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器,但是受制于源机器的带宽等因素,速度并不见得真的很快。

  还好,借助一些UNIX工具可以做的更好。把tee和FIFO组合起来,可以形成一个文件快速分发链:处于分发链中的每台机器会保存文件,同时还分发给它的下一环。

  首先,选定一台目标机器做为分发链的最后一环,在这台机器上只需要用nc监听(假定端口是1234),再通过管道由pigz解压缩,继续通过管道把数据交由tar来分解。

  nc -l 1234| pigz -d | tar xvf -

  然后,再从分发链的末端往上走,设置其它目标机器,同样要经过监听、解压、分解,不过在解压之前我们通过tee命令将数据输出到命名管道(FIFO),另外的一条shell管道会将这些未解压的数据同时分发到分发链的下一环:

  mkfifo myfifo

  nc hostname_of_next_box 1234 nc -l 1234| tee myfifo | pigz -d | tar xvf -

  最后,在源机器上启动分发链,让数据传输到分发链的第一环:

  tar cv some_files | pigz | nc hostname_of_first_box 1234

  在我的测试中,分发链中的每台机器大概损失了3%-10%的性能(相对于1对1的拷贝而言),但是相对逐个逐个的拷贝或者单台机器向多台机器同时分发,效率提升是很明显的。

  上面就是Linux提高大文件拷贝效率的方法介绍了,主要通过UNIX工具形成一个文件快速分发链来实现大文件的快速拷贝,效率提高了不少。

标签:怀化 广州 遵义 六安 喀什 咸阳 湖北 阿坝

巨人网络通讯声明:本文标题《Linux如何提高大文件的拷贝效率以节约时间》,本文关键词  Linux,如何,提,高大,文件,;如发现本文内容存在版权问题,烦请提供相关信息告之我们,我们将及时沟通与处理。本站内容系统采集于网络,涉及言论、版权与本站无关。
  • 相关文章
  • 下面列出与本文章《Linux如何提高大文件的拷贝效率以节约时间》相关的同类信息!
  • 本页收集关于Linux如何提高大文件的拷贝效率以节约时间的相关信息资讯供网民参考!
  • 推荐文章