前端之家收集整理的这篇文章主要介绍了
如何加速小文件的rsync,
前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我正在尝试使用以下命令将数千个小
文件从一个服务器传输到另一个服务器:
rsync -zr –delete / home / user / user@10.1.1.1 :: backup
目前转移需要很长时间(我还没有计时).有没有办法让这更快?我应该使用其他工具吗?我应该在ssh上使用rsync而不是使用rsync协议吗?
您需要确定瓶颈.它不是rsync.它可能不是您的网络带宽.正如
@Zoredache所说,很可能是所有stat()
调用产生的大量iops.任何同步工具都需要
统计文件.同步运行iostat以验证.
所以问题就变成了;我该如何优化stat?两个简单的答案:
>获得更快的磁盘子系统(如果需要,在两台主机上)和
>调整文件系统(例如,使用noatime进行ext3安装并添加dir_index).
如果有可能不是你的磁盘iops是限制,那么你可以尝试将目录树拆分成多个不同的树并运行多个rsyncs.
原文链接:https://www.f2er.com/linux/401013.html