我试图将一个75千兆字节的tgz(
mysql lvm快照)从我们的LA数据中心的
Linux服务器复制到我们纽约数据中心的另一个Linux服务器上,通过一个10MB的链接.
我使用rsync或scp获得大约20-30Kb / s,其在200-300小时之间波动.
目前它是一个相对安静的链接,因为第二个数据中心尚未激活,我从小文件传输中获得了极好的速度.
我已经按照谷歌找到的不同的tcp调整指南无济于事(也许我正在阅读错误的指南,得到一个好的?).
我已经看过tar netcat隧道提示,但我的理解是它只适用于很多小文件,当文件有效完成传输时不会更新你.
在我开始运送硬盘之前,有没有人有任何好的意见?
更新:
嗯……它可能是以后的链接:(见下面我的测试…
从纽约到洛杉矶的接送服务:
[nathan@laobnas test]$dd if=/dev/zero of=FROM_LA_TEST bs=1k count=4700000 4700000+0 records in 4700000+0 records out 4812800000 bytes (4.8 GB) copied,29.412 seconds,164 MB/s [nathan@laobnas test]$scp -C obnas:/obbkup/test/FROM_NY_TEST . FROM_NY_TEST 3% 146MB 9.4MB/s 07:52 ETA
获取快照tarball.
[nathan@obnas db_backup]$ls -la db_dump.08120922.tar.gz -rw-r--r-- 1 root root 30428904033 Aug 12 22:42 db_dump.08120922.tar.gz [nathan@laobnas test]$scp -C obnas:/obbkup/db_backup/db_dump.08120922.tar.gz . db_dump.08120922.tar.gz 0% 56MB 574.3KB/s 14:20:40 ET
从洛杉矶到纽约的转机:
[nathan@obnas test]$dd if=/dev/zero of=FROM_NY_TEST bs=1k count=4700000 4700000+0 records in 4700000+0 records out 4812800000 bytes (4.8 GB) copied,29.2501 seconds,165 MB/s [nathan@obnas test]$scp -C laobnas:/obbkup/test/FROM_LA_TEST . FROM_LA_TEST 0% 6008KB 497.1KB/s 2:37:22 ETA
获取快照tarball.
[nathan@laobnas db_backup]$ls -la db_dump_08120901.tar.gz -rw-r--r-- 1 root root 31090827509 Aug 12 21:21 db_dump_08120901.tar.gz [nathan@obnas test]$scp -C laobnas:/obbkup/db_backup/db_dump_08120901.tar.gz . db_dump_08120901.tar.gz 0% 324KB 26.8KB/s 314:11:38 ETA
解决方法
Sneakernet任何人?
假设这是一次性复制,我不认为可以将文件复制到CD(或其他媒体)并在一夜之间将其复制到目的地?
这实际上可能是您最快的选择,因为该大小的文件传输,通过该连接,可能无法正确复制…在这种情况下,您可以重新开始.
rsync的
我的第二个选择/尝试是rsync,因为它检测到失败的传输,部分传输等,并且可以从它停止的地方获取.
rsync --progress file1 file2 user@remotemachine:/destination/directory
–progress标志会给你一些反馈,而不是只是坐在那里让你自己猜测. 原文链接:https://www.f2er.com/linux/402373.html