我刚刚开始使用GCS作为我的Web服务器的备份.一台服务器拥有120万JPEGS(3.5TB),这一切都在10个小时左右完美无缺.
另一个有250万JPEGS(虽然只有缩略图/预览 – 总共300GB).我第一次这样做,“建筑同步状态”很快就完成了250万次.几分钟.我的会话被中断了(wifi掉线),当我进入SSH试图再次运行它时,“At source listing”提示快速通过10000,20000,30000.然后研磨到接近停止.半小时后,它只有300,000.我知道它必须弄清楚目的地有哪些文件,但我觉得不应该显着放慢“源头上市……”的回声？
它是否表明我的文件系统存在问题,如果是这样,我应该检查什么？
或者是出于任何原因预期的行为？
尝试将gsutil rsync与200万个文件一起用于一个桶是个坏主意吗？我可以找不到谷歌关于有多少文件可以放在桶中的准则,所以我假设它是数十亿/无限？
FWIW文件都在嵌套子目录中,任何一个目录中的文件不超过2000个.
谢谢
编辑：我正在使用的确切命令是：
gsutil -m rsync -r /var/www/ gs://mybucketname/var/www
解决方法
我发现了变化
output_chunk.writelines(unicode(''.join(current_chunk)))
至
output_chunk.write(unicode(''.join(current_chunk)))
在/gsutil/gslib/commands/rsync.py中有很大的不同.感谢GS团队的Mike的帮助 – 这个简单的更改已经在github上推出了：
https://github.com/GoogleCloudPlatform/gsutil/commit/a6dcc7aa7706bf9deea3b1d243ecf048a06a64f2
