在我工作的公司,我们有一个叫做“播放列表”的东西,它们都是小文件,每个文件大约100-300字节.其中大约有一百万.其中大约100,000个每小时更换一次.这些播放列表需要每小时上传到不同大洲的10个其他远程服务器,理想情况下需要在2分钟内快速完成.在主服务器上删除的文件也将在所有副本上删除,这一点非常重要.我们目前使用
Linux作为基础设施.
我正在考虑使用-W选项尝试rsync来复制整个文件而不比较内容.我还没有尝试过,但也许有更多rsync经验的人可以告诉我它是否可行?
还有哪些其他选择值得考虑?
更新:我选择了lsyncd选项作为答案,但仅仅因为它是最受欢迎的.其他建议的替代方案也以他们自己的方式有效.