有很多选择,很难知道从哪里开始.我的要求是这些：
>在Linux上运行
>大多数文件的大小在5-9 MB之间.还会有大量的小型jpgs(100px x 100px).
>所有文件都需要通过http提供.
>冗余 – 理想情况下,它将提供类似于RAID 5的75％的空间效率(在RAID 5中,这将被计算：具有4个相同的磁盘,25％的空间用于奇偶校验=> 75％效率)
>必须支持几PB的数据
>可扩展
>在商品硬件上运行
此外,我寻找这些品质,虽然它们不是“要求”：
我想要一些关于哪个文件系统最适合给定要求的输入.我组织的一些人倾向于MogileFS,但我不相信该项目的稳定性和动力.基于我的有限研究,GlusterFS和Lustre似乎得到了更好的支持……
思考？
解决方法
如果是我,我会使用GlusterFS.当前版本非常可靠,我知道人们在HPC和Internet空间的某些非常大的安装中依赖于它们的生产系统.您可以根据需要通过布置组件来定制它以满足您的需求.与Lustre不同,没有专用的元数据服务器,因此最小化了中心故障点,并且更容易扩展设置.
不幸的是,我认为没有一种简单的方法可以满足你的75％标准而不会降低性能.
它确实在商用硬件上运行,但是在使用Infiniband互连时性能确实很高.幸运的是,IB的价格现在非常低.
你可能想看看Scalable Informatics的人和他们的Jackrabbit产品作为解决方案.他们在硬件上支持GlusterFS,他们的解决方案的价格肯定可以与从头开始整合的成本相媲美.
