linux – 分布式,并行,容错文件系统

前端之家收集整理的这篇文章主要介绍了linux – 分布式,并行,容错文件系统前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
有很多选择,很难知道从哪里开始.我的要求是这些:

>在Linux上运行
>大多数文件的大小在5-9 MB之间.还会有大量的小型jpgs(100px x 100px).
>所有文件都需要通过http提供.
>冗余 – 理想情况下,它将提供类似于RAID 5的75%的空间效率(在RAID 5中,这将被计算:具有4个相同的磁盘,25%的空间用于奇偶校验=> 75%效率)
>必须支持几PB的数据
>可扩展
>在商品硬件上运行

此外,我寻找这些品质,虽然它们不是“要求”:

>稳定,成熟的文件系统
>大量的动力和支持
>等

我想要一些关于哪个文件系统最适合给定要求的输入.我组织的一些人倾向于MogileFS,但我不相信该项目的稳定性和动力.基于我的有限研究,GlusterFS和Lustre似乎得到了更好的支持……

思考?

解决方法

如果是我,我会使用GlusterFS.当前版本非常可靠,我知道人们在HPC和Internet空间的某些非常大的安装中依赖于它们的生产系统.您可以根据需要通过布置组件来定制它以满足您的需求.与Lustre不同,没有专用的元数据服务器,因此最小化了中心故障点,并且更容易扩展设置.

不幸的是,我认为没有一种简单的方法可以满足你的75%标准而不会降低性能.

它确实在商用硬件上运行,但是在使用Infiniband互连时性能确实很高.幸运的是,IB的价格现在非常低.

你可能想看看Scalable Informatics的人和他们的Jackrabbit产品作为解决方案.他们在硬件上支持GlusterFS,他们的解决方案的价格肯定可以与从头开始整合的成本相媲美.

原文链接:https://www.f2er.com/linux/401020.html

猜你在找的Linux相关文章