如何解决linux子目录的数量限制？

我有一个网站,将存储用户个人资料图片.每个映像都存储在特定于用户的目录( Linux)中.目前我的客户群为30,这意味着我将拥有30个文件夹.但我目前的Linux机箱(ext2 / ext3)不支持创建超过32000个目录.我如何通过这个？甚至YouTube的人也有同样的问题,视频缩略图.但他们通过迁移到ReiserFS解决了这个问题.我们不能有更好的解决方案吗？

更新：当在IRC中询问时,人们询问是否将其升级到ext4,它有64k的限制,当然还有you can even get past that too.或内核黑客改变限制.

更新：如何根据用户ID范围将用户群拆分为文件夹.在一个文件夹中含义1-1000,在另一个文件夹中含义为1000-2000.这似乎很简单.你怎么说,伙计们？

坦白说,还有其他办法吗？

解决方法

这个限制是每个目录,而不是整个文件系统,所以你可以通过进一步细分来解决它.例如,不是让同一目录中的所有用户子目录按名称的前两个字符拆分它们,所以你有类似的东西：

top_level_dir
|---aa
|   |---aardvark1
|   |---aardvark2
|---da
|   |---dan
|   |---david
|---do
    |---don

更好的方法是创建某种形式的名称哈希值并将其用于除法.通过这种方式,您可以在目录中获得更好的传播,而不是使用首字母示例,“da”非常满,“zz”完全为空.例如,如果您使用CRC或MD5名称并使用前8位,您将得到一些像：

top_level_dir
|---00
|   |---some_username
|   |---some_username
|---01
|   |---some_username
...
|---FF
|   |---some_username

这可以根据需要扩展到更深的深度,例如,如果使用用户名而不是哈希值：

top_level_dir
|---a
|   |---a
|       |---aardvark1
|       |---aardvark2
|---d
    |---a
    |   |---dan
    |   |---david
    |---o
        |---don

此方法用于许多地方,如squid的缓存,复制Ludwig的示例,以及Web浏览器的本地缓存.

需要注意的一件重要事情是,使用ext2 / 3,无论如何都会在接近32,000限制之前开始遇到性能问题,因为目录是线性搜索的.移动到另一个文件系统(例如ext4或reiser)将消除这种低效率(reiser使用二进制拆分算法搜索目录,以便更有效地处理目录,ext4也可以执行)以及每个目录的固定限制.

如何解决linux子目录的数量限制？

解决方法

相关文章