使用unix排序我们如何排序更快?

前端之家收集整理的这篇文章主要介绍了使用unix排序我们如何排序更快?前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我们正在排序一个带有37个字段的5GB文件,并用5个键进行排序.大文件由1000个文件组成,每个文件为5MB.

190分钟后,还没有完成.

我想知道是否有其他方法来加快排序.我们选择unix排序,因为我们不希望它占用所有内存,所以任何基于内存的方法都不行.

独立排序每个文件的优点是什么,然后使用-m选项来合并排序?

使用-S缓冲在内存中.例如,要使用(最多)50%的内存作为排序缓冲区,请执行以下操作:
sort -S 50% file

请注意,现代Unix排序可以并行排序.我的经验是它自动使用尽可能多的内核.您可以使用–parallel直接设置.使用4个线程进行排序:

sort --parallel=4 file

所以总而言之,你应该把所有的东西放到一个文件中,执行一下:

sort -S 50% --parallel=4 file
原文链接:https://www.f2er.com/bash/386512.html

猜你在找的Bash相关文章