我有一个约150mb的简单文本文件.我的代码将读取每一行,如果它匹配某些正则表达式,它将被写入输出文件.
但是现在,只需要很长时间来遍历文件的所有行(几分钟)就可以了
但是现在,只需要很长时间来遍历文件的所有行(几分钟)就可以了
File.open(filename).each do |line| # do some stuff end
我知道这是循环文件的线路需要一段时间,因为即使我对“#do some stuff”中的数据什么都不做,它仍然需要很长时间.
我知道有些unix程序几乎可以立即解析像这样的大文件(比如grep),所以我想知道为什么ruby(MRI 1.9)需要这么长时间才能读取文件,是否有某种方法可以让它更快？
解决方法
File.readlines.each do |line| #do stuff with each line end
将整个文件读入一行数组.它应该快得多,但它需要更多的内存.