我有8个文件.它们中的每一个大约是1.7 GB.我正在将这些文件读入字节数组,并且该操作足够快.
然后读取每个文件如下:
BufferedReader br=new BufferedReader(new InputStreamReader(new ByteArrayInputStream(data)));
当使用单个核心按顺序处理时,需要花费60秒才能完成.但是,当在8个单独的核心上分配计算时,每个文件花费的时间远远超过60秒.
由于数据都在内存中并且没有执行IO操作,因此我认为每个核处理一个文件所需的时间不应超过60秒.因此,总共8个文件应该在60秒内完成,但事实并非如此.
我错过了BufferedReader行为的一些内容吗?或上述代码中使用的任何读者.
byte[] content=org.apache.commons.io.FileUtils.readFileToByteArray(new File(filePath));
所有代码如下所示:
For each file read the file into a byte[] add the byte[] to a list end For For each item in the list create a thread and pass a byte[] to it end For