基本上我有一个保存功能,将一个较大的二进制文件复制到一个单独的位置,然后我更改其中的数据.这些文件本身是最大大小为700MB的CD图像.这是我使用的原始C代码:
std::ios::sync_with_stdio(false); std::ifstream in(infile,std::ios::binary); std::ofstream out(outfile,std::ios::binary); std::copy(std::istreambuf_iterator<char>(in),std::istreambuf_iterator<char>(),std::ostreambuf_iterator<char>(out)); out.close(); in.close();
当与690MB文件一起使用时,此代码几乎不足4分钟才能完成.我已经运行了多个文件,它总是相同的结果; 3分钟以内没有.但是,我也发现以下方法运行得更快一些,但仍然没有C:
std::ios::sync_with_stdio(false); std::ifstream in(infile,std::ios::binary); out << in.rdbuf(); out.close(); in.close();
这一次花了24秒,但仍比C慢20倍.
在环顾四周后,我发现有人需要写一个80GB的文件,看到他可以使用C全速写入文件.我决定尝试一下这个代码:
FILE *in = fopen(infile,"rb"); FILE *out = fopen(outfile,"wb"); char buf[1024]; int read = 0; // Read data in 1kb chunks and write to output file while ((read = fread(buf,1,1024,in)) == 1024) { fwrite(buf,out); } // If there is any data left over write it out fwrite(buf,read,out); fclose(out); fclose(in);
结果非常令人震惊.以下是在许多不同文件上运行多次的基准测试之一:
File Size: 565,371,408 bytes C : 1.539s | 350.345 MB/s C++: 24.754s | 21.7815 MB/s - out << in.rdbuf() C++: 220.555s | 2.44465 MB/s - std::copy()
这个巨大差异的原因是什么?我知道C不符合普通C的性能,但是348MB / s的差异是巨大的.有没有我失踪的东西?
编辑:
我在Windows 8.1 64位操作系统上使用Visual Studio 2013进行编译.
编辑2:
阅读约翰·兹温克的答案后,我决定走平台特定的路线.由于我仍然想让我的项目跨平台,我把一个快速的例子.我真的不知道这些在Windows之外的其他系统是否工作,但我可以在以后测试Linux.我不能测试OSX,但我认为copyfile看起来像一个简单的功能,所以我认为它是正确的.
请记住,您需要使用相同的#ifdef逻辑来包含平台特定的头.
void copy(std::string infile,std::string outfile) { #ifdef _WIN32 || _WIN64 // Windows CopyFileA(infile.c_str(),outfile.c_str(),false); #elif __APPLE__ // OSX copyfile(infile.c_str(),NULL,COPYFILE_DATA); #elif __linux // Linux struct stat stat_buf; int in_fd,out_fd; offset_t offset = 0; in_fd = open(infile.c_str(),O_RDONLY); fstat(in_fd,&stat_buf); out_fd = open(outfile.c_str(),O_WRONLY | O_CREAT,stat_buf.st_mode); sendfile(out_fd,in_fd,&offset,stat_buf.st_size); close(out_fd); close(in_fd); #endif }
解决方法
其次,如果要达到最高性能,则需要使用平台特定的API.在Windows上可能是CopyFile / CopyFileEx,在Mac OS上它是copyfile,而在Linux上它是sendfile.其中一些(绝对是sendfile)提供了使用C或C中的基本便携式东西无法实现的性能.其中一些(CopyFileEx和copyfile)提供了额外的功能,例如复制文件系统属性和可选的进度回调.
您可以看到一些基准测试显示发送文件的速度可以快得多:Copy a file in a sane,safe and efficient way
最后,令人遗憾的是,C iostreams在许多平台上都不如C文件I / O那么快.如果您关心性能,您可能会更好地使用C功能.在进行运行时速度重要的编程竞赛时,遇到了这个问题:使用scanf和printf而不是cin和cout在许多系统上有很大的区别.