前言
golang读取文件的方式主要有4种:
关于前3种方式的速度比较,我最早是在 GoLang几种读文件方式的比较 看过,但在该blog的评论区有人(study_c)提出了质疑,并提供了测试代码。根据该代码的测试,结果应该是
在我反复跑study_c测试代码过程中发现几个问题或者说是影响因素:
所以本文的性能测试就是基于study_c的代码的基础上做了修改,尝试测试不同块大小对结果的影响,并增加对IoUtil.ReadFile()的测试,还有随机生成文件以应对缓存影响公平性。
性能测试
测试环境
cpu: i5-6300HQ
MEM: 12GB
DSK: SANDISK Extreme PRO SSD 480GB
OS : WIN 10 64bit
测试代码1【randfiles.go】,生成1-500MB包含随机字符串的文件
package main import ( "math/rand" "fmt" "flag" "strconv" "io/IoUtil" ) const letterBytes = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ" // https://stackoverflow.com/questions/22892120/how-to-generate-a-random-string-of-a-fixed-length-in-golang func RandStringBytes(n int) []byte { b := make([]byte,n) for i := range b { b[i] = letterBytes[rand.Intn(len(letterBytes))] } return b } func RandFile(path string,filesizeMB int) { b:=RandStringBytes(filesizeMB * 1024) //生成1-500KB大小的随机字符串 bb := make([]byte,filesizeMB * 1024 * 1024) for i:=0;i<1024;i++ { //复制1024遍 copy(bb[len(b)*i:len(b)*(i+1)],b) } //fmt.Printf("%s",b) IoUtil.WriteFile(path,bb,0666) } func main() { flag.Parse() filesizeMB,err :=strconv.Atoi(flag.Arg(0)) //1-500MB大小的文件 if err != nil{panic(err)} if filesizeMB > 500 {panic("too large file,>500MB")} RandFile("./random1.txt",filesizeMB) RandFile("./random2.txt",filesizeMB) RandFile("./random3.txt",filesizeMB) RandFile("./random4.txt",filesizeMB) fmt.Printf("Created 4 files,each file size is %d MB.",filesizeMB) }
package main import( "fmt" "os" "flag" "io" "io/IoUtil" "bufio" "time" "strconv" ) func read1(path string,blocksize int){ fi,err := os.Open(path) if err != nil{ panic(err) } defer fi.Close() block := make([]byte,blocksize) for{ n,err := fi.Read(block) if err != nil && err != io.EOF{panic(err)} if 0 ==n {break} } } func read2(path string,err := os.Open(path) if err != nil{panic(err)} defer fi.Close() r := bufio.NewReader(fi) block := make([]byte,err := r.Read(block) if err != nil && err != io.EOF{panic(err)} if 0 ==n {break} } } func read3(path string){ fi,err := os.Open(path) if err != nil{panic(err)} defer fi.Close() _,err = IoUtil.ReadAll(fi) } func read4(path string){ _,err := IoUtil.ReadFile(path) if err != nil{panic(err)} } func main(){ flag.Parse() file1 := "./random1.txt" file2 := "./random2.txt" file3 := "./random3.txt" file4 := "./random4.txt" blocksize,_ :=strconv.Atoi(flag.Arg(0)) var start,end time.Time start = time.Now() read1(file1,blocksize) end = time.Now() fmt.Printf("file/Read() cost time %v\n",end.Sub(start)) start = time.Now() read2(file2,blocksize) end = time.Now() fmt.Printf("bufio/Read() cost time %v\n",end.Sub(start)) start = time.Now() read3(file3) end = time.Now() fmt.Printf("IoUtil.ReadAll() cost time %v\n",end.Sub(start)) start = time.Now() read4(file4) end = time.Now() fmt.Printf("IoUtil.ReadFile() cost time %v\n",end.Sub(start)) }
测试结果:
测试1:块大小为4KB,这是个常见的大小,出人意料IoUtil.ReadAll()最慢
测试2:块大小为1KB,这是前言提到的测试结果所用的块大小,与其测试结果一致
测试3:块大小为32KB,在大块的情况下,调用Read()次数更少,bufio已经没有优势,但前两者却远快于IoUtil包的两个函数
测试4:块大小为16字节,在小块的情况下,没有缓存的文件普通Read成绩惨不忍睹
影响因素
在查阅golang标准库的源代码后,之所以有不同的结果是与每个方法的实现相关的,最大的因素就是内部buffer的大小,这个直接决定了读取的快慢:
- f.Read()底层实现是系统调用syscall.Read(),没有深究
- bufio.NewReader(f)实际调用NewReaderSize(f,defaultBufSize),而defaultBufSize=4096,可以直接用bufio.NewReaderSize(f,32768)来预分配更大的缓存,缓存的实质是make([]byte,size)
- IoUtil.ReadAll(f)实际调用readAll(r,bytes.MinRead),而bytes.MinRead=512,缓存的实质是bytes.NewBuffer(make([]byte,512),虽然bytes.Buffer会根据情况自动增大,但每次重新分配都会影响性能
- IoUtil.ReadFile(path)是调用readAll(f,n+bytes.MinRead),这个n取决于文件大小,文件小于10^9字节(0.93GB),n=文件大小,就是NewBuffer一个略大于文件大小的缓存,非常慷慨;大于则n=0,好惨,也就是说大于1G的文件就跟IoUtil.ReadAll(f)一个样子了。
- 但全量缓存的ReadFile为什么不如大块读取的前两者呢?我猜测是NewBuffer包装的字节数组性能当然不如裸奔的字符数组。。