GoLang提供了很多读文件的方式,一般来说常用的有三种。使用Read加上buffer,使用bufio库和ioutil 库。
那他们的效率如何呢?用一个简单的程序来评测一下:
package main import( "fmt" "os" "flag" "io" "io/ioutil" "bufio" "time" ) func read1(path string)string{ fi,err := os.Open(path) if err != nil{ panic(err) } defer fi.Close() chunks := make([]byte,1024,1024) buf := make([]byte,1024) for{ n,err := fi.Read(buf) if err != nil && err != io.EOF{panic(err)} if 0 ==n {break} chunks=append(chunks,buf[:n]...) // fmt.Println(string(buf[:n])) } return string(chunks) } func read2(path string)string{ fi,err := os.Open(path) if err != nil{panic(err)} defer fi.Close() r := bufio.NewReader(fi) chunks := make([]byte,1024,1024) buf := make([]byte,1024) for{ n,err := r.Read(buf) if err != nil && err != io.EOF{panic(err)} if 0 ==n {break} chunks=append(chunks,buf[:n]...) // fmt.Println(string(buf[:n])) } return string(chunks) } func read3(path string)string{ fi,err := os.Open(path) if err != nil{panic(err)} defer fi.Close() fd,err := ioutil.ReadAll(fi) // fmt.Println(string(fd)) return string(fd) } func main(){ flag.Parse() file := flag.Arg(0) f,err := ioutil.ReadFile(file) if err != nil{ fmt.Printf("%s\n",err) panic(err) } fmt.Println(string(f)) start := time.Now() read1(file) t1 := time.Now() fmt.Printf("Cost time %v\n",t1.Sub(start)) read2(file) t2 := time.Now() fmt.Printf("Cost time %v\n",t2.Sub(t1)) read3(file) t3 := time.Now() fmt.Printf("Cost time %v\n",t3.Sub(t2)) }
运行命令go run read.go filename, 制定需要读取的文件就可以了。这里我比较了读取13.7MB的日志文件,三种方式分别消耗的时间是:
Cost time 105.006ms Cost time 68.0039ms Cost time 31.0018ms
读取29.3MB的媒体文件:
Cost time 390.0223ms Cost time 194.0111ms Cost time 83.0048ms
读取302MB的媒体文件
Cost time 40.8043338s Cost time 1m5.0407201s Cost time 8.8155043s
这个差距就很明显了,ioutil提供的方法效率就是高。有空可以再从代码层面再去分析一下。
相关推荐
主要介绍了浅谈GoLang几种读文件方式的比较,一般来说常用的有三种。使用Read加上buffer,使用bufio库和ioutil 库,非常具有实用价值,需要的朋友可以参考下
golang提取office文件内容,可以支持正常office文件内容格式,可以很好的提取标点以及内在格式内容
本文实例讲述了golang实现的文件上传与文件下载功能。分享给大家供大家参考,具体如下: upload.go 复制代码 代码如下:package common import ( “io/ioutil” “os” “path” “github.com/gin-gonic/gin...
go大文件上传的example
golang-china读书笔记.pdf
golang使用bass.dll播放mp3文件
基于Golang和Vue的文件管理系统源码.zip
golang遍历全盘目录,采用线程池方式,资源利用最大化,采用多协程线程池重复利用方式对目录进行扫描,可以对线程的资源充分利用。
golang开发工具,div,gocode,gopkgs,impl,gotests等编译后的生成工具
golang 树莓派安装文件 17.6版本
注入implant程序是一个简单的实用程序,它允许将数据直接嵌入到应用程序中( implant程序是embed的同义词)。 预期的用例是您有一个HTTP服务器或类似的golang...安装有两种从源代码安装此项目的方式,具体取决于您所
golang写的文件批量删除工具delete_tool.exe
golang解析数字证书 PKCS#1 PKCS#8格式的私钥
基于Golang框架的在线读书社区源码.zip
golang_http_client
mini - golang包解析ini风格配置文件
具体设置如下 log.SetFlags(log.Ldate | log.Ltime | log.Lshortfile) config.Setconfig() log.SetFilepath(config.VLOG_PATH_FILE) log.SetFileMax(int64(config.VLOG_FILE_MAXSIZE * 1024 * 1024))
本文主要给大家介绍了关于Golang实现字符串倒序的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 字符串倒置如下: Hello World –> dlroW olleH 解决方案1: length := len(str) ...
golang学习 文件去重小工具 "github.com/tealeg/xlsx" excel导出示例 在docker中构建golang可执行文件 golang windows到linux交叉编译脚本