避免一次性加载大文件，使用 bufio.Scanner 或 bufio.Reader 按行/块读取；2. 采用固定大小字节块读写减少系统调用；3. 特定场景用 mmap 减少数据拷贝；4. 并发处理时通过 worker pool 控制协程数，防止资源耗尽。
处理大文件时，Golang 需避免一次性加载整个文件到内存，否则会引发高内存占用甚至 OOM（内存溢出）。正确的做法是使用流式读写，配合适当的缓冲机制和并发策略来提升性能。以下是常见优化手段与示例代码。
使用 bufio 进行缓冲读写
直接调用 os.ReadFile 读取大文件容易耗尽内存。应使用 bufio.Scanner 或 bufio.Reader 按行或按块读取，控制内存使用。
以下示例展示如何逐行读取大文本文件并写入新文件：
package mainimport ("bufio""log""os")
func readLargeFileWithBufio(filename string) {file, err := os.Open(filename)if err != nil {log.Fatal(err)}defer file.Close()
outFile, err := os.Create("output.txt")if err != nil { log.Fatal(err)}defer outFile.Close()writer := bufio.NewWriter(outFile)scanner := bufio.NewScanner(file)// 设置缓冲区大小（默认 64KB，可调大）buf := make([]byte, 1024*1024) // 1MB bufferscanner.Buffer(buf, 1024*1024)for scanner.Scan() { line := scanner.Text() // 可在此处处理数据，如过滤、转换等 _, err := writer.WriteString(line + "n") if err != nil { log.Fatal(err) }}if err := scanner.Err(); err != nil { log.Fatal(err)}// 刷新缓冲区if err := writer.Flush(); err != nil { log.Fatal(err)}
}
立即学习“go语言免费学习笔记（深入）”；
按固定块大小读取（适合二进制或超大文本）
对于非文本文件或需更高性能的场景，建议使用固定大小的字节块读取，减少系统调用开销。
func readInChunks(filename string) { file, err := os.Open(filename) if err != nil { log.Fatal(err) } defer file.Close()outFile, err := os.Create("chunk_output.bin")if err != nil { log.Fatal(err)}defer outFile.Close()chunk := make([]byte, 32*1024) // 32KB 每次读取for { n, err := file.Read(chunk) if n > 0 { _, werr := outFile.Write(chunk[:n]) if werr != nil { log.Fatal(werr) } } if err != nil { break }}
}
立即学习“go语言免费学习笔记（深入）”；
使用 mmap 提升特定场景性能
在某些只读或随机访问频繁的场景下，mmap 能减少内核态与用户态的数据拷贝。可用第三方库如 golang.org/x/exp/mmap。
注意：mmap 不适用于所有情况，尤其在内存受限环境中需谨慎使用。
import "golang.org/x/exp/mmap"func readWithMmap(filename string) {r, err := mmap.Open(filename)if err != nil {log.Fatal(err)}defer r.Close()
// 直接遍历映射区域for i := 0; i < r.Len(); i++ { _ = r.At(i) // 访问字节}
}
立即学习“go语言免费学习笔记（深入）”；
并发处理多个大文件
若需处理多个大文件，可使用 goroutine 并发读写，但要控制并发数防止资源耗尽。
示例：使用带缓冲的 worker pool 控制并发：
func processFilesConcurrently(filenames []string) { ch := make(chan string, len(filenames)) for _, f := range filenames { ch <- f } close(ch)const workers = 4var done = make(chan struct{})for i := 0; i < workers; i++ { go func() { for filename := range ch { readLargeFileWithBufio(filename) } done <- struct{}{} }()}for i := 0; i < workers; i++ { <-done}
}
立即学习“go语言免费学习笔记（深入）”；
基本上就这些。关键是避免全量加载，合理设置缓冲区，根据场景选择流式读取、分块读取或 mmap，并在必要时引入并发控制。不复杂但容易忽略细节影响性能。
以上就是Golang处理大文件读写与性能优化示例的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1408622.html
微信扫一扫 
支付宝扫一扫 
