使用流式读取避免内存溢出，推荐bufio.Scanner按行处理文本文件，bufio.Reader按块读取二进制数据，禁用ioutil.ReadAll读大文件，合理设置缓冲区并结合性能优化技巧。
在Golang中读取大文件时，不能一次性将整个文件加载到内存中，否则容易导致内存溢出。正确的做法是使用流式读取，逐块处理数据。以下是几种高效、安全的读取大文件的方法。
使用 bufio.Scanner 按行读取
当大文件是文本格式（如日志文件），且需要按行处理时，bufio.Scanner 是最常用的方式。它自动处理缓冲，适合逐行读取超大文件。
默认缓冲区大小为 4096 字节，可通过 scanner.Buffer() 调整 遇到换行符自动分割，适合处理每行数据较小的场景 不适用于超长行（超过缓冲区）的情况，需手动设置更大缓冲区
示例代码：
file, err := os.Open("large.log")if err != nil { log.Fatal(err)}defer file.Close()scanner := bufio.NewScanner(file)for scanner.Scan() { line := scanner.Text() // 处理每一行 processLine(line)}if err := scanner.Err(); err != nil { log.Fatal(err)}
使用 bufio.Reader 读取字节块
如果文件不是纯文本或需要更灵活的控制，可以使用 bufio.Reader 手动读取固定大小的字节块。这种方式适用于二进制文件或自定义分隔符的场景。
立即学习“go语言免费学习笔记（深入）”；
可设置任意大小的缓冲区，例如 64KB 或 1MB 支持 Read()、ReadByte()、ReadString() 等多种读取方式 适合处理非换行分隔的数据流
示例：按块读取
file, err := os.Open("bigdata.bin")if err != nil { log.Fatal(err)}defer file.Close()reader := bufio.NewReader(file)buffer := make([]byte, 65536) // 64KB 缓冲for { n, err := reader.Read(buffer) if n > 0 { // 处理 buffer[0:n] processData(buffer[:n]) } if err == io.EOF { break } if err != nil { log.Fatal(err) }}
使用 ioutil.ReadAll 的注意事项
ioutil.ReadAll 会把整个文件读入内存，仅适用于小文件。对于大文件，这种方式非常危险。
不要用于 GB 级别的文件 可能导致程序内存占用飙升甚至崩溃 Go 1.16 后推荐使用 io.ReadAll 替代 ioutil.ReadAll
正确替代方式仍是流式读取。
提升性能的小技巧
在处理真正的大文件时，可以结合以下优化手段：
适当增大缓冲区大小（如 1MB），减少系统调用次数 使用 os.OpenFile 并传入只读标志，避免额外开销 考虑使用 mmap（通过 syscall 或第三方库如 mmap-go）对某些只读场景加速 若需并发处理，可将文件分段交由多个 goroutine 处理（注意偏移和边界）
基本上就这些。关键是避免一次性加载，始终采用流式处理。根据文件类型选择 Scanner 或 Reader，合理设置缓冲区，就能稳定高效地读取大文件。
以上就是如何在Golang中读取大文件的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1421685.html
微信扫一扫 
支付宝扫一扫 
