文件分块读取与写入：使用os.Open和固定大小（如5MB）分块，通过io.ReadAtLeast或bufio.Reader逐段读取，降低内存占用并提升传输效率。
在实际开发中，大文件传输常会遇到内存占用高、网络不稳定导致传输失败等问题。Golang 通过其高效的并发机制和 I/O 操作能力，非常适合实现文件的分块传输。本文将详细介绍如何使用 Golang 实现文件分块上传与下载，涵盖分块读取、并发上传、断点续传等核心逻辑。
1. 文件分块读取与写入
分块传输的第一步是将大文件切分为多个固定大小的数据块。通常每块设置为 1MB 到 5MB，既能减少单次内存压力，又能保证传输效率。
使用 os.Open 打开文件，并通过 io.ReadAtLeast 或 bufio.Reader 分段读取：
const chunkSize = 5 << 20 // 5MBfunc readInChunks(filePath string) (<-chan []byte, error) {file, err := os.Open(filePath)if err != nil {return nil, err}
ch := make(chan []byte, 10)go func() { defer file.Close() defer close(ch) buffer := make([]byte, chunkSize) for { n, err := file.Read(buffer) if n > 0 { chunk := make([]byte, n) copy(chunk, buffer[:n]) ch <- chunk } if err == io.EOF { break } if err != nil && err != io.EOF { panic(err) } }}()return ch, nil
}
立即学习“go语言免费学习笔记（深入）”；
上述代码返回一个只读 channel，每个元素是一个数据块，便于后续异步处理。
2. 基于 HTTP 的分块上传
使用标准库 net/http 实现分块上传，客户端逐个发送块，服务端按序接收并拼接。
关键点包括：添加分块索引、总块数、文件名等元信息，建议使用 multipart/form-data 格式：
func uploadChunk(chunk []byte, index, total int, filename string, serverURL string) error { var buf bytes.Buffer writer := multipart.NewWriter(&buf)// 写入元信息writer.WriteField("index", strconv.Itoa(index))writer.WriteField("total", strconv.Itoa(total))writer.WriteField("filename", filename)// 写入文件块part, _ := writer.CreateFormFile("chunk", "chunk")part.Write(chunk)writer.Close()req, _ := http.NewRequest("POST", serverURL, &buf)req.Header.Set("Content-Type", writer.FormDataContentType())client := &http.Client{}resp, err := client.Do(req)if resp != nil { defer resp.Body.Close()}return err
}
立即学习“go语言免费学习笔记（深入）”；
调用时结合分块 channel 并发上传（注意控制并发数，避免资源耗尽）：
chunks, _ := readInChunks("largefile.zip")var wg sync.WaitGroupsemaphore := make(chan struct{}, 5) // 控制最多 5 个并发for i := 0; ; i++ {chunk, ok := <-chunksif !ok {break}wg.Add(1)go func(idx int, data []byte) {defer wg.Done()semaphore <- struct{}{}uploadChunk(data, idx, totalChunks, "largefile.zip", "https://www.php.cn/link/929ba3c615223cf7248590ae175fcce7")<-semaphore}(i, chunk)}wg.Wait()
3. 服务端接收与合并文件
服务端需解析 multipart 数据，提取块数据并写入临时目录，最后根据总块数判断是否完成合并。
示例处理函数：
var tempDir = "./uploads/tmp/"var fileTracker = make(map[string][]bool) // 记录各文件块接收状态func handleUpload(w http.ResponseWriter, r *http.Request) {r.ParseMultipartForm(10 << 20) // 最大 10MB 表单
indexStr := r.FormValue("index")totalStr := r.FormValue("total")filename := r.FormValue("filename")index, _ := strconv.Atoi(indexStr)total, _ := strconv.Atoi(totalStr)file, _, _ := r.FormFile("chunk")defer file.Close()// 创建临时文件路径tempPath := filepath.Join(tempDir, filename+"."+indexStr)dst, _ := os.Create(tempPath)io.Copy(dst, file)dst.Close()// 更新接收状态key := filename + ".parts"if _, exists := fileTracker[key]; !exists { fileTracker[key] = make([]bool, total)}fileTracker[key][index] = true// 检查是否全部接收完毕complete := truefor _, received := range fileTracker[key] { if !received { complete = false break }}if complete { mergeFile(filename, total) delete(fileTracker, key)}w.WriteHeader(http.StatusOK)
}
立即学习“go语言免费学习笔记（深入）”；
合并函数示例：
func mergeFile(filename string, total int) { finalPath := filepath.Join(tempDir, filename) outFile, _ := os.Create(finalPath) defer outFile.Close()for i := 0; i < total; i++ { chunkPath := filepath.Join(tempDir, filename+"."+strconv.Itoa(i)) chunkData, _ := os.ReadFile(chunkPath) outFile.Write(chunkData) os.Remove(chunkPath) // 合并后删除临时块}
}
立即学习“go语言免费学习笔记（深入）”；
4. 断点续传与校验机制
为支持断点续传，可在上传前请求服务端获取已上传的块列表。客户端跳过已传部分。
建议增加 MD5 或 SHA256 校验：
客户端计算每个块的哈希值随块上传服务端接收后校验一致性最终文件整体校验确保完整性
也可引入唯一文件 ID 和临时会话机制，提升多用户场景下的管理能力。
基本上就这些。Golang 的 channel 和 goroutine 特性让分块传输变得简洁高效。合理设计分块大小、并发控制和错误重试，可构建稳定可靠的文件传输系统。
以上就是Golang如何实现文件分块传输_Golang文件分块传输实践详解的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1420540.html
微信扫一扫 
支付宝扫一扫 
