使用带缓冲channel控制并发，通过信号量限制最大goroutine数，避免资源耗尽。示例中以5个并发为限，封装ConcurrencyLimiter实现上传下载任务的可控执行，确保高并发下系统稳定。
在使用 Golang 实现文件上传和下载服务时，面对高并发场景，如果不加以控制，可能会导致内存暴涨、句柄耗尽或服务器负载过高。因此，引入并发控制机制非常必要。下面是一个简单实用的示例，展示如何通过带缓冲的 channel 控制最大并发数，适用于文件上传和下载场景。
1. 并发控制基本思路
使用一个带缓冲的 channel 作为信号量，限制同时运行的 goroutine 数量。每开始一个上传或下载任务前，先从 channel 获取一个“许可”，任务完成后释放它。
示例：最大并发数为 5
var semaphore = make(chan struct{}, 5) // 最多允许 5 个并发func acquire() { semaphore <- struct{}{} }func release() { <-semaphore }
2. 文件下载的并发控制
以下是一个受控并发的文件下载函数示例：
立即学习“go语言免费学习笔记（深入）”；
func downloadFile(url, filename string) error { acquire() defer release()resp, err := http.Get(url)if err != nil { return err}defer resp.Body.Close()out, err := os.Create(filename)if err != nil { return err}defer out.Close()_, err = io.Copy(out, resp.Body)return err
}
启动多个下载任务时，超出并发限制的任务会自动等待：
青鸟内测（手机app封装、托管系统）
注意：请在linux环境下测试或生产使用 青鸟内测是一个移动应用分发系统，支持安卓苹果应用上传与下载，并且还能快捷封装网址为应用。应用内测分发：一键上传APP应用包，自动生成下载链接和二维码，方便用户内测下载。应用封装：一键即可生成app，无需写代码，可视化编辑、 直接拖拽组件制作页面的高效平台。工具箱：安卓证书生成、提取UDID、Plist文件在线制作、IOS封装、APP图标在线制作APP分发：
0 查看详情
urls := []string{ "https://example.com/file1.zip", "https://example.com/file2.zip", // ...}var wg sync.WaitGroupfor i, url := range urls {wg.Add(1)go func(u string, idx int) {defer wg.Done()err := downloadFile(u, fmt.Sprintf("file_%d.zip", idx))if err != nil {log.Printf("下载失败 %s: %v", u, err)} else {log.Printf("下载完成: %s", u)}}(url, i)}wg.Wait()
3. 文件上传的并发控制
上传逻辑类似，只是方向相反。以下是一个 multipart 文件上传并受并发控制的例子：
func uploadFile(filepath, url string) error { acquire() defer release()file, err := os.Open(filepath)if err != nil { return err}defer file.Close()body := &bytes.Buffer{}writer := multipart.NewWriter(body)part, _ := writer.CreateFormFile("upload", filepath)io.Copy(part, file)writer.Close()req, _ := http.NewRequest("POST", url, body)req.Header.Set("Content-Type", writer.FormDataContentType())client := &http.Client{}resp, err := client.Do(req)if resp != nil { defer resp.Body.Close()}return err
}
同样地，使用 WaitGroup 控制多个上传任务：
files := []string{"a.pdf", "b.pdf", "c.pdf"}for _, f := range files { wg.Add(1) go func(fpath string) { defer wg.Done() err := uploadFile(fpath, "https://example.com/upload") if err != nil { log.Printf("上传失败 %s: %v", fpath, err) } }(f)}wg.Wait()4. 可复用的并发控制器
为了更灵活，可以封装一个通用的并发任务执行器：
type ConcurrencyLimiter struct { sem chan struct{}}func NewConcurrencyLimiter(n int) *ConcurrencyLimiter {return &ConcurrencyLimiter{sem: make(chan struct{}, n),}}
func (l *ConcurrencyLimiter) Run(task func()) {l.sem <- struct{}{}go func() {defer func() { <-l.sem }()task()}()}
使用方式：
limiter := NewConcurrencyLimiter(5)for _, url := range urls {limiter.Run(func() {downloadFile(url, "local_file")})}
基本上就这些。通过 channel 控制并发是一种简洁高效的方式，适用于上传、下载、爬虫等 I/O 密集型任务。关键是避免无限制地启动 goroutine，防止系统资源被耗尽。
以上就是Golang 文件上传下载并发控制示例的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1121038.html
微信扫一扫 
支付宝扫一扫 
