使用goroutine和channel可高效并发处理批量网络请求，通过限制并发数和加入超时控制优化资源使用。
在Go语言中，使用并发处理批量网络请求是一种常见且高效的实践。通过 goroutine 和 channel，可以轻松实现多个请求的并行发送，并统一收集结果或错误。下面是一个实用的示例，展示如何并发地发起多个HTTP请求，并进行批量处理。
使用 Goroutine 和 Channel 批量请求
核心思路是为每个请求启动一个 goroutine，将结果通过 channel 返回，主协程通过 select 或 range 接收结果。
示例代码：
package mainimport ("fmt""net/http""sync")
type Result struct {URL stringStatus intErr error}
func fetchURL(url string, ch chan<- Result) {resp, err := http.Get(url)if err != nil {ch <- Result{URL: url, Err: err}return}defer resp.Body.Close()ch <- Result{URL: url, Status: resp.StatusCode}}
func main() {urls := []string{"https://www.php.cn/link/98a733901e53052474f2320d0a3a9473","https://www.php.cn/link/8c4b0479f20772cb9b68cf5f161d1e6f","https://www.php.cn/link/874b2add857bd9bcc60635a51eb2b697","https://www.php.cn/link/ef246753a70fce661e16668898810624",}
var wg sync.WaitGroupch := make(chan Result, len(urls)) // 缓冲channel避免阻塞for _, url := range urls { wg.Add(1) go func(u string) { defer wg.Done() fetchURL(u, ch) }(url)}// 关闭channel当所有goroutine完成go func() { wg.Wait() close(ch)}()// 收集结果for result := range ch { if result.Err != nil { fmt.Printf("请求 %s 失败: %vn", result.URL, result.Err) } else { fmt.Printf("请求 %s 成功，状态码: %dn", result.URL, result.Status) }}
}
限制并发数量（使用信号量）
如果请求量很大，同时发起全部请求可能耗尽资源。可以通过带缓冲的 channel 实现并发控制。
立即学习“go语言免费学习笔记（深入）”；
改进版本：限制最大并发数
// 在main中修改goroutine启动方式semaphore := make(chan struct{}, 3) // 最多3个并发for _, url := range urls {wg.Add(1)go func(u string) {defer wg.Done()semaphore <- struct{}{} // 获取令牌fetchURL(u, ch)<-semaphore // 释放令牌}(url)}
超时控制与上下文（Context）
实际应用中应加入请求超时，避免长时间等待。可使用 context 控制生命周期。
func fetchURLWithContext(url string, ch chan<- Result) { ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second) defer cancel()req, _ := http.NewRequestWithContext(ctx, "GET", url, nil)resp, err := http.DefaultClient.Do(req)if err != nil { ch <- Result{URL: url, Err: err} return}defer resp.Body.Close()ch <- Result{URL: url, Status: resp.StatusCode}
}
结果聚合与错误处理
可以根据需要对结果进一步处理，比如统计成功/失败数量，或只返回成功结果。
例如，在接收阶段统计：
successCount, failCount := 0, 0for result := range ch { if result.Err != nil { failCount++ // 可记录日志或重试 } else { successCount++ } fmt.Printf("[%s] %dn", result.URL, result.Status)}fmt.Printf("完成: 成功=%d, 失败=%dn", successCount, failCount)
基本上就这些。Golang 的并发模型让批量网络请求变得简单高效，合理使用 channel、WaitGroup 和 context 能写出稳定可靠的并发代码。注意控制并发数和设置超时，避免系统资源耗尽。
以上就是Golang并发网络请求批量处理示例的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1407728.html
微信扫一扫 
支付宝扫一扫 
