fan-out指将任务分发给多个goroutine并发处理，fan-in指将多个结果通道合并为一个。通过输入通道分发URL任务，启动10个worker并发抓取数据，每个worker将响应长度发送到输出通道，主函数从输出通道接收并汇总结果，实现高效并发处理。需注意控制并发数、关闭通道时机及使用context管理超时。
在Go语言中，fan-in fan-out 是一种常见的并发设计模式，用于提升数据处理的吞吐量。它通过多个goroutine并行处理任务（fan-out），再将结果汇聚到一个通道中（fan-in），非常适合需要高并发处理大量独立任务的场景，比如数据抓取、消息处理、批量计算等。
什么是fan-out（扇出）
fan-out 指的是将输入数据分发给多个工作 goroutine 并发处理。这样可以充分利用多核CPU，加快处理速度。
例如：有一批待处理的任务，我们启动多个 worker 同时消费这些任务，每个 worker 独立运行，互不阻塞。
常见做法：
立即学习“go语言免费学习笔记（深入）”；
使用一个输入通道分发任务启动多个 goroutine 从该通道读取并处理每个 worker 处理完后将结果发送到输出通道
什么是fan-in（扇入）
fan-in 是把多个通道的数据合并到一个通道中，方便主流程统一接收和处理所有 worker 的输出。
利用 Go 的通道选择机制（select），可以从多个输出通道中读取数据，无需等待某个特定通道。
实现方式通常有两种：
显式使用 select 监听多个通道通过独立的 goroutine 将各个 worker 的输出写入同一个结果通道
一个完整的fan-in fan-out示例
假设我们要处理一批URL，获取它们的响应长度，并统计总耗时。我们可以用 fan-out 启动多个 worker 并发请求，再用 fan-in 收集结果。
func fetch(url string) int { resp, err := http.Get(url) if err != nil { return 0 } defer resp.Body.Close() body, _ := io.ReadAll(resp.Body) return len(body)}func main() {urls := []string{ / 一堆URL / }
// 输入通道in := make(chan string, len(urls))for _, url := range urls { in <- url}close(in)// 输出通道out := make(chan int, len(urls))// 启动多个worker（fan-out）for i := 0; i < 10; i++ { go func() { for url := range in { length := fetch(url) out <- length } }()}// 关闭out通道，当所有worker完成时go func() { for i := 0; i < 10; i++ { <-inWorkerDone // 等待所有worker退出（简化起见可省略计数） } close(out)}()// 读取所有结果（fan-in）var total intfor result := range out { total += result}fmt.Println("Total data length:", total)
}
这个例子中：
in 通道作为任务队列，被多个 worker 共享消费每个 worker 处理完任务后把结果发到 out 通道主函数从 out 中接收所有结果，完成汇聚
适用场景与注意事项
fan-in fan-out 特别适合以下情况：
任务之间无依赖，可独立处理I/O密集型操作，如网络请求、文件读写需要控制并发度，避免资源耗尽
需要注意的地方：
合理设置 worker 数量，避免系统过载确保所有 sender 都关闭通道后再从接收端退出，防止 panic使用 context 控制超时或取消，增强健壮性结果通道最好带缓冲，或配合 WaitGroup 使用，避免goroutine泄漏
基本上就这些。掌握 fan-in fan-out 模式，能让你写出更高效、清晰的并发程序。关键是理解“分发 + 聚合”的思想，再结合Go的通道和goroutine轻松实现。
以上就是Golang并发模式之fan-in fan-out应用的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1406155.html
微信扫一扫 
支付宝扫一扫 
