本文深入探讨go语言中扇入（fan-in）并发模式在实际运行时可能出现的顺序执行现象。我们将揭示go调度器与`gomaxprocs`参数的内在机制，解释为何多协程在默认设置下可能无法充分并行。通过配置`runtime.gomaxprocs`来利用多核cpu，读者将学会如何正确实现并观察真正的并发执行，从而优化go应用程序的性能。
Go并发中的扇入（Fan-In）模式
Go语言以其强大的并发原语而闻名，其中“扇入”（Fan-In）模式是一种常见的并发模式，用于将多个并发源的输出合并到一个单一的通道中。这种模式允许我们从不同的服务或协程中收集数据，并以统一的方式进行处理，而无需关心数据来源于哪个具体的并发实体。
考虑一个简单的场景，我们有两个“无聊”的服务，它们各自以随机间隔生成消息。我们希望将这两个服务的输出合并到一个通道中，并按消息到达的顺序进行处理。以下是实现这一模式的典型Go代码结构：
package mainimport ( "fmt" "math/rand" "time" "runtime" // 引入runtime包)// boring 函数模拟一个持续生成消息的服务func boring(msg string) <-chan string { c := make(chan string) go func() { // 在独立的goroutine中运行 for i := 0; ; i++ { c <- fmt.Sprintf("%s %d", msg, i) // 发送消息到通道 time.Sleep(time.Duration(rand.Intn(1e3)) * time.Millisecond) // 随机暂停 } }() return c}// fanIn 函数实现扇入模式，将两个输入通道的输出合并到一个通道func fanIn(in1, in2 <-chan string) <-chan string { c := make(chan string) go func() { // goroutine 1: 从in1读取并写入c for { c <- <-in1 } }() go func() { // goroutine 2: 从in2读取并写入c for { c <- <-in2 } }() return c}func main() { // 在main函数中调用fanIn来合并两个boring服务的输出 c := fanIn(boring("Joe"), boring("Ann")) for i := 0; i < 10; i++ { fmt.Println(<-c) } fmt.Println("You're both boring: I'm leaving")}
这段代码创建了两个boring协程，它们各自向自己的通道发送消息。fanIn函数又创建了两个协程来从这两个通道读取数据，并将它们“扇入”到一个公共通道c中。直观上，我们期望从c中读取到的消息是Joe和Ann交替出现，或者至少是随机顺序，因为它们都在独立的协程中运行，并且有随机的延迟。
观察到的顺序执行现象
然而，在某些运行环境下，上述代码的输出可能并非预期的随机或交替，而是呈现出高度的确定性顺序，例如：
Joe 0Ann 0Joe 1Ann 1Joe 2Ann 2...
这种现象会让开发者感到困惑：明明启动了多个协程，为何输出却如此顺序，仿佛它们是在串行执行？这似乎与Go语言提倡的并发模型相悖。
Go调度器与GOMAXPROCS的深层机制
要理解这种现象，我们需要深入了解Go语言的运行时调度器以及GOMAXPROCS参数的作用。
Go调度器是Go运行时的一个核心组件，负责将Go协程（goroutines）调度到操作系统线程（OS threads）上执行。Go协程是轻量级的，由Go运行时管理，而不是直接由操作系统管理。一个Go程序可以创建成千上万个协程，而这些协程最终会复用数量有限的操作系统线程。
GOMAXPROCS 参数决定了Go运行时可以同时使用的操作系统线程的最大数量。这些线程被称为“处理器”（Processor，P），每个P可以运行一个M（Machine，操作系统线程），M又可以运行一个G（Goroutine）。
Go 1.5版本之前，GOMAXPROCS 的默认值是 1。这意味着即使你的机器有多个CPU核心，Go运行时也只会创建一个操作系统线程来执行所有的Go协程。在这种情况下，Go调度器会在这个单一的OS线程上通过时间片轮转的方式，将不同的协程进行多路复用。由于只有一个OS线程，协程之间无法真正并行执行，它们只能并发（即宏观上并行，微观上串行地交替执行）。当 GOMAXPROCS 设置为 1 时，Go调度器通常会倾向于在某个协程阻塞（例如等待通道或系统调用）时才切换到另一个协程。在我们的fanIn示例中，两个boring协程和两个fanIn内部协程都在竞争这个单一的OS线程。如果调度器在Joe的boring协程发送消息后，立即切换到Ann的boring协程，然后切换到fanIn的第一个读取协程，再切换到第二个读取协程，并且这个切换模式是确定性的，那么我们就会观察到上述的顺序输出。尤其是当任务执行时间较短，或者调度器在没有明显阻塞的情况下进行切换时，这种确定性行为会更加明显。
启用真正的并行执行：GOMAXPROCS的配置
为了让Go程序能够充分利用多核CPU，实现真正的并行执行，我们需要将 GOMAXPROCS 设置为一个大于1的值，通常是机器的CPU核心数。
解决方案：
使用 runtime.GOMAXPROCS 函数：在程序启动时，通过调用 runtime.GOMAXPROCS(runtime.NumCPU()) 来设置 GOMAXPROCS 的值为当前机器的CPU核心数。这是最常见且推荐的做法，因为它能够使程序在不同机器上自动适应其硬件配置。
package mainimport ( "fmt" "math/rand" "runtime" // 引入runtime包 "time")// boring 和 fanIn 函数与之前相同func boring(msg string) <-chan string { c := make(chan string) go func() { for i := 0; ; i++ { c <- fmt.Sprintf("%s %d", msg, i) time.Sleep(time.Duration(rand.Intn(1e3)) * time.Millisecond) } }() return c}func fanIn(in1, in2 <-chan string) <-chan string { c := make(chan string) go func() { for { c <- <-in1 } }() go func() { for { c <- <-in2 } }() return c}func main() { // 关键更改：设置GOMAXPROCS为CPU核心数 fmt.Println("NumCPU:", runtime.NumCPU()) runtime.GOMAXPROCS(runtime.NumCPU()) c := fanIn(boring("Joe"), boring("Ann")) for i := 0; i < 10; i++ { fmt.Println(<-c) } fmt.Println("You're both boring: I'm leaving")}
通过添加 runtime.GOMAXPROCS(runtime.NumCPU())，Go运行时现在可以启动与CPU核心数相同数量的OS线程来执行协程。这将允许Joe和Ann的boring协程以及fanIn内部的读取协程在不同的OS线程上真正并行运行，从而产生非确定性的交错输出。
设置 GOMAXPROCS 环境变量：在运行Go程序之前，可以通过设置 GOMAXPROCS 环境变量来指定其值。例如，在Linux/macOS上：
GOMAXPROCS=4 go run your_program.go
或者在Windows上：
set GOMAXPROCS=4go run your_program.go
这种方式通常用于测试或临时调整，但在生产环境中，使用 runtime.GOMAXPROCS 函数更为灵活和推荐。
重要考量与最佳实践
Go 1.5及更高版本：从Go 1.5版本开始，GOMAXPROCS 的默认值已经更改为 runtime.NumCPU()。这意味着在现代Go版本中，你通常不需要手动设置 GOMAXPROCS 就能利用多核CPU。然而，如果你的代码在较旧的Go版本上运行，或者在某些特定环境中（如Go Playground，其GOMAXPROCS通常固定为1），手动设置仍然是必要的。循环次数的影响：即使在 GOMAXPROCS=1 的情况下，如果循环次数足够大（例如，从10增加到40或更多），并且每个任务内部包含 time.Sleep 等可能导致协程让出CPU的操作，调度器仍然可能在不同协程之间切换，从而观察到非顺序的输出。这是因为 time.Sleep 会阻塞当前协程，给其他协程执行的机会。然而，这并非真正的并行，而是并发调度策略在起作用。设置 GOMAXPROCS > 1 才能确保真正的并行执行。Go Playground的特殊性：Go Playground是一个在线环境，通常为了保证可预测性和资源限制，其 GOMAXPROCS 总是设置为 1。因此，即使你在代码中添加了 runtime.GOMAXPROCS(runtime.NumCPU())，在Playground上也很难观察到真正的并行效果，因为其底层执行环境限制了OS线程的数量。性能考量：通常情况下，将 GOMAXPROCS 设置为 runtime.NumCPU() 是一个好的起点。过度增加 GOMAXPROCS 可能会引入额外的上下文切换开销，反而降低性能。对于大多数I/O密集型任务，即使 GOMAXPROCS 为1，Go调度器也能高效地在等待I/O的协程之间切换。对于CPU密集型任务，GOMAXPROCS 的值与CPU核心数匹配至关重要。
总结
Go语言的扇入（Fan-In）并发模式是构建响应式、高效应用程序的强大工具。然而，要充分发挥其并行潜力，理解Go调度器和 GOMAXPROCS 参数至关重要。当观察到多协程应用呈现顺序执行时，这通常是 GOMAXPROCS 设置为 1 的信号。通过在程序启动时显式调用 runtime.GOMAXPROCS(runtime.NumCPU()) 或设置 GOMAXPROCS 环境变量，我们可以指示Go运行时利用所有可用的CPU核心，从而实现真正的并行执行，并观察到协程之间非确定性的交错行为。这不仅能解决看似“顺序”的问题，更能确保Go应用程序在多核处理器上获得最佳性能。
以上就是Go并发中的扇入模式与GOMAXPROCS调度深度解析的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1426683.html
微信扫一扫 
支付宝扫一扫 
