使用Go的channel和goroutine实现整数处理流水线:生成整数→平方→过滤大于100→输出结果,各阶段通过channel串联,每个阶段函数接收输入channel并返回输出channel,形成可组合、高效的数据处理链。

在Go语言中,channel和goroutine的组合非常适合实现“流水线(pipeline)”模式。流水线将数据处理过程拆分为多个阶段,每个阶段由一个或多个goroutine通过channel连接,形成一条高效、可扩展的数据处理链。下面通过一个具体的案例来展示如何用Golang实现channel流水线。
1. 场景说明:整数处理流水线
假设我们需要实现一个数据处理流程:生成一组整数 → 平方每个数 → 过滤出大于100的结果 → 输出最终结果。我们可以将每个步骤封装为一个独立的函数,通过channel串联起来。
2. 阶段函数实现
每个阶段接收一个输入channel,返回一个输出channel,形成可组合的流水线结构。
立即学习“go语言免费学习笔记(深入)”;
阶段1:生成数据
gen函数生成一组整数并通过channel输出。
func gen(nums …int) out := make(chan int, len(nums))
go func() {
for _, n := range nums {
out }
close(out)
}()
return out
}
立即学习“go语言免费学习笔记(深入)”;
阶段2:平方处理
square函数从输入channel读取数据,计算平方后发送到输出channel。
func square(in out := make(chan int)
go func() {
for n := range in {
out }
close(out)
}()
return out
}
立即学习“go语言免费学习笔记(深入)”;
阶段3:过滤大于100的数据
filterOver100函数只传递大于100的值。
func filterOver100(in out := make(chan int)
go func() {
for n := range in {
if n > 100 {
out }
}
close(out)
}()
return out
}
3. 组合流水线并运行
将各个阶段通过channel串联起来,形成完整的处理流程。
func main() {
// 构建流水线
source := gen(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) // 1~10
squared := square(source) // 平方
filtered := filterOver100(squared) // 过滤 >100
// 消费结果
for result := range filtered {
fmt.Println(result)
}
}
输出结果:
121 (11²)
144 (12²)
169 (13²)
196 (14²)
225 (15²)
… 以此类推,实际输入是1~10,平方后最大为100,因此实际无输出。若想看到输出,可将gen改为 gen(11,12,13) 或调整输入。
4. 优化:支持多阶段并行与扇出/扇入
在高并发场景中,可以对某个阶段启动多个worker,提高处理能力。
func squareParallel(in out := make(chan int, workers)
var wg sync.WaitGroup
for i := 0; i wg.Add(1)
go func() {
for n := range in {
out }
wg.Done()
}()
}
go func() {
wg.Wait()
close(out)
}()
return out
}
这种模式称为“扇出(fan-out)”和“扇入(fan-in)”,可以显著提升处理吞吐量。
基本上就这些。Golang的channel流水线模式简洁而强大,适合ETL、数据清洗、消息处理等场景。关键是每个阶段职责单一,通过channel自然解耦,易于测试和扩展。不复杂但容易忽略的是资源清理和goroutine泄漏问题,确保所有channel最终被关闭,避免阻塞。
以上就是Golang管道模式实现 channel流水线案例的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1399623.html
微信扫一扫
支付宝扫一扫