Golang管道模式实现 channel流水线案例

使用Go的channel和goroutine实现整数处理流水线:生成整数→平方→过滤大于100→输出结果,各阶段通过channel串联,每个阶段函数接收输入channel并返回输出channel,形成可组合、高效的数据处理链。

golang管道模式实现 channel流水线案例

在Go语言中,channel和goroutine的组合非常适合实现“流水线(pipeline)”模式。流水线将数据处理过程拆分为多个阶段,每个阶段由一个或多个goroutine通过channel连接,形成一条高效、可扩展的数据处理链。下面通过一个具体的案例来展示如何用Golang实现channel流水线。

1. 场景说明:整数处理流水线

假设我们需要实现一个数据处理流程:生成一组整数 → 平方每个数 → 过滤出大于100的结果 → 输出最终结果。我们可以将每个步骤封装为一个独立的函数,通过channel串联起来。

2. 阶段函数实现

每个阶段接收一个输入channel,返回一个输出channel,形成可组合的流水线结构。

立即学习“go语言免费学习笔记(深入)”;

阶段1:生成数据

gen函数生成一组整数并通过channel输出。

func gen(nums …int)   out := make(chan int, len(nums))
  go func() {
    for _, n := range nums {
      out     }
    close(out)
  }()
  return out
}

立即学习“go语言免费学习笔记(深入)”;

阶段2:平方处理

square函数从输入channel读取数据,计算平方后发送到输出channel。

func square(in   out := make(chan int)
  go func() {
    for n := range in {
      out     }
    close(out)
  }()
  return out
}

立即学习“go语言免费学习笔记(深入)”;

阶段3:过滤大于100的数据

filterOver100函数只传递大于100的值。

func filterOver100(in   out := make(chan int)
  go func() {
    for n := range in {
      if n > 100 {
        out       }
    }
    close(out)
  }()
  return out
}

3. 组合流水线并运行

将各个阶段通过channel串联起来,形成完整的处理流程。

func main() {
  // 构建流水线
  source := gen(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) // 1~10
  squared := square(source) // 平方
  filtered := filterOver100(squared) // 过滤 >100
  
  // 消费结果
  for result := range filtered {
    fmt.Println(result)
  }
}

输出结果:
121 (11²)
144 (12²)
169 (13²)
196 (14²)
225 (15²)
… 以此类推,实际输入是1~10,平方后最大为100,因此实际无输出。若想看到输出,可将gen改为 gen(11,12,13) 或调整输入。

4. 优化:支持多阶段并行与扇出/扇入

在高并发场景中,可以对某个阶段启动多个worker,提高处理能力。

func squareParallel(in   out := make(chan int, workers)
  
  var wg sync.WaitGroup
  for i := 0; i     wg.Add(1)
    go func() {
      for n := range in {
        out       }
      wg.Done()
    }()
  }
  
  go func() {
    wg.Wait()
    close(out)
  }()
  return out
}

这种模式称为“扇出(fan-out)”和“扇入(fan-in)”,可以显著提升处理吞吐量。

基本上就这些。Golang的channel流水线模式简洁而强大,适合ETL、数据清洗、消息处理等场景。关键是每个阶段职责单一,通过channel自然解耦,易于测试和扩展。不复杂但容易忽略的是资源清理和goroutine泄漏问题,确保所有channel最终被关闭,避免阻塞。

以上就是Golang管道模式实现 channel流水线案例的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1399623.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月15日 16:21:47
下一篇 2025年12月15日 16:22:07

相关推荐

  • Golang服务降级方案 优雅应对高负载

    服务降级通过关闭非核心功能保障系统稳定,Golang结合熔断器、信号量、配置驱动与监控实现高效降级。1. 熔断器在失败超阈值时自动降级;2. 信号量限制并发防止过载;3. 外部配置动态控制降级策略;4. 健康检查与指标上报确保降级可控可监。 服务降级是高并发系统中保障核心功能可用的重要手段。当系统负…

    好文分享 2025年12月15日
    000
  • 如何用Golang反射实现依赖注入 构建简易IoC容器实战

    依赖注入(di)和控制反转(ioc)可通过golang反射实现。1. di是将依赖由外部传入,降低耦合;ioc容器负责管理对象生命周期并自动装配依赖。2. 通过定义接口和结构体,如userrepository和userservice,并使用inject标签标记需注入字段。3. 利用反射遍历结构体字段…

    2025年12月15日 好文分享
    000
  • Golang反射与泛型关系 类型参数处理技巧

    泛型在编译期实现类型安全的通用代码,反射在运行时处理未知类型,两者可结合用于如标签解析等场景。 Go语言在1.18版本引入了泛型,同时保留了原有的反射机制。这两者都能实现一定程度的通用编程,但设计目标和使用场景不同。理解它们的关系以及如何在类型参数上下文中合理使用反射,对编写灵活、高效的代码很有帮助…

    2025年12月15日
    000
  • Golang指针与unsafe包配合 类型安全与风险权衡

    指针与unsafe包可突破Go类型安全限制,unsafe.Pointer支持跨类型内存操作,常用于底层优化,但易引发内存错误,需谨慎使用。 在Go语言中,指针是基础且重要的概念,而 unsafe 包则提供了绕过类型系统限制的能力。虽然Go强调类型安全和内存安全,但 unsafe 的存在为底层编程、性…

    2025年12月15日
    000
  • 怎样为Golang模块生成变更日志 集成git-chglog自动化工具链

    git-chglog 是一款基于 git 提交记录生成结构化变更日志的工具,适用于 golang 项目。1. 安装 git-chglog 可通过 go install 命令快速完成;2. 初始化配置文件后可自定义模板与配置;3. 需遵循 conventional commits 规范提交 commi…

    2025年12月15日 好文分享
    000
  • 怎样为Golang搭建FPGA开发环境 集成OpenCL异构计算支持

    选择FPGA开发板需考虑厂商生态、硬件资源与OpenCL支持,Intel和Xilinx为主流,配套工具链分别为Intel Quartus Prime与FPGA SDK for OpenCL、Xilinx Vitis平台,软件选择依赖硬件,需确保驱动、编译器与运行时环境完整配置。 想要用Go语言驱动F…

    2025年12月15日
    000
  • Golang的math数学函数 常用计算方法

    Go语言math包提供数学运算函数,如math.Pow、Sqrt进行幂和开方运算,Exp、Log系列处理指数对数,Sin、Cos等支持三角计算并需注意弧度角度转换,常用math.Pi表示π,通过Floor、Ceil、Round实现取整,Max、Min比较极值,IsNaN、IsInf判断特殊值,Abs…

    2025年12月15日
    000
  • Golang值传递在函数调用中表现 副本创建机制解析

    Go函数调用默认值传递,传递参数时创建副本,修改不影响原值;结构体和数组复制整个数据,大对象有性能开销;指针传递可修改原始数据,因副本指向同一地址;切片、map等引用类型传参复制引用头,但可操作共享底层数据;参数副本在栈帧中创建,逃逸分析可能分配到堆,但传参始终为值复制。 在Go语言中,函数调用默认…

    2025年12月15日
    000
  • Golang原型模式实现 深拷贝对象复用

    原型模式通过复制现有对象创建新对象,避免重复初始化。Go中需用深拷贝确保对象独立,常用方法包括gob序列化或自定义Clone。 在 Go 语言中,原型模式的核心思想是通过复制已有对象来创建新对象,避免重复初始化的开销。尤其在需要频繁创建相似对象的场景下,使用深拷贝实现原型模式能有效提升性能并复用对象…

    2025年12月15日
    000
  • Golang协程栈管理 增长与收缩机制

    Go协程轻量的关键在于其动态栈管理:初始栈仅2KB,按需倍增扩容,通过编译器插入检查与运行时迁移实现无感扩展;栈在goroutine阻塞或GC时周期性收缩,减少内存占用;栈操作由运行时与编译器协同完成,配合指针重定位,确保高效安全,使大量goroutine并发成为可能。 Go语言的协程(gorout…

    2025年12月15日
    000
  • Golang函数调用优化 内联与逃逸分析

    Go语言通过编译器的内联和逃逸分析优化函数调用性能,内联减少调用开销并提升优化机会,逃逸分析则尽可能将变量分配在栈上以降低GC压力;编译器根据函数复杂度决定是否内联,避免含defer、go、select等复杂结构的函数被内联,同时通过分析变量生命周期判断其分配位置,若变量地址被返回或赋值给外部引用则…

    2025年12月15日
    000
  • Golang如何管理工具依赖 独立tools.go文件

    创建独立的tools.go文件并利用// +build tools标签,可优雅管理开发工具依赖,通过go run命令确保团队和CI/CD环境版本一致,避免污染主模块依赖。 Golang里,管理那些只在开发、测试或CI/CD流程中用到的工具依赖,比如代码检查工具(linters)、代码生成器(code…

    2025年12月15日
    000
  • Golang限流器实现 令牌桶与漏桶算法

    令牌桶允许突发流量,漏桶保证恒定输出;Go中用rate.Limiter实现令牌桶,漏桶需手动实现并注意并发安全。 在高并发系统中,限流是保护服务稳定性的重要手段。Golang中常用的限流算法是令牌桶和漏桶。它们都能控制请求的处理速率,但实现思路不同,适用场景也略有区别。下面分别介绍这两种算法的原理与…

    2025年12月15日
    000
  • Golang实现云原生消息队列 NATS集成

    首先安装NATS服务器并启动,再通过Go的nats.go库连接:nc, err := nats.Connect(“nats://localhost:4222”);接着使用nc.Publish(“topic”, data)发布消息,nc.Subscrib…

    2025年12月15日
    000
  • Golang实现反向代理服务 通过httputil.ReverseProxy转发请求

    答案:使用Golang的net/http/httputil包可快速实现反向代理。1. 通过url.Parse解析目标地址,httputil.NewSingleHostReverseProxy创建代理,http.ListenAndServe启动服务;2. 自定义Director函数可修改请求头、路径等…

    2025年12月15日
    000
  • Golang基本数据类型有哪些 对比整型浮点型布尔型特点

    Golang数据类型包括整型、浮点型和布尔型,分别用于存储整数、浮点数和布尔值;整型有int8到int64及uint系列,rune和byte为别名;浮点型有float32和float64,后者精度更高;bool类型用于逻辑判断;选择类型时需考虑范围、内存和性能;浮点运算避免精度问题可采用误差范围比较…

    2025年12月15日
    000
  • Golang云原生最佳实践 生产环境经验总结

    采用模块化结构提升可维护性,结合功能或DDD分层;2. 用viper管理配置,环境变量注入敏感信息;3. 使用zap等结构化日志并集成Prometheus与追踪系统;4. 实现健康检查探针与优雅关闭;5. 多阶段Docker构建轻量镜像,CI/CD集成静态检查与安全扫描;6. 规范错误处理与重试熔断…

    2025年12月15日
    000
  • Golang性能监控集成 pprof可视化分析

    pprof通过采样捕获程序运行时的CPU、内存、goroutine等数据,利用火焰图、调用图和列表视图等可视化方式,帮助开发者定位性能瓶颈。 Golang性能监控的核心利器之一就是pprof,它能帮助我们深入洞察程序运行时资源消耗,通过可视化图表快速定位性能瓶颈。集成了pprof,你就能像拥有了一双…

    2025年12月15日
    000
  • Golang表格驱动测试怎么做 高效测试多组输入输出方案

    表格驱动测试通过将测试用例组织为结构体切片,用单个测试函数遍历执行,提升代码可读性与维护性。它适用于多输入场景,如验证正常值、边界值和错误处理,避免重复代码。以Divide函数为例,测试用例包含输入a、b,预期结果want及是否出错hasError。使用t.Run创建子测试,为每个用例生成独立名称,…

    2025年12月15日
    000
  • Golang指针与map配合使用 修改map元素值技巧

    在Go语言中,map的元素不能直接取地址,这是导致指针与map配合使用时容易出错的核心原因。当你想通过指针修改map中的值,尤其是值类型为结构体时,必须格外注意操作方式,否则修改可能不会生效。 map元素不可寻址的问题 Go规定,不能对map中的元素直接取地址,例如下面的代码会编译报错: var m…

    2025年12月15日
    000

发表回复

登录后才能评论
关注微信