手把手教你玩转Node中的集群

本篇文章带大家详细了解一下node.js中的集群,介绍一下cluster 事件,希望对大家有所帮助!

手把手教你玩转Node中的集群

一、介绍

Node 在 v0.8 时直接引入了 cluster 模块,用以解决多核 CPU 的利用率问题,同时也提供了较完善的 API,用以处理进程的健壮性问题。

cluster 模块调用 fork 方法来创建子进程,该方法与 child_process 中的 fork 是同一个方法。 cluster 模块采用的是经典的主从模型,cluster 会创建一个 master,然后根据你指定的数量复制出多个子进程,可以使用cluster.isMaster 属性判断当前进程是 master 还是 worker (工作进程)。由 master 进程来管理所有的子进程,主进程不负责具体的任务处理,主要工作是负责调度和管理。

cluster 模块使用内置的负载均衡来更好地处理线程之间的压力,该负载均衡使用了 Round-robin 算法(也被称之为循环算法)。当使用 Round-robin 调度策略时,master accepts() 所有传入的连接请求,然后将相应的TCP请求处理发送给选中的工作进程(该方式仍然通过 IPC 来进行通信)。官方使用实例如下所示

const cluster = require('cluster');const cpuNums = require('os').cpus().length;const http = require('http');if (cluster.isMaster) {  for (let i = 0; i  {    console.log('worker process died,id',worker.process.pid)  })} else {  // 给子进程标注进程名  process.title = `cluster 子进程 ${process.pid}`;  // Worker可以共享同一个 TCP 连接,这里是一个 http 服务器  http.createServer((req, res)=> {    res.end(`response from worker ${process.pid}`);  }).listen(3000);  console.log(`Worker ${process.pid} started`);}

其实,cluster 模块由 child_process  和 net 模块的组合应用,cluster 启动时,会在内部启动 TCP 服务器,在 cluster.fork() 子进程时,将这个 TCP 服务器端 socket 的文件描述符发送给工作进程。如果工作进程是通过 cluster.fork() 复制出来的,那么它的环境变量里就存在 NODE_UNIQUE_ID,如果工作进程中存在 listen() 侦听网络端口的调用,它将拿到文件描述符,通过 SO_REUSEADDR 端口重用,从而实现多个子进程共享端口。

二、cluster 事件

fork:复制一个工作进程后触发该事件;

online:复制好一个工作进程后,工作进程主动发送一条 online 消息给主进程,主进程收到消息后,触发该事件;

listening:工作进程中调用 listen() (共享了服务器端 Socket)后,发送一条 listening 消息给主进程,主进程收到消息后,触发该事件;

disconnect:主进程和工作进程之间 IPC 通道断开后会触发该事件;

exit:有工作进程退出时会触发该事件;

setup:cluster.setupMaster() 执行完后触发该事件;

这些事件大多跟 child_process 模块的事件相关,在进程间消息传递的基础上完成的封装。

cluster.on('fork', ()=> {  console.log('fork 事件... ');})cluster.on('online', ()=> {  console.log('online 事件... ');})cluster.on('listening', ()=> {  console.log('listening 事件... ');})cluster.on('disconnect', ()=> {  console.log('disconnect 事件... ');})cluster.on('exit', ()=> {  console.log('exit 事件... ');})cluster.on('setup', ()=> {  console.log('setup 事件... ');})

三、master 与 worker 通信

由以上可知,master 进程通过 cluster.fork() 来创建 worker 进程,其实,cluster.fork() 内部是通过 child_process.fork() 来创建子进程。也就是说:master 与 worker 进程是父、子进程的关系;其跟 child_process 创建的父子进程一样是通过  IPC  通道进行通信的。

IPC 的全称是 Inter-Process Communication,即进程间通信,进程间通信的目的是为了让不同的进程能够互相访问资源并进行协调工作。Node 中实现 IPC 通道的是管道(pipe)技术,具体实现由 libuv 提供,在 Windows 下由命名管道(named pipe)实现,*nix 系统则采用 Unix Domain Socket 实现。其变现在应用层上的进程间通信只有简单的 message 事件和 send 方法,使用十分简单。

1.png

父进程在实际创建子进程之前,会创建 IPC 通道并监听它,然后才真正创建出子进程,并通过环境变量(NODE_CHANNEL_FD)告诉子进程这个 IPC 通道的文件描述符。子进程在启动过程中,根据文件描述符去连接这个已存在的 IPC 通道,从而完成父子进程之间的连接。

2.png

建立连接之后的父子进程就可以进行自由通信了。由于 IPC 通道是用命名管道或 Domain Socket 创建的,它们与网络 socket 的行为比较类似,属于双向通信。不同的是它们在系统内核中就完成了进程间的通信,而不用经过实际的网络层,非常高效。在 Node 中,IPC 通道被抽象为 Stream 对象,在调用 send 时发送数据(类似于 write ),接收到的消息会通过 message 事件(类似于 data)触发给应用层。

master 和 worker 进程在 server 实例的创建过程中,是通过 IPC 通道进行通信的,那会不会对我们的开发造成干扰呢?比如,收到一堆其实并不需要关心的消息?答案肯定是不会?那么是怎么做到的呢?

Node 引入进程间发送句柄的功能,send 方法除了能通过 IPC 发送数据外,还能发送句柄,第二个参数为句柄,如下所示

文思助手 文思助手

文思助手 – 专业的AI写作平台

文思助手 51 查看详情 文思助手

child.send(meeage, [sendHandle])

句柄是一种可以用来标识资源的引用,它的内部包含了指向对象的文件描述符。例如句柄可以用来标识一个服务器端 socket 对象、一个客户端 socket 对象、一个 UDP 套接字、一个管道等。那么句柄发送跟我们直接将服务器对象发送给子进程有没有什么差别?它是否真的将服务器对象发送给子进程?

其实 send() 方法在将消息发送到 IPC 管道前,将消息组装成两个对象,一个参数是 handle,另一个是 message,message 参数如下所示

{  cmd: 'NODE_HANDLE',  type: 'net.Server',  msg: message}

发送到 IPC 管道中的实际上是要发送的句柄文件描述符,其为一个整数值。这个 message 对象在写入到 IPC 管道时会通过 JSON.stringify 进行序列化,转化为字符串。子进程通过连接 IPC 通道读取父进程发送来的消息,将字符串通过 JSON.parse 解析还原为对象后,才触发 message 事件将消息体传递给应用层使用。在这个过程中,消息对象还要被进行过滤处理,message.cmd 的值如果以 NODE_ 为前缀,它将响应一个内部事件 internalMessage ,如果 message.cmd 值为 NODE_HANDLE,它将取出 message.type 值和得到的文件描述符一起还原出一个对应的对象。这个过程的示意图如下所示

3.png

在 cluster 中,以 worker 进程通知 master 进程创建 server 实例为例子。worker 伪代码如下:

// woker进程const message = {  cmd: 'NODE_CLUSTER',  type: 'net.Server',  msg: message};process.send(message);

master 伪代码如下:

worker.process.on('internalMessage', fn);

四、如何实现端口共享

在前面的例子中,多个 woker 中创建的 server 监听了同个端口 3000,通常来说,多个进程监听同个端口,系统会报 EADDRINUSE 异常。为什么 cluster 没问题呢?

因为独立启动的进程中,TCP 服务器端 socket 套接字的文件描述符并不相同,导致监听到相同的端口时会抛出异常。但对于 send() 发送的句柄还原出来的服务而言,它们的文件描述符是相同的,所以监听相同端口不会引起异常。

这里需要注意的是,多个应用监听相同端口时,文件描述符同一时间只能被某个进程所用,换言之就是网络请求向服务器端发送时,只有一个幸运的进程能够抢到连接,也就是说只有它能为这个请求进行服务,这些进程服务是抢占式的。

五、如何将请求分发到多个worker

每当 worker 进程创建 server 实例来监听请求,都会通过 IPC 通道,在 master 上进行注册。当客户端请求到达,master 会负责将请求转发给对应的 worker;具体转发给哪个 worker?这是由转发策略决定的,可以通过环境变量 NODE_CLUSTER_SCHED_POLICY 设置,也可以在 cluster.setupMaster(options) 时传入,默认的转发策略是轮询(SCHED_RR);当有客户请求到达,master  会轮询一遍 worker 列表,找到第一个空闲的 worker,然后将该请求转发给该worker;

六、pm2 工作原理

pm2 是 node 进程管理工具,可以利用它来简化很多 node 应用管理的繁琐任务,如性能监控、自动重启、负载均衡等。

pm2 自身是基于 cluster 模块进行封装的, 本节我们主要 pm2 的 Satan 进程、God Daemon 守护进程 以及两者之间的进程间远程调用 RPC。

撒旦(Satan),主要指《圣经》中的堕天使(也称堕天使撒旦),被看作与上帝的力量相对的邪恶、黑暗之源,是God 的对立面。

4.png

其中 Satan.js 提供程序的退出、杀死等方法,God.js 负责维持进程的正常运行,God 进程启动后一直运行,相当于 cluster 中的 Master进程,维持 worker 进程的正常运行。

RPC(Remote Procedure Call Protocol)是指远程过程调用,也就是说两台服务器A,B,一个应用部署在A 服务器上,想要调用 B 服务器上应用提供的函数/方法,由于不在一个内存空间,不能直接调用,需要通过网络来表达调用的语义和传达调用的数据。同一机器不同进程间的方法调用也属于 rpc 的作用范畴。执行流程如下所示

5.png

每次命令行的输入都会执行一次 satan 程序,如果 God 进程不在运行,首先需要启动 God 进程。然后根据指令,Satan 通过 rpc 调用 God 中对应的方法执行相应的逻辑。

pm2 start app.js -i 4 为例,God 在初次执行时会配置 cluster,同时监听 cluster 中的事件:

// 配置clustercluster.setupMaster({  exec : path.resolve(path.dirname(module.filename), 'ProcessContainer.js')});// 监听cluster事件(function initEngine() {  cluster.on('online', function(clu) {    // worker进程在执行    God.clusters_db[clu.pm_id].status = 'online';  });    // 命令行中 kill pid 会触发exit事件,process.kill不会触发exit  cluster.on('exit', function(clu, code, signal) {    // 重启进程 如果重启次数过于频繁直接标注为stopped    God.clusters_db[clu.pm_id].status = 'starting';    // 逻辑    // ...  });})();

在 God 启动后, 会建立 Satan 和 God 的rpc链接,然后调用 prepare 方法,prepare 方法会调用 cluster.fork 来完成集群的启动

God.prepare = function(opts, cb) {  // ...  return execute(opts, cb);};function execute(env, cb) {  // ...  var clu = cluster.fork(env);  // ...  God.clusters_db[id] = clu;    clu.once('online', function() {    God.clusters_db[id].status = 'online';    if (cb) return cb(null, clu);    return true;  });  return clu;}

七、总结

本文从 cluster 的基本使用、事件,到 cluster 的基本实现原理,再到  pm2 如何基于 cluster 进行进程管理,带你从入门到深入原理以及了解其高阶应用,希望对你有帮助。

更多node相关知识,请访问:nodejs 教程!!

以上就是手把手教你玩转Node中的集群的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/553982.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月9日 21:30:28
下一篇 2025年11月9日 21:31:46

相关推荐

  • Linux文件系统中的ext4与xfs对比

    ext4适合通用场景,稳定性强,兼容性好,适用于桌面和中小型服务器;XFS擅长大规模高并发I/O,扩展性强,适用于大文件与高性能需求环境。 在Linux系统中,ext4和XFS是两种广泛使用的文件系统,各自适用于不同的使用场景。选择哪一个取决于性能需求、数据规模以及工作负载类型。 设计目标与适用场景…

    2025年12月6日 运维
    000
  • 分布式系统下的JavaScript消息队列实现

    答案:在Node.js中通过集成RabbitMQ或Kafka实现分布式系统消息通信。使用amqplib连接RabbitMQ,创建通道并声明交换机与队列,通过publish发送、consume接收消息,保障可靠性与解耦;或采用kafkajs连接Kafka集群,生产者向topic发消息,消费者订阅处理,…

    2025年12月6日 web前端
    000
  • JavaScript持续集成与部署

    持续集成与部署(CI/CD)通过自动化测试、构建和部署提升JavaScript项目交付效率。1. CI指频繁合并代码并自动运行测试以快速发现错误;2. CD在CI通过后自动将应用部署至生产环境;3. 常用工具包括GitHub Actions、GitLab CI/CD、CircleCI和Jenkins…

    2025年12月6日 web前端
    000
  • JavaScript代码分割策略

    JavaScript代码分割通过拆分代码、按需加载提升性能。1. 使用动态import()实现路由级懒加载,React结合lazy与Suspense,Vue用defineAsyncComponent;2. Webpack的SplitChunksPlugin提取公共依赖,分离vendor和共享模块,配…

    2025年12月6日 web前端
    000
  • VSCode扩展包管理依赖解析

    VSCode扩展依赖通过package.json中的extensionDependencies声明,安装时自动解析并提示用户安装所需扩展,确保按顺序激活且禁止循环依赖,依赖间通过contributes.api共享功能,使用vsce打包时需手动处理生产依赖和性能优化,最终实现扩展间的协同运行与API调…

    2025年12月6日 开发工具
    000
  • Cloudinary 上传后临时文件未删除的解决方案与 React 错误排查

    本文旨在解决在使用 Cloudinary 进行文件上传后,临时文件未自动删除的问题,并提供针对 React UI 崩溃 “Objects are not valid as a React child” 错误的排查与修复方案。文章将深入探讨如何在文件上传完成后安全地删除临时文件…

    2025年12月6日 web前端
    000
  • VS Code扩展生态剖析:API设计与商店发布全流程指南

    VS Code扩展成功源于其插件化架构与丰富API。通过Activation Events、Contribution Points和Extension Host实现高效稳定的功能扩展,结合vscode.commands、languages、window、workspace等核心API提供完整开发支持…

    2025年12月6日 开发工具
    000
  • 解决动态生成链接按钮失效问题:HTML与JavaScript联动教程

    本文旨在解决前端开发中,通过JavaScript动态加载数据并为HTML按钮绑定链接时,链接功能失效的问题。核心在于确保JavaScript尝试操作的HTML元素在DOM中真实存在,并针对不同类型的链接(如社交媒体URL和电话号码)采用正确的绑定方式和协议,从而实现按钮的准确点击跳转或拨打电话功能。…

    2025年12月6日 web前端
    000
  • 如何配置VSCode以支持对容器内应用程序的远程调试?

    答案是使用VSCode Remote – Containers扩展结合Docker实现远程调试。首先安装Docker、VSCode及Remote – Containers扩展,然后在项目根目录创建.devcontainer文件夹并配置devcontainer.json,指定基…

    2025年12月6日 开发工具
    000
  • Linux文件系统df -h命令高级用法

    df -h 是 Linux 查看磁盘使用情况的核心命令,支持按文件系统类型筛选(-t)、排除特定类型(-x)、仅显示本地文件系统(-l),结合 du 可定位大目录,使用 -i 可检查 inode 耗尽问题,全面提升磁盘监控与故障排查效率。 df -h 命令是 Linux 中查看磁盘空间使用情况的常用…

    2025年12月6日 运维
    000
  • 在Java REST API中优雅处理动态JSON请求体

    本文深入探讨了在Java REST API中处理结构动态变化的JSON请求体的多种策略。重点介绍了如何利用Jackson库的`JsonNode`进行灵活解析,以及通过实现自定义`JsonDeserializer`实现类型安全且可维护的动态数据映射。文章提供了详细的代码示例,帮助开发者高效应对复杂的A…

    2025年12月6日 java
    000
  • VS Code开发工坊:前端全栈开发环境搭建实战

    答案:通过安装ESLint、Prettier、Live Server、REST Client等核心插件,配置Node.js+Express后端环境并解决CORS实现前后端联调,利用launch.json设置断点调试,可构建高效VS Code全栈开发 workflow。 想用 VS Code 打通前端…

    2025年12月6日 开发工具
    000
  • JavaScript Babel插件开发与转译原理

    Babel通过解析、转换、生成三阶段将ES6+代码转译为兼容版本,其插件机制基于AST操作,如箭头函数替换为普通函数,核心在于掌握path、节点判断与作用域管理,结合调试工具确保正确性。 JavaScript的快速发展让很多新语法在旧环境中无法运行,Babel就是为了解决这个问题而生。它通过将ES6…

    2025年12月6日 web前端
    000
  • 探索VSCode云端开发环境搭建与配置方案

    首选GitHub Codespaces实现便捷云端开发,其次通过VSCode+SSH连接云服务器提升控制权,或采用Dev Containers确保环境一致性,结合性能优化与安全措施,满足不同场景下的高效协作需求。 在现代开发场景中,将VSCode与云端环境结合已成为提升协作效率、实现跨设备开发的重要…

    2025年12月6日 开发工具
    000
  • 研究VSCode代码复杂度评估算法与重构建议系统

    VSCode通过集成ESLint、SonarLint等插件实现代码复杂度分析与重构建议,依赖LSP协议获取语义信息,支持圈复杂度、函数长度、嵌套层级等指标检测,并提供提取变量、重命名、语法优化等重构功能,结合自定义规则与AST分析可扩展高级功能,形成灵活的代码质量保障体系。 Visual Studi…

    2025年12月6日 开发工具
    000
  • JavaScript符号计算与代数系统

    符号计算指对数学表达式进行符号化操作,如化简、求导、解方程。JavaScript可通过math.js等库实现:支持表达式解析、简化(如2x+x→3x)、求导(如x²→2x),其核心是将表达式表示为抽象语法树(AST)。也可手动构建基础系统,用类模拟符号、加法、乘法等结构,适用于教育工具或轻量级交互场…

    2025年12月6日 web前端
    000
  • 在 JavaScript 项目中运行 TypeScript 子进程的实用指南

    本文详细介绍了在 javascript(如 electron)应用中以子进程方式运行 typescript 项目(如 express 服务器)时遇到的 `err_unknown_file_extension` 错误,并提供了通过 `node` 命令结合 `ts-node/esm` 加载器和 `exp…

    2025年12月6日 web前端
    000
  • 深入解析Google V8引擎:JavaScript代码执行的幕后机制

    google v8引擎作为高性能javascript运行时,其代码执行机制远超简单的抽象语法树(ast)解释器。v8通过解析、生成字节码并利用即时(jit)编译器将热点代码优化为高效机器码,实现了javascript的快速启动与极致性能。本文将详细探讨v8的编译与执行流程,并与基于ast的解释器进行…

    2025年12月6日 web前端
    000
  • 深入理解Google V8引擎:JavaScript代码执行机制解析

    本文深入探讨Google V8引擎如何执行JavaScript代码,对比了大学课程中常见的抽象语法树(AST)解释器模型与V8引擎先进的即时编译(JIT)技术。文章详细阐述了从源代码解析到机器码生成的各个阶段,包括词法分析、语法分析、字节码生成及优化编译,揭示了高性能JavaScript运行时的复杂…

    2025年12月6日 web前端
    000
  • JavaScript Web Components组件化开发

    Web Components通过Custom Elements、Shadow DOM和HTML Templates实现组件化,支持自定义标签、样式隔离与模板复用,结合属性监听可实现响应式更新。 Web Components 是一套可以让开发者创建可重用、独立、封装良好的自定义 HTML 元素的技术。…

    2025年12月6日 web前端
    000

发表回复

登录后才能评论
关注微信