深入了解Node中的Buffer

深入了解Node中的Buffer

在 Stream 篇结中,我们留下了一个问题,下述代码输出的 chunk 是一个什么东西?

Untitled.png

通过打印,我们发现 chunk 是 Buffer 对象,其中的元素是16进制的两位数,即0~255的数值。【相关教程推荐:nodejs视频教程、编程教学】

Untitled 1.png

说明在 Stream 中流动的数据就是 Buffer,那下面就让我们来探究一下 Buffer 的真实面目!

? Node 中为什么要引入 Buffer?

最开始的时候 JS 只在浏览器端运行,对于 Unicode 编码的字符串容易处理,但是对于二进制和非 Unicode 编码的字符串处理困难。并且二进制是计算机最底层的数据格式,视频/音频/程序/网络包都是以二进制来存储的。所以 Node 需要引入一个对象来操作二进制,因此 Buffer 诞生了,用于 TCP流/文件系统等操作处理二进制字节。

由于 Buffer 在 Node 中过于常用,所以在 Node 启动的时候已经引入了 Buffer,无需使用 require()

ArrayBuffer

是什么

ArrayBuffer 是内存之中的一段二进制数据,本身不能够操作内存,需要通过TypedArray 对象或者 DataView 来操作。将缓冲区中的数据表示为特定的格式,并通过这些格式来读写缓冲区的内容,其部署了数组接口,可以使用数组的方式来操作数据

TypedArray 视图

最常用的是 TypeArray 视图,用于读写简单类型的 ArrayBuffer,比如 Uint8Array(无符号8位整数)数组视图, Int16Array(16位整数)数组视图

和 Buffer 的关系

NodeJS 中的 Buffer 类其实是 Uint8Array 的实现。

Buffer 结构

Buffer 是一个类似 Array 的对象,但是它主要用于操作字节

模块结构

Buffer 是 JS 和 C++ 结合的模块,性能部分都由 C++ 实现,非性能部分都是 JS 实现的Untitled 2.png

Buffer 所占用的内存不是由 V8 分配的,属于堆外内存。

对象结构

Buffer 对象类似数组,其元素是16进制的两位数,即0~255的数值

Untitled 3.png

从这个例子能够看出,不同字符在 Buffer 中占据的字节是不一样的,在 UTF-8 编码下,中文占据3个字节,英文和半角标号占用1个字节

? 输入的元素是小数/负数/超出255会发生什么事情?

Untitled 4.png

对于上述这种情况,Buffer 的处理为:

给元素的赋值小于0, 就将该值逐次加256,直到得到一个0到255之间的整数如果得到的数值大于255,就逐次减256,直到得到0~255区间内的数值如果是小数,只保留整数部分

Buffer 里面为什么展示的是16进制

其实在内存存储的依旧是二进制数,只是 Buffer 在显示这内存数据的时候采用了16进制

大小为2字节的 buffer,一共有16 bit ,比如是00000001 00100011,如果直接这样显示不太方便就转成为了16进制

Buffer 的创建

Buffer.alloc 和 Buffer.allocUnsafe

创建固定大小的 buffer

Buffer.alloc(size [, fill [, encoding]])

size 新 Buffer 的所需长度fill 用于预填充新 Buffer 的值。默认值: 0encoding 如果 fill 是一个字符串,则这是它的字符编码。默认值: utf8

Untitled 5.png

Buffer.allocUnsafe(size)

分配一个大小为 size 字节的 Buffer,allocUnsafe 执行速度比 alloc 快,我们发现其结果并不像 Buffer.alloc 那样都初始化为 00

Untitled 6.png

当调用 allocUnsafe 时分配的内存段尚未初始化,这样分配内存速度很块,但分配到的内存片段可能包含旧数据。如果在使用的时候不覆盖这些旧数据就可能造成内存泄露,虽然速度快,尽量避免使用

Buffer 模块会预分配一个内部的大小为 Buffer.poolSize 的 Buffer 实例,作为快速分配的内存池,用于使用 allocUnsafe 创建新的 Buffer 实例

Buffer.from

根据内容直接创建Buffer

Buffer.from(string [, encoding])Buffer.from(array)Buffer.from(buffer)

Untitled 7.png

Buffer.allocUnsafe 的内存机制

为了高效使用申请来的内存,Node.js 采用了 slab 机制进行预先申请、事后分配,是一种动态的管理机制

使用 Buffer.alloc(size) 传入一个指定的 size 就会申请一块固定大小的内存区域,slab 具有如下三种状态

full: 完全分配状态partial:部分分配状态empty:没有被分配状态

Node.js 使用8 KB 为界限来区分是小对象还是大对象

知了zKnown 知了zKnown

知了zKnown:致力于信息降噪 / 阅读提效的个人知识助手。

知了zKnown 65 查看详情 知了zKnown

Untitled 8.png

Buffer 在创建的时候大小就已经被确定了且无法调整!

分配小对象

如果分配的对象小于 8KB,Node 会按着小对象的方式来进行分配

Buffer 的分配过程中主要使用一个局部变量 pool 作为中间处理对象,处于分配状态的 slab 单元都指向它。以下是分配一个全新的 slab 单元的操作,它将会新申请的 SlowBuffer 对象指向它

Untitled 9.png

一个 slab 单元

Untitled 10.png

分配一个 2KB 大小的 Buffer

创建一个 2KB 的 buffer后,一个 slab 单元内存如下:

Untitled 11.png

这个分配过程是由 allocate 方法完成

Untitled 12.png

当我们创建了一个 2KB 的 buffer 之后,当前 slab 状态为 partial

再次创建 buffer 的时候,会去判断当前 slab 剩余空间是否足够。如果足够,使用剩余空间,并更新 slab 的分配状态

如果 slab 空间不够,就会构建新的 slab,原 slab 中剩余的空间造成浪费

分配大对象

如果有超过 8KB 的 buffer,直接会走到 creatUnsafeBuffer 函数,分配一个 slab 单元,这个 slab 单元将会被这个大 Buffer 对象独占

allocate 分配机制如图

Untitled 13.png

Buffer 的内存分配机制

Untitled 14.png

Buffer 和字符编码

通过使用字符编码,可实现 Buffer 实例与 JavaScript 字符串之间的相互转换

Untitled 15.png

Node 中目前支持 utf8、ucs2、utf16le、latin1、ascii、base64、hex、base64Url 八种编码方式,具体实现

Untitled 16.png

针对于每一种不同的编码方案都会用实现一系列 api,返回会有不同的结果,Node.js 会根据传入的 encoding 来返回不同的对象

Buffer 和字符串的转换

字符串转 Buffer

主要通过上述讲的 Buffer.from 方法,默认的 encoding 方式为 utf-8

Buffer 转字符串

Untitled 17.png

? 为什么会出现乱码呢?如何解决这个问题呢?

按着读取来说,我们每次读取的长度为4,chunk输出如下

Untitled 18.png

对于data += chunk等价于data = data.toString + chunk.toString

由于一个中文占据三个字节,第一个 chunk 中的第四个字节会显示乱码,第二个 chunk 的第一第二个字节也无法形成文字等等,所以会展示乱码问题

更多node相关知识,请访问:nodejs 教程!

以上就是深入了解Node中的Buffer的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/541275.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月9日 15:25:49
下一篇 2025年11月9日 15:28:38

相关推荐

  • Go 程序沙箱化:原理、挑战与实现策略

    本文探讨了Go程序沙箱化的原理与实现策略,旨在为执行不可信Go代码提供安全隔离环境。文章分析了Go Playground等现有方案的局限性,并详细介绍了自建沙箱的关键技术点,包括限制核心包功能、禁用底层操作、以及根据具体需求定制沙箱行为,强调了安全性与定制化的重要性。 在现代软件开发中,尤其是在需要…

    2025年12月16日
    000
  • Go 程序沙箱化指南:构建安全隔离环境的策略与实践

    本文深入探讨了 Go 程序沙箱化的核心方法与实践,旨在为安全执行不可信代码提供指导。我们将分析 Go Playground 等现有沙箱方案的特点,并详细阐述构建自定义 Go 沙箱的关键策略,包括限制敏感包、系统资源访问以及禁用特定语言特性,以确保程序运行的安全性与可控性。 理解 Go 程序沙箱化的必…

    2025年12月16日
    000
  • Web接口数据缓存与性能优化示例

    使用Redis缓存接口数据可显著降低数据库压力与响应时间;2. 通过设置合理TTL与主动删除机制保证数据一致性;3. 对高频访问的分页数据进行缓存优化,提升并发性能。 在现代Web开发中,接口数据缓存是提升系统性能的关键手段之一。当后端接口频繁被调用,尤其是查询开销较大的数据时,直接访问数据库会造成…

    2025年12月16日
    000
  • 优化Google App Engine静态文件服务延迟的深度解析

    本文深入探讨Google App Engine (GAE) 上静态文件服务的高延迟问题。我们将分析导致延迟的多种因素,包括前端服务器缓存状态、分布式架构、网络往返时间以及请求队列。文章提供了一个全面的延迟构成模型,并提出了通过优化缓存策略、利用CDN、合理配置HTTP头以及持续监控来有效降低和管理G…

    2025年12月16日
    000
  • 深入理解与优化Google App Engine静态文件服务延迟

    Google App Engine (GAE) 应用服务静态文件时,可能遭遇超出预期的延迟。这通常源于前端服务器的冷缓存状态、网络往返时间、不同服务器实例的路由以及高并发下的请求队列。理解这些因素有助于开发者准确诊断并采取措施,如通过监控日志、优化文件大小和考虑CDN等方式,来提升静态文件服务的响应…

    2025年12月16日
    000
  • Golang实现简单聊天室WebSocket服务

    答案:使用Golang和gorilla/websocket库可实现一个简单的WebSocket聊天室,通过HTTP服务升级连接、管理客户端并广播消息。首先安装gorilla/websocket库,创建/ws路由并用Upgrader升级为WebSocket连接,允许跨域;接着定义clients映射和b…

    2025年12月16日
    000
  • Golang Web表单数据序列化与处理

    答案:Go语言通过net/http包解析表单数据,支持自动映射到结构体。使用r.ParseForm()处理普通表单,r.FormValue获取参数,结合反射实现结构体绑定,提升代码可维护性。 在Go语言开发Web应用时,处理前端提交的表单数据是常见需求。Golang标准库提供了简洁而高效的方式进行表…

    2025年12月16日
    000
  • GolangWeb开发中错误统一返回示例

    定义统一响应结构体Response包含Success、Message、Data和Code字段;2. 封装Error和Success函数用于返回标准化的错误和成功响应;3. 使用RecoverMiddleware中间件捕获panic并返回统一错误格式;4. 在Handler中通过Error函数返回各类…

    2025年12月16日
    000
  • Golang Web表单文件上传实现实战

    首先实现前端表单与后端接收,通过enctype=”multipart/form-data”上传文件,使用r.ParseMultipartForm解析,校验文件大小、类型并重命名后保存至安全目录。 文件上传是Web开发中的常见需求,Golang凭借其简洁的语法和高效的性能,在处…

    2025年12月16日
    000
  • 文件上传下载功能开发与管理

    文件上传下载需兼顾安全性与体验,前端通过multipart表单提交并限制类型大小,后端校验MIME与文件头、重命名存储于安全路径;下载时用代理服务设置Content-Disposition等响应头,支持分块传输;权限上须认证用户会话、使用临时Token防未授权访问,结合日志审计与定期清理,小规模存本…

    2025年12月16日
    000
  • Golang开发小型即时消息应用实战

    先搭建TCP/WS服务器,用goroutine处理连接,通过OnlineMap管理在线用户,基于JSON消息格式实现广播与私聊,前端通过WebSocket通信,逐步扩展功能。 用Go语言(Golang)开发一个小型即时消息应用,是掌握其并发和网络编程能力的绝佳实践。整个过程并不复杂,核心在于理解客户…

    2025年12月16日
    000
  • 使用 Go 语言和 Gitolite

    本文旨在阐述如何在 Go 语言中使用 go get 命令从 Gitolite 管理的仓库中获取代码。核心在于理解 Gitolite 的角色:它是一个授权层,负责验证用户权限,而非影响 Git 仓库本身的使用方式。通过配置 Apache 服务器并使用 HTTPS 协议,可以使 Go 能够通过 go g…

    2025年12月16日
    000
  • 使用 Go 语言与 Gitolite 集成

    本文旨在解决在使用 Go 语言的 go get 命令与 Gitolite 进行集成时遇到的问题。Gitolite 作为一个授权层,负责验证用户的访问权限。本文将阐述 Gitolite 的作用,并提供配置建议,以便 Go 能够通过 HTTPS 协议访问 Gitolite 管理的代码仓库,实现顺利的 g…

    2025年12月16日
    000
  • Web请求路径优化与性能提升

    优化请求路径需从结构、缓存、传输和分发协同改进:1. 精简URL结构,避免深层嵌套,使用语义化短路径;2. 合理设置Cache-Control、ETag实现静态与动态资源缓存;3. 合并JS/CSS文件并采用懒加载减少请求数;4. 利用CDN托管静态资源并结合边缘节点加速分发,降低延迟。 在现代We…

    2025年12月16日
    000
  • Golang Web接口统一响应封装与错误处理实践

    定义统一响应结构体Response包含Code、Message和Data字段,确保API返回格式一致;2. 提供Success和Error封装函数简化返回逻辑;3. 分层处理错误,使用errors.New创建基础错误,通过errors.Is和errors.As进行判断,服务层抛出带语义的业务错误;4…

    2025年12月16日
    000
  • Go Web服务中HTTP重定向的常见陷阱与高级策略

    本文深入探讨Go net/http服务中执行HTTP重定向时遇到的常见问题,特别是当尝试在已写入响应后进行重定向的情况。文章详细解释了http.ResponseWriter的工作机制,并提供了解决“多重WriteHeader调用”错误的方法。针对需要在后台任务完成后进行重定向的复杂场景,本文提出了两…

    2025年12月16日
    000
  • Go语言text/template实现HTML模板组合与复用

    本文详细介绍如何在Go语言中使用html/template包实现HTML模板的组合与复用,以构建具有统一布局的Web页面。通过手动读取子模板内容并使用Template.New().Parse()方法将其与父模板关联,再结合父模板中的{{template “name” .}}指…

    2025年12月16日
    000
  • 掌握Go模板中嵌入JavaScript:避免自动转义与保留原始内容

    本文深入探讨Go语言html/template包在处理JavaScript代码时遇到的自动转义问题,即字符串被引号包裹且原始代码结构可能被改变。我们将详细介绍如何利用template.JS类型来安全地将JavaScript代码嵌入到HTML模板中,从而避免不必要的转义,确保输出为原生JavaScri…

    2025年12月16日
    000
  • 在Go语言中高效组合HTML模板:构建可复用页面布局

    本教程旨在指导如何在Go语言中使用html/template包实现HTML模板的嵌套与复用。通过手动加载子模板内容并将其关联到主模板对象,可以克服ParseFiles方法的局限性,实现灵活的页面布局组合,有效消除冗余HTML和CSS代码,提高前端设计的可维护性。 1. 理解Go html/templ…

    2025年12月16日
    000
  • Go语言中实现HTML模板布局与组件化

    本文详细阐述了在Go语言中使用text/template或html/template包构建可复用HTML布局的方法。通过解析主模板、手动读取并命名子模板内容,然后利用Template.New().Parse()将子模板关联到主模板对象,最终在主模板中使用{{template “name&…

    2025年12月16日
    000

发表回复

登录后才能评论
关注微信