Varint编码

leveldb内部通过采用变长编码,对数据进行压缩来减少存储空间,采用crc进行数据正确性校验。下面就对varint编码进行学习。 传统的integer是以32位来表示的,存储需要4个字节,当如果整数大小在256以内,那么只需要用一个字节就可以存储这个整数,这样就可以

 

leveldb内部通过采用变长编码,对数据进行压缩来减少存储空间,采用crc进行数据正确性校验。下面就对varint编码进行学习。

传统的integer是以32位来表示的,存储需要4个字节,当如果整数大小在256以内,那么只需要用一个字节就可以存储这个整数,这样就可以节省3个字节的存储空间,Google varint就是根据这种思想来序列化整数的

无符号

Varint 是一种紧凑的表示数字的方法。它用一个或多个字节来表示一个数字,值越小的数字使用越少的字节数。这能减少用来表示数字的字节数。

Varint 中的每个 byte 的最高位 bit 有特殊的含义,如果该位为 1,表示后续的 byte 也是该数字的一部分,如果该位为 0,则结束。其他的 7 个 bit 都用来表示数字。因此小于 128 的数字都可以用一个 byte 表示。大于 128 的数字,会用两个字节。

例如整数1的表示,仅需一个字节:

0000 0001

例如300的表示,需要两个字节:

1010 1100 0000 0010

采用 Varint,对于很小的 int32 类型的数字,则可以用 1 个 byte 来表示。当然凡事都有好的也有不好的一面,采用 Varint 表示法,大的数字则需要 5 个 byte 来表示。从统计的角度来说,一般不会所有的消息中的数字都是大数,因此大多数情况下,采用 Varint 后,可以用更少的字节数来表示数字信息。

腾讯云AI代码助手 腾讯云AI代码助手

基于混元代码大模型的AI辅助编码工具

腾讯云AI代码助手 98 查看详情 腾讯云AI代码助手

下图演示了 Google Protocol Buffer 如何解析两个 bytes。注意到最终计算前将两个 byte 的位置相互交换过一次,这是因为 Google Protocol Buffer 字节序采用 little-endian 的方式。

wps_clip_image-21799

有符号

如果使用int32/int64表示一个负数,该字段的值无论是-1还是-2147483648,其编码后长度将始终为10个字节,就如同对待一个很大的无符号整型一样。反之,如果使用的是sint32/sint64,Protocol Buffer将会采用ZigZag编码方式,其编码后的结果将会更加高效。
这里简单讲述一下ZigZag编码,该编码会将有符号整型映射为无符号整型,以便绝对值较小的负数仍然可以有较小的varint编码值,如-1。下面是ZigZag对照表:

image

其公式为:
(n > 31) //sint32
(n ^ (n >> 63) //sint64
需要补充说明的是,Protocol Buffer在实现上述位移操作时均采用的算术位移,因此对于(n >> 31)和(n >> 63)而言,如果n为负值位移后的结果就是-1,否则就是0。
注:简单解释一下C语言中的算术位移和逻辑位移。他们的左移操作都是相同的,即低位补0,高位直接移除。不同的是右移操作,逻辑位移比较简单,高位全部补0。而算术位移则需要视当前值的符号位而定,补进的位和符号位相同,即正数全补0,负数全补1。换句话说,算术位移右移时要保证符号位的一致性。在C语言中,,如果使用 int变量位移时就是算术位移,uint变量位移时是逻辑位移。

实现可以参考下面文章

?spm=0.0.0.0.SazYq9

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/536139.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月9日 12:53:17
下一篇 2025年11月9日 12:54:10

相关推荐

  • Go语言函数返回值详解:解决‘missing return’编译错误

    本文深入探讨go语言函数返回值机制,重点解析在条件语句中可能出现的“missing return at end of function”编译错误。我们将通过具体代码示例,阐明go编译器对所有执行路径返回值的严格要求,并提供确保函数正确返回的解决方案与最佳实践,帮助开发者编写更健壮的go代码。 Go语…

    2025年12月16日
    000
  • Go语言实现跨平台磁盘空间查询教程

    本文详细介绍了如何使用go语言在windows、linux和macos等不同操作系统上查询磁盘的可用和总空间。文章通过具体代码示例,展示了如何利用`golang.org/x/sys/unix`处理posix系统(如linux/macos),以及如何借助`golang.org/x/sys/window…

    2025年12月16日
    000
  • 如何在Golang中实现微服务配置中心_Golang微服务配置中心方法汇总

    答案:Golang微服务配置中心主流方案包括etcd、Consul、Nacos及Viper集成远程后端。1. etcd通过clientv3实现强一致性和Watch机制,适合高可用场景;2. Consul结合KV存储与服务发现,支持长轮询监听,便于全栈治理;3. Nacos提供友好界面和动态推送,配合…

    2025年12月16日
    000
  • Go语言中如何将嵌套JSON对象解组为原始字符串或字节切片

    本文探讨了在go语言中,当需要将json数据中的嵌套对象作为原始字节切片或字符串处理,而非进行完整解析时的解决方案。通过引入`encoding/json`包中的`json.rawmessage`类型,可以有效地避免“无法将对象解组到go值类型[]uint8”的错误,实现对特定json字段的延迟解码或…

    2025年12月16日
    000
  • Go语言中实现io.Reader包装器与ROT13解密器:操作顺序的关键

    本文深入探讨了go语言中实现`io.reader`包装器时一个常见的逻辑错误,以rot13解密器为例。通过分析原始代码中`read`方法内操作顺序颠倒的问题,即先加密缓冲区内容再从底层读取器覆盖,导致解密失败。教程将详细解释正确的数据流和操作顺序,并提供一个功能完善的rot13解密器实现,强调在构建…

    2025年12月16日
    000
  • Go语言JSON解析深度指南:结构体字段导出与错误处理实践

    本教程详细探讨Go语言中解析JSON时常见的“字段为空”问题,指出其根源在于结构体字段未导出。通过阐释Go反射机制与`encoding/json`包的导出字段要求,文章提供了正确的结构体定义方法。同时,教程还涵盖了Go语言中规范的错误处理模式,旨在帮助开发者高效、准确地处理JSON数据并构建健壮的应…

    2025年12月16日
    000
  • Go语言中将嵌套JSON对象解组为原始字节数组或字符串

    在Go语言中处理JSON时,有时需要将嵌套的JSON对象作为原始字节数组(`[]byte`)或字符串来处理,而非进行完整的结构体解析。本文将详细介绍如何利用`encoding/json`包中的`json.RawMessage`类型来优雅地实现这一需求,避免“无法将对象解组到[]uint8类型”的错误…

    2025年12月16日
    000
  • 使用 Go 语言获取跨平台磁盘空间信息教程

    本教程详细介绍了如何使用 go 语言在不同操作系统(linux/macos 和 windows)上获取磁盘的空闲空间和总容量信息。通过利用 go 的 `x/sys` 扩展包,我们能直接调用底层的系统 api,从而实现对磁盘使用情况的精确查询。文章提供了针对 posix 和 windows 系统的具体…

    2025年12月16日
    000
  • Go JSON Unmarshal 嵌套对象为原始字节或字符串

    本文深入探讨了在Go语言中使用`encoding/json`包处理JSON数据时,如何将嵌套的JSON对象直接解组(Unmarshal)为原始字节切片(`[]byte`)或字符串,而非将其解析为具体的Go结构体。通过介绍`json.RawMessage`类型,文章详细阐述了其原理、用法,并提供了实用…

    2025年12月16日
    000
  • Go语言JSON解析深度指南:解决字段为空问题与高效错误处理

    本文深入探讨了go语言中json解析的常见问题,特别是由于结构体字段未导出导致数据无法正确填充的现象。文章详细解释了go语言`encoding/json`包对导出字段的要求,并提供了正确的结构体定义示例。此外,本文还涵盖了go语言中健壮的错误处理机制,包括如何优雅地捕获和处理http请求及json解…

    2025年12月16日
    000
  • Go语言中实现透明的Gzip/Gunzip流式处理

    本文详细探讨了在Go语言中如何实现透明的Gzip压缩与解压缩流,即直接连接gzip.Writer和gzip.Reader以实现实时数据处理。核心解决方案在于利用io.Pipe构建同步管道,并结合Go协程(goroutine)来并发执行读写操作,有效解决了直接使用bytes.Buffer导致的死锁问题…

    2025年12月16日
    000
  • Go语言JSON解析:解决结构体字段为空的常见问题

    在Go语言中,使用`encoding/json`包解析JSON数据到结构体时,如果结构体字段值为空,通常是由于字段未被导出(即字段名以小写字母开头)所致。Go的反射机制和JSON编码/解码包只作用于已导出的(大写字母开头的)结构体字段。本文将详细解释这一机制,并提供正确的解决方案及Go语言中常用的错…

    2025年12月16日
    000
  • Go语言Modbus TCP通信:解决空响应与连接重置问题

    本文旨在指导开发者使用go语言构建modbus tcp客户端,解决在网络通信中遇到的空响应和“connection reset by peer”等问题。核心在于理解modbus tcp协议的请求格式,并推荐使用`net.conn.write`和`net.conn.read`进行精确的字节级数据传输,…

    2025年12月16日
    000
  • Go语言中实现透明(过滤式)Gzip/Gunzip流处理

    本文探讨了在Go语言中如何实现Gzip压缩器和解压器之间的直接流式连接,以实现数据的实时压缩与解压缩。通过分析直接使用`bytes.Buffer`的局限性,文章详细阐述了利用`io.Pipe`创建同步管道以及结合Go协程(goroutine)进行并发处理的关键技术,从而构建高效、非阻塞的数据处理流,…

    2025年12月16日
    000
  • Go语言实现MODBUS TCP客户端:避免连接重置与空响应的实践指南

    本文旨在解决go语言在实现modbus tcp客户端时常见的连接重置和接收到空响应的问题。核心在于理解modbus tcp协议的请求格式与串行modbus的区别,并强调应使用go标准库net.conn提供的低级别write和read方法进行精确的字节流控制,避免使用可能导致数据格式化错误或不当读取行…

    2025年12月16日
    000
  • Go io.Reader 包装器实现指南:解密 Read 方法中的常见陷阱

    本文深入探讨了go语言中 `io.reader` 包装器的实现原理与常见错误。通过一个 `rot13reader` 示例,详细分析了在 `read` 方法中处理数据时,操作顺序不当(先处理缓冲区再从底层读取)导致的问题,并提供了正确的实现模式,强调了先从底层读取数据再进行处理的关键原则。 引言:理解…

    2025年12月16日
    000
  • Go语言MODBUS TCP客户端通信:解决连接重置与空响应问题

    本文旨在解决go语言在实现modbus tcp客户端时常见的“连接重置”和“空响应”问题。核心在于强调modbus tcp请求帧的准确构建,并推荐使用go标准库`net.conn`提供的低级`write`和`read`方法进行二进制数据传输,避免高层i/o函数可能引入的格式化问题。通过一个完整的示例…

    2025年12月16日
    000
  • Go语言中实现透明(过滤器式)的Gzip/Gunzip流处理

    本文探讨在go语言中如何实现`gzip.writer`与`gzip.reader`之间的实时数据流连接,以达到透明的压缩与解压缩效果。针对直接使用`bytes.buffer`的常见问题,教程详细介绍了利用`io.pipe`构建同步管道,并结合go协程实现并发读写操作的关键技术,确保数据能够高效、无阻…

    2025年12月16日
    000
  • Go语言中AWS SNS消息签名验证实践指南

    本教程详细阐述了在go语言中安全验证aws sns消息签名的过程。我们将探讨签名验证的核心原理,包括规范化字符串、哈希生成与断言,并指出手动实现中常见的挑战。最终,推荐并演示如何利用现有的go.sns库高效、可靠地完成签名验证,确保消息的真实性和完整性。 引言:AWS SNS消息签名的重要性 AWS…

    2025年12月16日
    000
  • Go语言中io.Reader包装器实现ROT13编码的正确实践

    本文探讨了在Go语言中使用`io.Reader`包装器实现ROT13编码时的一个常见逻辑错误。通过分析错误的`Read`方法实现,揭示了数据读取与转换顺序的重要性。文章提供了正确的实现方式,并强调了在处理流式数据时操作顺序的关键性,旨在帮助开发者构建健壮的`io.Reader`包装器。 在Go语言中…

    2025年12月16日
    000

发表回复

登录后才能评论
关注微信