MongoDB实战(11)Sharding 分片(上)

这是一种将海量的数据水平扩展的数据库集群系统数据分表存储在sharding的各个节点上使用者通过简单的配置就可以很方便地构建一个分布式MongoDB集群。MongoDB的数

这是一种将海量的数据水平扩展的数据库集群系统数据分表存储在sharding 的各个节点
上使用者通过简单的配置就可以很方便地构建一个分布式mongodb 集群。

 

MongoDB 的数据分块称为 chunk。每个 chunk 都是 Collection 中一段连续的数据记录通
常最大尺寸是 200MB超出则生成新的数据块。

要构建一个 MongoDB Sharding Cluster需要三种角色

1、 Shard Server

即存储实际数据的分片每个Shard 可以是一个mongod 实例也可以是一组mongod 实例
构成的Replica Set。为了实现每个Shard 内部的auto-failoverMongoDB 官方建议每个Shard
为一组Replica Set。

2、 Config Server

为了将一个特定的collection 存储在多个shard 中需要为该collection 指定一个shard key
例如{age: 1} shard key 可以决定该条记录属于哪个chunk。Config Servers 就是用来存储
所有shard 节点的配置信息、每个chunk 的shard key 范围、chunk 在各shard 的分布情况、
该集群中所有DB 和collection 的sharding 配置信息。

 3、Route Process

这是一个前端路由客户端由此接入然后询问Config Servers 需要到哪个Shard 上查询或
保存记录再连接相应的Shard 进行操作最后将结果返回给客户端。客户端只需要将原本
发给mongod 的查询或更新请求原封不动地发给Routing Process而不必关心所操作的记录
存储在哪个Shard 上。

下面我们在同一台物理机器上构建一个简单的 Sharding Cluster
架构图如下

Cutout老照片上色 Cutout老照片上色

Cutout.Pro推出的黑白图片上色

Cutout老照片上色 20 查看详情 Cutout老照片上色

122705926.png

创建数据目录和日志目录

124012876.png

启动Shard Server 实例1和实例2

124222845.png

124254225.png

启动Config Server

124742286.png

启动Route Process

125115112.png

mongos 启动参数中chunkSize 这一项是用来指定chunk 的大小的单位是MB默认大小
为200MB为了方便测试Sharding 效果我们把chunkSize 指定为 1MB。

 

配置Sharding

接下来我们使用MongoDB Shell 登录到mongos添加Shard 节点

130030357.png

 

验证Sharding正常工作

我们已经对test.users 表进行了分片的设置下面我们们插入一些数据看一下结果

130727533.png

130939540.png

我们看一下磁盘上的物理文件情况

131340955.png

看上述结果表明test.users 集合已经被分片处理了但是通过mongos 路由我们并感觉
不到是数据存放在哪个shard 的chunk 上的这就是MongoDB 用户体验上的一个优势即
对用户是透明的。

 

 

 

 

本文出自 “phper-每天一点点~” 博客,请务必保留此出处

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/536106.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月9日 12:52:37
下一篇 2025年11月9日 12:53:38

相关推荐

  • Go 语言 mgo 库中并发批量 Upsert MongoDB 文档的优化实践

    本文探讨了 go 语言 `mgo` 库在处理 mongodb 批量 upsert 操作时遇到的局限性,并提供了一种通过利用 go goroutine 并发执行多个 upsert 请求的优化策略。文章将详细介绍如何通过并发提升连接利用率,并提供示例代码,旨在帮助开发者高效地进行数据同步与更新。 在 G…

    2025年12月16日
    000
  • Go语言Mgo应用中的连接管理与TCP超时处理指南

    在Go语言Mgo应用中,遇到“read tcp i/o timeout”错误通常表明数据库操作耗时超过预设阈值,而非连接池故障。本文将深入探讨Mgo的超时配置、会话管理最佳实践、查询优化策略,并提供示例代码,旨在帮助开发者构建健壮、高效的MongoDB应用,有效规避和解决TCP超时问题。 理解“re…

    2025年12月16日
    000
  • Go Mgo 应用的连接池管理与 TCP 超时处理策略

    本文深入探讨了go语言mgo库在构建rest api服务时,如何有效管理连接池并处理“read tcp i/o timeout”错误。文章详细分析了超时错误的成因,提供了mgo会话(session)的正确使用方法,包括会话复制、关闭、刷新与重建策略。同时,强调了通过合理配置超时时间、优化数据库查询和…

    2025年12月16日
    000
  • 优化Go语言mgo库中MongoDB并发Upsert操作

    本文探讨了Go语言`mgo`库在MongoDB中执行批量Upsert操作的限制与优化策略。由于`mgo`库不提供直接的批量Upsert方法,文章核心内容聚焦于如何通过Go协程(goroutines)实现并发的单个Upsert操作,以有效提升连接利用率和整体吞吐量。通过代码示例和最佳实践,详细阐述了如…

    2025年12月16日
    000
  • Go mgo 库多文档 Upsert 性能优化策略

    Go 语言的 `mgo` 库不直接提供批量 Upsert 方法。为优化多文档的插入或更新操作,核心策略是利用 Go 的并发模型。通过为每个文档启动一个 goroutine,并在克隆的 `mgo` 会话上并发执行 `Upsert` 操作,可以显著提高连接利用率和整体处理吞吐量,从而实现高效的多文档 U…

    2025年12月16日
    000
  • Go Mgo 应用中 TCP 超时与连接池的最佳实践

    本文深入探讨go语言mgo驱动应用中常见的”read tcp: i/o timeout”错误。该错误通常指示数据库往返时间超出预设超时限制,而非连接池损坏。解决策略包括适当延长mgo连接超时、优化慢查询(如添加索引)、以及正确处理mgo会话(刷新或重新创建)。文章强调保持mg…

    2025年12月16日
    000
  • Go Mgo 应用中连接池与 TCP 超时处理的最佳实践

    本文深入探讨了 go 语言中基于 mgo 库构建应用时,如何有效处理数据库连接池和 tcp 超时问题。我们将重点分析“read tcp i/o timeout”错误的原因、诊断方法,并提供一套系统的解决方案,包括合理的超时配置、mgo 会话的刷新与重建机制,以及数据库性能优化策略,旨在帮助开发者构建…

    2025年12月16日
    000
  • Mgo与Go应用中的连接池与TCP超时管理

    在go语言结合mgo库开发应用时,常见的“read tcp i/o timeout”错误通常指示数据库往返时间超出预设。这并非总是扩展性问题,而更多源于不当的超时配置、低效的查询(如缺乏索引)或会话管理不当。本文将深入探讨此错误的根源,并提供一套专业的解决方案,包括优化mgo连接超时设置、妥善管理m…

    2025年12月16日
    000
  • Golang mgo库:多文档Upsert操作的并发优化策略与实践

    在golang的mgo库中,虽然没有直接的多文档批量upsert方法,但可以通过利用go语言的并发特性来高效处理。本文将详细介绍如何使用goroutine和mgo会话克隆机制,并发执行多个独立的upsert操作,从而优化数据库连接利用率和整体吞吐量,并提供完整的代码示例和最佳实践建议。 理解mgo库…

    2025年12月16日
    000
  • 如何在Golang中实现微服务数据同步

    答案:Golang微服务数据同步需采用异步或同步机制确保一致性。1. 使用Kafka/RabbitMQ等消息队列实现事件驱动的最终一致性,事务提交后发布事件,订阅服务幂等消费;2. 基于gRPC进行强一致性同步调用,主服务更新后直接通知其他服务,配合重试机制提升可靠性;3. 引入NATS或Redis…

    2025年12月16日
    000
  • Golang与MongoDB:灵活处理嵌入结构体及字段可见性

    本文探讨了在Golang应用中,如何利用结构体嵌入和`bson:”,inline”`标签,结合MongoDB实现不同用户角色(如普通用户与管理员)对同一数据模型中敏感字段(如`Secret`)的差异化访问与序列化。通过优化结构体设计,避免了代码重复,并有效解决了BSON字段冲…

    2025年12月16日
    000
  • Go语言中MongoDB嵌入式结构体与多视图数据管理

    本文探讨了在go语言中,如何利用结构体嵌入和`bson:”,inline”`标签,结合字段的合理归属,来优雅地处理mongodb数据在不同api视图下的序列化需求。通过将敏感字段从基础结构体中分离,并仅在特定视图结构体中定义,我们能够避免代码重复,实现公共视图与管理员视图的清…

    2025年12月16日
    000
  • Golang mgo 错误处理最佳实践

    本文旨在帮助开发者更好地理解和处理在使用 Golang 的 mgo 驱动连接 MongoDB 数据库时可能遇到的各种错误。文章将深入探讨 mgo 错误类型,并提供一套完善的错误处理策略,避免因数据库连接问题导致程序崩溃,确保应用的稳定性和可靠性。 在使用 Golang 的 mgo 驱动与 Mongo…

    2025年12月16日
    000
  • Golang中利用结构体嵌入和BSON标签实现字段选择性暴露

    本文探讨了在golang应用中,如何通过结构体嵌入(embedded type)和mongodb的bson标签(特别是`bson:”,inline”`)来优雅地解决不同api路由需要暴露同一数据模型不同字段集的问题。文章详细介绍了如何避免字段重复、解决bson冲突,并提供了一…

    2025年12月16日
    000
  • Golang mgo 错误处理深度指南

    mgo 在 go 语言中与 mongodb 交互时,可能返回多种错误,远不止 queryerror 或 errnotfound。处理这些错误应遵循最佳实践:针对已知错误编写特定逻辑,对未知错误则应妥善封装并向上层传递,同时清理本地副作用。特别强调,不应将数据库连接等预期可能发生的网络错误视为异常情况…

    2025年12月16日
    000
  • Golang mgo 错误处理:深度解析与最佳实践

    `mgo` 在 go 语言中与 mongodb 交互时,除了常见的 `queryerror` 和 `errnotfound`,还会返回各种底层操作(如网络、dns、连接超时)产生的错误。本文将深入探讨 `mgo` 的错误类型,并提供一套专业的错误处理策略,强调应区分已知错误和未知错误,并避免将 `p…

    2025年12月16日
    000
  • Golang Mgo 错误处理详解:连接、查询及最佳实践

    本文深入探讨了在使用 Golang 的 mgo 驱动连接 MongoDB 时可能遇到的各种错误,并提供了全面的错误处理策略。重点讲解了如何区分不同类型的错误,以及在面对数据库连接错误和查询错误时,如何采取恰当的处理方式,避免程序崩溃,并保证服务的稳定性和可靠性。 在使用 Golang 的 mgo 驱…

    2025年12月16日
    000
  • 在 Go/mgo 中处理 MongoDB 日期字段的灵活查询与验证

    本文详细探讨了在 go 语言使用 mgo 驱动操作 mongodb 时,如何灵活地处理文档中可能为 time.time 类型、布尔值 false 或未定义的日期字段。内容涵盖了 go 语言层面 time.time 对象的有效性检查,以及在 mongodb 查询时利用 $exists 和 $type …

    2025年12月16日
    000
  • Go语言结构体字段多标签定义指南

    本文深入探讨了go语言中为结构体字段定义多个标签(如`bson`、`json`)的正确实践。核心在于使用空格而非逗号作为不同标签键值对的分隔符,从而有效解决数据在数据库存取和json序列化等多种场景下的字段命名转换需求,确保数据处理的灵活性与准确性。 引言:多标签的必要性与常见误区 Go语言的结构体…

    2025年12月16日
    000
  • Go语言:将MongoDB文档直接转换为JSON API响应

    本文详细介绍了在go语言中使用`mgo`驱动从mongodb检索文档并将其直接转换为json api响应的有效方法。它着重推荐将文档反序列化到`bson.m`类型切片中,此方法能够与go标准库的`encoding/json`包无缝集成,从而避免了为简单数据传递场景定义复杂结构体或处理原始`bson.…

    2025年12月16日
    000

发表回复

登录后才能评论
关注微信