PostgreSQL流复制数据源配置_PostgreSQL流复制数据源建立

流复制通过主库发送WAL日志、备库接收并应用实现数据同步。需配置主库wal_level、max_wal_senders、pg_hba.conf允许复制连接,使用pg_basebackup创建基础备份,备库启用hot_standby并启动服务;验证通过pg_stat_replication和pg_is_in_recovery()检查状态,注意网络、权限、WAL保留策略及磁盘空间。

postgresql流复制数据源配置_postgresql流复制数据源建立

在PostgreSQL的世界里,流复制(Streaming Replication)无疑是构建高可用和数据冗余基石的关键技术。简单来说,它就是让你的数据有一个或多个实时备份,以防不测,或者分担读请求的压力。配置和建立流复制数据源,核心就在于主库(Primary)和备库(Standby)之间,通过传输和应用预写日志(WAL)来达到数据同步的目的。

说实话,第一次接触流复制,光是看着那些配置参数就有点头大。但一旦理解了背后的逻辑,其实也就那么回事。核心在于让主库知道它需要发送WAL日志,让备库知道它需要接收并应用这些日志。整个过程可以粗略分成几步,每一步都有其考量。

解决方案

配置和建立PostgreSQL流复制数据源,通常涉及主库的准备、基础备份的创建以及备库的配置启动。

1. 主库(Primary)配置

首先,我们需要调整主库的一些参数,使其能够支持流复制。这主要在

postgresql.conf

pg_hba.conf

文件中进行。

修改

postgresql.conf

wal_level = replica

:这是最基础的,它告诉PostgreSQL生成足够的WAL信息以支持流复制。在旧版本中可能是

hot_standby

logical

,但

replica

是当前推荐的。

max_wal_senders = 10

:这个参数定义了主库最多可以同时支持多少个备库连接来传输WAL。根据你的需求和备库数量设置一个合理的值,比如5-10个通常足够。

wal_keep_size = 5GB

:这决定了主库在

pg_wal

目录下保留多少WAL文件,以供备库在需要时拉取。如果备库因为网络或其他原因短暂掉线,这些保留的WAL文件可以帮助它追赶进度。这个值需要根据你的WAL生成速度和备库的掉线容忍度来估算,太大浪费空间,太小容易导致备库无法追赶。

listen_addresses = '*'

: 确保主库监听所有网络接口,这样备库才能连接上来。或者指定具体的IP地址。

hot_standby = on

: 虽然这个参数主要在备库上起作用,但为了完整性,有时在主库上也会提及,不过它对主库本身的功能影响不大。

# postgresql.conf (Primary)wal_level = replicamax_wal_senders = 10wal_keep_size = 5GB # 或者根据实际情况调整listen_addresses = '*'

修改

pg_hba.conf

添加一行允许备库连接到主库进行复制的规则。这通常是针对

replication

数据库用户。例如,如果你的备库IP是

192.168.1.100

,且你打算使用一个名为

repl_user

的用户进行复制:

# pg_hba.conf (Primary)host    replication     repl_user       192.168.1.100/32        md5

请确保

repl_user

在主库中已创建,并且拥有

replication

权限。

重启主库:所有配置更改后,需要重启PostgreSQL服务以使之生效。

2. 创建基础备份(Base Backup)

在主库配置完成后,我们需要从主库创建一个完整的数据备份,作为备库的起点。这个过程通常使用

pg_basebackup

工具来完成。

在备库机器上执行:选择一个空目录作为备库的数据目录,然后运行

pg_basebackup

命令。

# 假设备库数据目录是 /var/lib/postgresql/14/main_standby# -h: 主库地址# -p: 主库端口# -U: 复制用户# -D: 备库数据目录# -Fp: plain格式,非tar# -Xs: streaming模式,复制WAL日志# -R: 自动生成 recovery.conf (或 standby.signal 和 postgresql.auto.conf)pg_basebackup -h  -p 5432 -U repl_user -D /var/lib/postgresql/14/main_standby -Fp -Xs -R

执行此命令时,会提示输入

repl_user

的密码。成功后,备库数据目录下会包含主库的完整数据,以及一个

standby.signal

文件(PostgreSQL 12及更高版本)或

recovery.conf

文件(旧版本),用于指示备库启动时进入恢复模式。

3. 备库(Standby)配置与启动

修改

postgresql.conf

(备库):

hot_standby = on

:如果希望备库在复制的同时,也能接受只读查询,这个参数必须打开。

primary_conninfo = 'host= port=5432 user=repl_user password='

:这个连接字符串告诉备库如何连接到主库。

restore_command = 'cp /path/to/archive/%f %p'

:如果你同时启用了WAL归档,并且希望备库在流复制中断时能从归档中恢复,就需要配置这个。但对于纯流复制,通常不是必需的。

# postgresql.conf (Standby)hot_standby = on# primary_conninfo 通常由 pg_basebackup -R 自动生成在 postgresql.auto.conf 中,# 但你也可以手动添加或修改。# primary_conninfo = 'host= port=5432 user=repl_user password='

请注意,

pg_basebackup -R

选项会自动在备库数据目录下的

postgresql.auto.conf

文件中生成

primary_conninfo

,通常无需手动设置。

1.1.8PbootCMS 1.1.8PbootCMS

PbootCMS是一款高效、简洁、强悍的开源PHP企业网站开发建设管理系统。PbootCMS 1.1.8 更新日志:2018-08-071.修复提交表单多选字段接收数据问题;2.修复登录过程中二次登陆在页面不刷新时验证失败问题;3.新增搜索结果fuzzy参数来控制是否模糊匹配;4.新增父分类,顶级分类名称及链接独立标签,具体见手册;5.新增内容多图拖动排序功能。

1.1.8PbootCMS 243 查看详情 1.1.8PbootCMS

启动备库:启动备库的PostgreSQL服务。它会自动读取

standby.signal

recovery.conf

,并尝试连接主库进行WAL日志的同步和应用。

systemctl start postgresql-14 # 或你的PostgreSQL服务名

流复制的核心原理是什么?为什么我们需要它?

这事儿听起来简单,但背后的原理其实挺精妙的。WAL日志,你可以理解为数据库的所有变更记录,它保证了数据的一致性和持久性。PostgreSQL在任何数据写入磁盘之前,都会先将这些变更写入到WAL日志中。流复制,就是把这些日志实时地从主库“快递”到备库,备库再按顺序“播放”这些变更,将其应用到自己的数据文件中。这个过程是物理级别的复制,效率很高。

至于为什么我们需要它,除了显而易见的数据安全,还有几个关键点:

高可用性(High Availability):这是最主要的驱动力。如果主库突然挂了,备库可以迅速地被提升为新的主库,大大减少了业务中断的时间。这就像给你的核心业务数据买了一份实时保险。读扩展(Read Scaling):当你的应用读请求远超写请求时,可以将部分只读查询分流到备库上执行,从而减轻主库的压力,提高整体系统的吞吐量。不过,这需要应用程序层面的支持,能区分读写请求。灾难恢复(Disaster Recovery):如果整个数据中心发生灾难,只要你的备库位于不同的地理位置,就能提供快速的恢复能力。数据分析/报告:有时,我们会在备库上运行一些耗时的数据分析或报告生成任务,避免这些任务影响主库的性能。

对我来说,流复制不仅仅是一个技术配置,它更是一种风险管理策略。尤其是在生产环境中,没有流复制的数据库,就像走钢丝没有安全网,心里总是不踏实。

配置流复制时,有哪些常见的“坑”和注意事项?

我个人觉得,流复制最容易出问题的地方往往不是配置本身,而是对细节的忽略和环境的差异。比如网络延迟,有时能把人折腾疯。还有WAL日志的管理,这绝对是个重灾区。

网络连接与防火墙:这是最基础也最容易被忽视的问题。主备库之间必须能够互相访问,特别是主库的5432端口。防火墙规则(如

ufw

firewalld

)一定要正确配置,允许复制用户从备库IP连接。我遇到过几次,就是因为防火墙没开通,排查了半天才发现。

wal_keep_size

的设置:这个参数非常关键。如果备库因为网络波动、机器重启等原因暂时掉线,它会尝试从主库拉取缺失的WAL文件。如果主库因为

wal_keep_size

设置太小,已经清除了备库需要的WAL文件,那么备库就无法追赶,只能重新做一次基础备份。这是一个很常见的“坑”。所以,

wal_keep_size

要结合你的WAL生成速度和备库的掉线容忍度来设置,或者配合WAL归档(

archive_mode

)使用,让备库可以从归档中获取历史WAL。

pg_hba.conf

权限问题:复制用户必须有正确的权限,并且在

pg_hba.conf

中有对应的

replication

规则。如果这里配置错了,备库根本连不上主库。用户权限与密码:复制用户(如

repl_user

)必须在主库上创建,并拥有

replication

权限。密码也要确保正确,并且在

primary_conninfo

中配置无误。磁盘空间:备库需要和主库一样甚至更多的磁盘空间来存储数据和WAL日志。如果备库磁盘满了,复制就会停止。PostgreSQL版本一致性:强烈建议主备库使用完全相同的PostgreSQL版本,包括小版本号。虽然有时大版本之间在一定条件下也能复制,但为了避免不必要的兼容性问题,最好保持一致。时区与系统时间:主备库的系统时间最好同步,并使用相同的时区设置,这有助于日志分析和事件关联。故障切换(Failover):很多人只关注了如何搭建流复制,却忽略了当主库真正挂掉时,如何安全、有效地将备库提升为主库。这需要一套成熟的故障切换策略和工具(如

pg_auto_failover

,

Patroni

等),以及应用程序如何感知新的主库地址。单纯的手动提升备库为主库,操作不当可能会导致数据丢失或脑裂。

如何验证流复制是否正常工作,以及故障排查的初步思路?

配置完流复制,别以为就万事大吉了。最关键的是要确认它真的在工作,而且是健康地工作。我见过太多次,配置好了,但一检查发现备库早就掉队了,或者干脆就没连上。所以,定期的检查和一套初步的排查思路是必不可少的。

验证流复制状态:

在主库上检查

pg_stat_replication

视图:这是最直接的检查方式。连接到主库,执行:

SELECT client_addr, state, sync_state, sync_priority, replay_lag, write_lag, flush_lag FROM pg_stat_replication;
client_addr

:应该显示备库的IP地址。

state

:应该是

streaming

,表示正在实时传输WAL。

sync_state

:如果是同步复制,会显示

sync

;如果是异步复制,则显示

async

replay_lag

:这个非常重要,表示备库落后主库多少时间。理想情况下应该非常小,接近0。如果持续增大,说明备库跟不上了。

在备库上检查

pg_is_in_recovery()

连接到备库,执行:

SELECT pg_is_in_recovery();

如果返回

t

(true),说明备库正在恢复模式,即正在进行流复制。如果返回

f

,说明它已经脱离恢复模式,可能已经提升为主库,或者复制失败。

检查数据库日志文件:主备库的PostgreSQL日志文件(通常在数据目录的

log

文件夹下)会记录复制相关的事件和错误信息。查看这些日志是排查问题的第一步。例如,主库日志会记录备库的连接信息,备库日志会记录它尝试连接主库和应用WAL的情况。

写入测试数据并验证:如果备库设置为

hot_standby = on

,你可以在主库上插入一条数据,然后在备库上立即查询,看是否能查到。这是最直观的验证方法。

故障排查的初步思路:

当发现流复制不正常时,可以按照以下步骤进行排查:

网络连通性检查:首先确认主备库之间网络是否畅通。从备库

ping

主库IP,或者用

telnet  5432

检查端口是否开放。防火墙问题往往在这里暴露。

主库

pg_hba.conf

和用户权限:检查主库的

pg_hba.conf

是否允许备库IP的

replication

用户连接。同时确认

repl_user

是否存在且密码正确。

主库

postgresql.conf

参数:确认

wal_level = replica

max_wal_senders

是否配置正确,并且主库已重启生效。

备库日志文件:仔细查看备库的PostgreSQL日志。它通常会告诉你为什么连接不上主库,或者为什么无法应用WAL。常见的错误信息包括“could not connect to server”、“FATAL: password authentication failed”、“WAL segment xxx not found”等。

wal_keep_size

或 WAL归档问题:如果备库日志显示“WAL segment xxx not found”,这通常意味着备库落后太多,主库已经清理了它需要的WAL文件。这时候你可能需要:

增大主库的

wal_keep_size

。如果启用了WAL归档,检查归档是否正常工作,以及备库的

restore_command

是否正确。最坏的情况,可能需要重新做一次基础备份。

备库磁盘空间:检查备库的数据目录所在分区是否有足够的空间。磁盘满会导致WAL无法写入,复制中断。

primary_conninfo

检查:确认备库的

postgresql.auto.conf

postgresql.conf

中的

primary_conninfo

连接字符串是否正确,包括主库IP、端口、用户和密码。

排查问题就像侦探破案,需要耐心和细致。从最基础的网络和权限开始,逐步深入到配置参数和日志分析,通常都能找到症结所在。

以上就是PostgreSQL流复制数据源配置_PostgreSQL流复制数据源建立的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1059291.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月2日 10:26:02
下一篇 2025年12月2日 10:26:24

相关推荐

  • CSS mask属性无法获取图片:为什么我的图片不见了?

    CSS mask属性无法获取图片 在使用CSS mask属性时,可能会遇到无法获取指定照片的情况。这个问题通常表现为: 网络面板中没有请求图片:尽管CSS代码中指定了图片地址,但网络面板中却找不到图片的请求记录。 问题原因: 此问题的可能原因是浏览器的兼容性问题。某些较旧版本的浏览器可能不支持CSS…

    2025年12月24日
    900
  • Uniapp 中如何不拉伸不裁剪地展示图片?

    灵活展示图片:如何不拉伸不裁剪 在界面设计中,常常需要以原尺寸展示用户上传的图片。本文将介绍一种在 uniapp 框架中实现该功能的简单方法。 对于不同尺寸的图片,可以采用以下处理方式: 极端宽高比:撑满屏幕宽度或高度,再等比缩放居中。非极端宽高比:居中显示,若能撑满则撑满。 然而,如果需要不拉伸不…

    2025年12月24日
    400
  • 如何让小说网站控制台显示乱码,同时网页内容正常显示?

    如何在不影响用户界面的情况下实现控制台乱码? 当在小说网站上下载小说时,大家可能会遇到一个问题:网站上的文本在网页内正常显示,但是在控制台中却是乱码。如何实现此类操作,从而在不影响用户界面(UI)的情况下保持控制台乱码呢? 答案在于使用自定义字体。网站可以通过在服务器端配置自定义字体,并通过在客户端…

    2025年12月24日
    800
  • 如何在地图上轻松创建气泡信息框?

    地图上气泡信息框的巧妙生成 地图上气泡信息框是一种常用的交互功能,它简便易用,能够为用户提供额外信息。本文将探讨如何借助地图库的功能轻松创建这一功能。 利用地图库的原生功能 大多数地图库,如高德地图,都提供了现成的信息窗体和右键菜单功能。这些功能可以通过以下途径实现: 高德地图 JS API 参考文…

    2025年12月24日
    400
  • 如何使用 scroll-behavior 属性实现元素scrollLeft变化时的平滑动画?

    如何实现元素scrollleft变化时的平滑动画效果? 在许多网页应用中,滚动容器的水平滚动条(scrollleft)需要频繁使用。为了让滚动动作更加自然,你希望给scrollleft的变化添加动画效果。 解决方案:scroll-behavior 属性 要实现scrollleft变化时的平滑动画效果…

    2025年12月24日
    000
  • 如何为滚动元素添加平滑过渡,使滚动条滑动时更自然流畅?

    给滚动元素平滑过渡 如何在滚动条属性(scrollleft)发生改变时为元素添加平滑的过渡效果? 解决方案:scroll-behavior 属性 为滚动容器设置 scroll-behavior 属性可以实现平滑滚动。 html 代码: click the button to slide right!…

    2025年12月24日
    500
  • 为什么设置 `overflow: hidden` 会导致 `inline-block` 元素错位?

    overflow 导致 inline-block 元素错位解析 当多个 inline-block 元素并列排列时,可能会出现错位显示的问题。这通常是由于其中一个元素设置了 overflow 属性引起的。 问题现象 在不设置 overflow 属性时,元素按预期显示在同一水平线上: 不设置 overf…

    2025年12月24日 好文分享
    400
  • 网页使用本地字体:为什么 CSS 代码中明明指定了“荆南麦圆体”,页面却仍然显示“微软雅黑”?

    网页中使用本地字体 本文将解答如何将本地安装字体应用到网页中,避免使用 src 属性直接引入字体文件。 问题: 想要在网页上使用已安装的“荆南麦圆体”字体,但 css 代码中将其置于第一位的“font-family”属性,页面仍显示“微软雅黑”字体。 立即学习“前端免费学习笔记(深入)”; 答案: …

    2025年12月24日
    000
  • 如何选择元素个数不固定的指定类名子元素?

    灵活选择元素个数不固定的指定类名子元素 在网页布局中,有时需要选择特定类名的子元素,但这些元素的数量并不固定。例如,下面这段 html 代码中,activebar 和 item 元素的数量均不固定: *n *n 如果需要选择第一个 item元素,可以使用 css 选择器 :nth-child()。该…

    2025年12月24日
    200
  • 使用 SVG 如何实现自定义宽度、间距和半径的虚线边框?

    使用 svg 实现自定义虚线边框 如何实现一个具有自定义宽度、间距和半径的虚线边框是一个常见的前端开发问题。传统的解决方案通常涉及使用 border-image 引入切片图片,但是这种方法存在引入外部资源、性能低下的缺点。 为了避免上述问题,可以使用 svg(可缩放矢量图形)来创建纯代码实现。一种方…

    2025年12月24日
    100
  • 如何让“元素跟随文本高度,而不是撑高父容器?

    如何让 元素跟随文本高度,而不是撑高父容器 在页面布局中,经常遇到父容器高度被子元素撑开的问题。在图例所示的案例中,父容器被较高的图片撑开,而文本的高度没有被考虑。本问答将提供纯css解决方案,让图片跟随文本高度,确保父容器的高度不会被图片影响。 解决方法 为了解决这个问题,需要将图片从文档流中脱离…

    2025年12月24日
    000
  • 为什么我的特定 DIV 在 Edge 浏览器中无法显示?

    特定 DIV 无法显示:用户代理样式表的困扰 当你在 Edge 浏览器中打开项目中的某个 div 时,却发现它无法正常显示,仔细检查样式后,发现是由用户代理样式表中的 display none 引起的。但你疑问的是,为什么会出现这样的样式表,而且只针对特定的 div? 背后的原因 用户代理样式表是由…

    2025年12月24日
    200
  • inline-block元素错位了,是为什么?

    inline-block元素错位背后的原因 inline-block元素是一种特殊类型的块级元素,它可以与其他元素行内排列。但是,在某些情况下,inline-block元素可能会出现错位显示的问题。 错位的原因 当inline-block元素设置了overflow:hidden属性时,它会影响元素的…

    2025年12月24日
    000
  • 为什么 CSS mask 属性未请求指定图片?

    解决 css mask 属性未请求图片的问题 在使用 css mask 属性时,指定了图片地址,但网络面板显示未请求获取该图片,这可能是由于浏览器兼容性问题造成的。 问题 如下代码所示: 立即学习“前端免费学习笔记(深入)”; icon [data-icon=”cloud”] { –icon-cl…

    2025年12月24日
    200
  • 为什么使用 inline-block 元素时会错位?

    inline-block 元素错位成因剖析 在使用 inline-block 元素时,可能会遇到它们错位显示的问题。如代码 demo 所示,当设置了 overflow 属性时,a 标签就会错位下沉,而未设置时却不会。 问题根源: overflow:hidden 属性影响了 inline-block …

    2025年12月24日
    000
  • 如何利用 CSS 选中激活标签并影响相邻元素的样式?

    如何利用 css 选中激活标签并影响相邻元素? 为了实现激活标签影响相邻元素的样式需求,可以通过 :has 选择器来实现。以下是如何具体操作: 对于激活标签相邻后的元素,可以在 css 中使用以下代码进行设置: li:has(+li.active) { border-radius: 0 0 10px…

    2025年12月24日
    100
  • 为什么我的 CSS 元素放大效果无法正常生效?

    css 设置元素放大效果的疑问解答 原提问者在尝试给元素添加 10em 字体大小和过渡效果后,未能在进入页面时看到放大效果。探究发现,原提问者将 CSS 代码直接写在页面中,导致放大效果无法触发。 解决办法如下: 将 CSS 样式写在一个单独的文件中,并使用 标签引入该样式文件。这个操作与原提问者观…

    2025年12月24日
    000
  • 如何模拟Windows 10 设置界面中的鼠标悬浮放大效果?

    win10设置界面的鼠标移动显示周边的样式(探照灯效果)的实现方式 在windows设置界面的鼠标悬浮效果中,光标周围会显示一个放大区域。在前端开发中,可以通过多种方式实现类似的效果。 使用css 使用css的transform和box-shadow属性。通过将transform: scale(1.…

    2025年12月24日
    200
  • 为什么我的 em 和 transition 设置后元素没有放大?

    元素设置 em 和 transition 后不放大 一个 youtube 视频中展示了设置 em 和 transition 的元素在页面加载后会放大,但同样的代码在提问者电脑上没有达到预期效果。 可能原因: 问题在于 css 代码的位置。在视频中,css 被放置在单独的文件中并通过 link 标签引…

    2025年12月24日
    100
  • 为什么我的 Safari 自定义样式表在百度页面上失效了?

    为什么在 Safari 中自定义样式表未能正常工作? 在 Safari 的偏好设置中设置自定义样式表后,您对其进行测试却发现效果不同。在您自己的网页中,样式有效,而在百度页面中却失效。 造成这种情况的原因是,第一个访问的项目使用了文件协议,可以访问本地目录中的图片文件。而第二个访问的百度使用了 ht…

    2025年12月24日
    000

发表回复

登录后才能评论
关注微信