【最佳实践】解决 Elasticsearch 8.x 滚动升级失败的问题

本文描述问题及%ignore_a_1%同样适用于 php中文网 elasticsearch service(es)。

环境配置

Elasticsearch 当前版本:8.8.1Elasticsearch 目标升级版本:8.13.1升级方式:滚动升级(Rolling Upgrade)

背景

在 AI 大模型席卷全球的今天,向量检索(Vector Search)已经成为现代搜索引擎的核心能力。无论是智能问答、图像搜索、推荐系统,还是 RAG(检索增强生成)应用,都离不开高效的向量相似度计算。而 Elasticsearch 8.x 正是在这个时代背景下,将向量检索能力推向了新的高度。

为什么选择 Elasticsearch 8.x?

2023 年以来,随着 ChatGPT 等大语言模型的爆火,企业对向量检索的需求呈指数级增长。Elasticsearch 从 8.0 版本开始,就将 dense_vector(密集向量) 和 kNN 搜索作为核心特性进行了大幅优化:

引入原生 kNN 搜索:支持 HNSW(Hierarchical Navigable Small World)算法Byte 向量支持:相比 float 向量,存储空间减少 75%,检索速度提升 2-4 倍向量量化优化:支持标量量化(Scalar Quantization),在精度损失可控的情况下大幅提升性能混合检索增强:kNN 与传统全文检索的融合更加丝滑,支持更复杂的业务场景更好的索引性能:向量索引构建速度提升,支持更大规模的向量数据···

升级的契机

存储成本高昂:数千万条 768 维的 float 向量,存储空间占用惊人检索延迟上升:随着数据量增长,P99 延迟已经超过了业务可接受范围混合检索效果不佳:业务既需要语义检索,又需要关键词精确匹配,两者的融合不够优雅

而 Elasticsearch 8.13.1 的新特性恰好能解决这些问题:

Byte 向量可以将存储成本降低到原来的 1/4量化优化能显著提升检索速度增强的混合检索让我们能更好地平衡语义理解和精确匹配

于是,业务决定从 8.8.1 升级到 8.13.1。

升级之路的意外

Elasticsearch 官方文档明确表示,8.x 系列支持滚动升级(Rolling Upgrade) [官方文档],然而,当我们信心满满地开始升级第一个节点时,却遭遇了一个意想不到的错误:

同样的版本号,不同的构建哈希,导致节点无法加入集群。

这个问题让我们陷入了困境:难道无法滚动升级?难道必须停机才能升级?经过一番深入的源码分析和问题排查,我们终于找到了问题的根源和解决方案。

接下来,让我们一起深入探讨这个问题的本质,以及如何优雅地解决它。

问题现象

在进行 Elasticsearch 集群滚动升级过程中,新节点启动后无法正常加入集群,日志中出现以下错误信息:

[2024-10-29T10:23:45,123][WARN ][o.e.t.ClusterConnectionManager] [es-node-02] failed to connect to node [{es-node-01}{...}{8.8.1}]org.elasticsearch.transport.ConnectTransportException: [es-node-01][10.0.1.10:9300] handshake failed. unexpected remote node [es-node-01]at org.elasticsearch.transport.TransportService.lambda$connectionValidator$6(TransportService.java:567)...Caused by: org.elasticsearch.transport.TransportSerializationException: Failed to deserialize response from handler [ContextRestoreResponseHandler[...]]at org.elasticsearch.transport.InboundHandler.doHandleResponse(InboundHandler.java:423)...Caused by: java.lang.IllegalArgumentException: remote node [{es-node-01}{...}{8.8.1}] is build [a23c735933a8b1c0c3d0873c8ab96349e5101e5e] of version [8.8.1] but this node is build [6db6a780efb93cf7238a877094bd825d9b8b5fe0] of version [8.13.1] which has an incompatible wire formatat org.elasticsearch.transport.TransportService$HandshakeResponse.throwOnIncompatibleBuild(TransportService.java:712)at org.elasticsearch.transport.TransportService$HandshakeResponse.maybeThrowOnIncompatibleBuild(TransportService.java:697)at org.elasticsearch.transport.TransportService$HandshakeResponse.(TransportService.java:691)...

关键信息:

旧节点(8.8.1)构建哈希:a23c735933a8b1c0c3d0873c8ab96349e5101e5e新节点(8.13.1)构建哈希:6db6a780efb93cf7238a877094bd825d9b8b5fe0错误提示:incompatible wire format(不兼容的线路格式)

问题分析

为什么会出现这个问题?

这是 Elasticsearch 8.x 版本中引入的一个严格兼容性检查机制。查看 TransportService.java 源码可以发现问题根源:

public static class HandshakeResponse extends TransportResponse {// ...public HandshakeResponse(StreamInput in) throws IOException {    super(in);    version = Version.readVersion(in);    buildHash = in.readString();        try {        discoveryNode = new DiscoveryNode(in);    } catch (Exception e) {        maybeThrowOnIncompatibleBuild(null, e);        throw e;    }    maybeThrowOnIncompatibleBuild(discoveryNode, null);    clusterName = new ClusterName(in);}private void maybeThrowOnIncompatibleBuild(@Nullable DiscoveryNode node, @Nullable Exception e) {    if (DiscoveryNode.isServerless() == false && isIncompatibleBuild(version, buildHash)) {        throwOnIncompatibleBuild(node, e);    }}private static boolean isIncompatibleBuild(Version version, String buildHash) {    // 关键逻辑:当版本号相同但构建哈希不同时,认为不兼容    return version == Version.CURRENT && Build.CURRENT.hash().equals(buildHash) == false;}}

问题的本质

在滚动升级过程中:

旧节点(8.8.1)的 Version.CURRENT8.8.1,构建哈希是 a23c735...新节点(8.13.1)的 Version.CURRENT8.13.1,构建哈希是 6db6a78...当新节点尝试与旧节点握手时,会读取旧节点的版本信息由于 isIncompatibleBuild() 方法的判断逻辑,在某些情况下会误判为不兼容

这个问题在 Elasticsearch 8.x 的跨小版本升级中较为常见,特别是:

8.8.x → 8.13.x8.10.x → 8.15.x8.x → 8.16.x

解决方案

使用 Serverless Transport 模式,这是最快速、最适合升级场景的解决方案。通过设置系统属性跳过严格的构建哈希检查。

实施步骤

步骤 1:在升级前的所有节点上配置参数

编辑 config/jvm.options 文件,添加以下参数:

# 跳过构建哈希严格检查(用于滚动升级)-Des.serverless_transport=true

步骤 2:重启所有现有节点(8.8.1)

逐个重启节点,确保集群状态为 green:

maya.ai maya.ai

一个基于AI的个性化互动和数据分析平台

maya.ai 313 查看详情 maya.ai

systemctl restart elasticsearch

验证节点状态:

curl -X GET "localhost:9200/_cat/nodes?v"curl -X GET "localhost:9200/_cluster/health?pretty"

步骤 3:执行滚动升级

1. 停止节点

systemctl stop elasticsearch

2. 升级到 8.13.1

下载并安装新版本wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.13.1-linux-x86_64.tar.gztar -xzf elasticsearch-8.13.1-linux-x86_64.tar.gz复制配置文件(确保 jvm.options 中包含 -Des.serverless_transport=true)cp /etc/elasticsearch/elasticsearch.yml /path/to/new/elasticsearch/config/cp /etc/elasticsearch/jvm.options /path/to/new/elasticsearch/config/

3. 启动升级后的节点

systemctl start elasticsearch

4. 等待节点加入集群并恢复

curl -X GET "localhost:9200/_cat/nodes?v"curl -X GET "localhost:9200/_cat/recovery?v"

5. 等待集群状态变为 green

watch -n 2 'curl -s "localhost:9200/_cluster/health?pretty"'

6. 对其他节点重复步骤 1-5

步骤 4:升级完成后移除参数(可选)

当所有节点都升级到 8.13.1 后,可以考虑移除该参数:

# 编辑 jvm.options,注释或删除该行-Des.serverless_transport=true# 逐个重启节点systemctl restart elasticsearch

验证升级成功

# 检查所有节点版本curl -X GET "localhost:9200/_cat/nodes?v&h=name,version,build"# 输出示例:name version buildes-node-01 8.13.1 6db6a78es-node-02 8.13.1 6db6a78es-node-03 8.13.1 6db6a78# 检查集群健康状态curl -X GET "localhost:9200/_cluster/health?pretty"

常见问题 FAQ

Q1: 设置 es.serverless_transport=true 有什么风险?

A: 这个参数会跳过构建哈希的严格检查,理论上存在以下风险:

不同构建版本的节点可能在序列化/反序列化时出现兼容性问题但在官方支持的版本升级路径中(如 8.8.1 → 8.13.1),这个风险极低建议升级完成后移除该参数

Q2: 能直接从 8.8.1 跨大版本升级到 9.x?

Elasticsearch 只支持相邻大版本之间的升级:

7.x → 8.x ✅8.x → 9.x ✅7.x → 9.x ❌(需要先升级到 8.x)

Q3: 升级过程中可以继续写入数据吗?

滚动升级:可以继续写入,但建议降低写入速率完全停机升级:不能写入数据

Q4: 云服务商的 ES 也会遇到这个问题吗?

PHP中文网、阿里云等云服务商通常会在后台处理这类兼容性问题如果使用云服务商的升级功能,一般不会遇到如果是自建 ES 迁移到云 ES,可能需要特殊处理

总结

Elasticsearch 8.x 的跨小版本升级中,构建哈希不兼容问题是一个已知的边界情况。解决这个问题的关键是:

滚动升级时使用 Serverless Transport 模式:通过 -Des.serverless_transport=true 跳过严格检查做好升级前准备:检查集群状态、创建快照、准备回滚方案升级后及时验证:确保所有节点版本一致、集群状态正常

希望本文能帮助遇到类似问题的同学顺利完成 Elasticsearch 升级。如有疑问,欢迎在评论区讨论。

参考资料

Elasticsearch 官方文档 – 滚动升级Elasticsearch 官方文档 – 完全停机升级Elasticsearch 源码 – TransportService.java

作者:岳涛

日期:2025-10-29

标签:Elasticsearch, 升级, 8.x, 故障排查, 构建哈希, 滚动升级

以上就是【最佳实践】解决 Elasticsearch 8.x 滚动升级失败的问题的详细内容,更多请关注php中文网其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/986027.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月1日 21:26:21
下一篇 2025年12月1日 21:26:43

相关推荐

  • Uniapp 中如何不拉伸不裁剪地展示图片?

    灵活展示图片:如何不拉伸不裁剪 在界面设计中,常常需要以原尺寸展示用户上传的图片。本文将介绍一种在 uniapp 框架中实现该功能的简单方法。 对于不同尺寸的图片,可以采用以下处理方式: 极端宽高比:撑满屏幕宽度或高度,再等比缩放居中。非极端宽高比:居中显示,若能撑满则撑满。 然而,如果需要不拉伸不…

    2025年12月24日
    400
  • 如何让小说网站控制台显示乱码,同时网页内容正常显示?

    如何在不影响用户界面的情况下实现控制台乱码? 当在小说网站上下载小说时,大家可能会遇到一个问题:网站上的文本在网页内正常显示,但是在控制台中却是乱码。如何实现此类操作,从而在不影响用户界面(UI)的情况下保持控制台乱码呢? 答案在于使用自定义字体。网站可以通过在服务器端配置自定义字体,并通过在客户端…

    2025年12月24日
    800
  • 如何在地图上轻松创建气泡信息框?

    地图上气泡信息框的巧妙生成 地图上气泡信息框是一种常用的交互功能,它简便易用,能够为用户提供额外信息。本文将探讨如何借助地图库的功能轻松创建这一功能。 利用地图库的原生功能 大多数地图库,如高德地图,都提供了现成的信息窗体和右键菜单功能。这些功能可以通过以下途径实现: 高德地图 JS API 参考文…

    2025年12月24日
    400
  • 如何使用 scroll-behavior 属性实现元素scrollLeft变化时的平滑动画?

    如何实现元素scrollleft变化时的平滑动画效果? 在许多网页应用中,滚动容器的水平滚动条(scrollleft)需要频繁使用。为了让滚动动作更加自然,你希望给scrollleft的变化添加动画效果。 解决方案:scroll-behavior 属性 要实现scrollleft变化时的平滑动画效果…

    2025年12月24日
    000
  • 如何为滚动元素添加平滑过渡,使滚动条滑动时更自然流畅?

    给滚动元素平滑过渡 如何在滚动条属性(scrollleft)发生改变时为元素添加平滑的过渡效果? 解决方案:scroll-behavior 属性 为滚动容器设置 scroll-behavior 属性可以实现平滑滚动。 html 代码: click the button to slide right!…

    2025年12月24日
    500
  • 如何选择元素个数不固定的指定类名子元素?

    灵活选择元素个数不固定的指定类名子元素 在网页布局中,有时需要选择特定类名的子元素,但这些元素的数量并不固定。例如,下面这段 html 代码中,activebar 和 item 元素的数量均不固定: *n *n 如果需要选择第一个 item元素,可以使用 css 选择器 :nth-child()。该…

    2025年12月24日
    200
  • 使用 SVG 如何实现自定义宽度、间距和半径的虚线边框?

    使用 svg 实现自定义虚线边框 如何实现一个具有自定义宽度、间距和半径的虚线边框是一个常见的前端开发问题。传统的解决方案通常涉及使用 border-image 引入切片图片,但是这种方法存在引入外部资源、性能低下的缺点。 为了避免上述问题,可以使用 svg(可缩放矢量图形)来创建纯代码实现。一种方…

    2025年12月24日
    100
  • 如何让“元素跟随文本高度,而不是撑高父容器?

    如何让 元素跟随文本高度,而不是撑高父容器 在页面布局中,经常遇到父容器高度被子元素撑开的问题。在图例所示的案例中,父容器被较高的图片撑开,而文本的高度没有被考虑。本问答将提供纯css解决方案,让图片跟随文本高度,确保父容器的高度不会被图片影响。 解决方法 为了解决这个问题,需要将图片从文档流中脱离…

    2025年12月24日
    000
  • 为什么 CSS mask 属性未请求指定图片?

    解决 css mask 属性未请求图片的问题 在使用 css mask 属性时,指定了图片地址,但网络面板显示未请求获取该图片,这可能是由于浏览器兼容性问题造成的。 问题 如下代码所示: 立即学习“前端免费学习笔记(深入)”; icon [data-icon=”cloud”] { –icon-cl…

    2025年12月24日
    200
  • 如何利用 CSS 选中激活标签并影响相邻元素的样式?

    如何利用 css 选中激活标签并影响相邻元素? 为了实现激活标签影响相邻元素的样式需求,可以通过 :has 选择器来实现。以下是如何具体操作: 对于激活标签相邻后的元素,可以在 css 中使用以下代码进行设置: li:has(+li.active) { border-radius: 0 0 10px…

    2025年12月24日
    100
  • 如何模拟Windows 10 设置界面中的鼠标悬浮放大效果?

    win10设置界面的鼠标移动显示周边的样式(探照灯效果)的实现方式 在windows设置界面的鼠标悬浮效果中,光标周围会显示一个放大区域。在前端开发中,可以通过多种方式实现类似的效果。 使用css 使用css的transform和box-shadow属性。通过将transform: scale(1.…

    2025年12月24日
    200
  • 为什么我的 Safari 自定义样式表在百度页面上失效了?

    为什么在 Safari 中自定义样式表未能正常工作? 在 Safari 的偏好设置中设置自定义样式表后,您对其进行测试却发现效果不同。在您自己的网页中,样式有效,而在百度页面中却失效。 造成这种情况的原因是,第一个访问的项目使用了文件协议,可以访问本地目录中的图片文件。而第二个访问的百度使用了 ht…

    2025年12月24日
    000
  • 如何用前端实现 Windows 10 设置界面的鼠标移动探照灯效果?

    如何在前端实现 Windows 10 设置界面中的鼠标移动探照灯效果 想要在前端开发中实现 Windows 10 设置界面中类似的鼠标移动探照灯效果,可以通过以下途径: CSS 解决方案 DEMO 1: Windows 10 网格悬停效果:https://codepen.io/tr4553r7/pe…

    2025年12月24日
    000
  • 使用CSS mask属性指定图片URL时,为什么浏览器无法加载图片?

    css mask属性未能加载图片的解决方法 使用css mask属性指定图片url时,如示例中所示: mask: url(“https://api.iconify.design/mdi:apple-icloud.svg”) center / contain no-repeat; 但是,在网络面板中却…

    2025年12月24日
    000
  • 如何用CSS Paint API为网页元素添加时尚的斑马线边框?

    为元素添加时尚的斑马线边框 在网页设计中,有时我们需要添加时尚的边框来提升元素的视觉效果。其中,斑马线边框是一种既醒目又别致的设计元素。 实现斜向斑马线边框 要实现斜向斑马线间隔圆环,我们可以使用css paint api。该api提供了强大的功能,可以让我们在元素上绘制复杂的图形。 立即学习“前端…

    2025年12月24日
    000
  • 图片如何不撑高父容器?

    如何让图片不撑高父容器? 当父容器包含不同高度的子元素时,父容器的高度通常会被最高元素撑开。如果你希望父容器的高度由文本内容撑开,避免图片对其产生影响,可以通过以下 css 解决方法: 绝对定位元素: .child-image { position: absolute; top: 0; left: …

    2025年12月24日
    000
  • CSS 帮助

    我正在尝试将文本附加到棕色框的左侧。我不能。我不知道代码有什么问题。请帮助我。 css .hero { position: relative; bottom: 80px; display: flex; justify-content: left; align-items: start; color:…

    2025年12月24日 好文分享
    200
  • 前端代码辅助工具:如何选择最可靠的AI工具?

    前端代码辅助工具:可靠性探讨 对于前端工程师来说,在HTML、CSS和JavaScript开发中借助AI工具是司空见惯的事情。然而,并非所有工具都能提供同等的可靠性。 个性化需求 关于哪个AI工具最可靠,这个问题没有一刀切的答案。每个人的使用习惯和项目需求各不相同。以下是一些影响选择的重要因素: 立…

    2025年12月24日
    000
  • 如何用 CSS Paint API 实现倾斜的斑马线间隔圆环?

    实现斑马线边框样式:探究 css paint api 本文将探究如何使用 css paint api 实现倾斜的斑马线间隔圆环。 问题: 给定一个有多个圆圈组成的斑马线图案,如何使用 css 实现倾斜的斑马线间隔圆环? 答案: 立即学习“前端免费学习笔记(深入)”; 使用 css paint api…

    2025年12月24日
    000
  • 如何使用CSS Paint API实现倾斜斑马线间隔圆环边框?

    css实现斑马线边框样式 想定制一个带有倾斜斑马线间隔圆环的边框?现在使用css paint api,定制任何样式都轻而易举。 css paint api 这是一个新的css特性,允许开发人员创建自定义形状和图案,其中包括斑马线样式。 立即学习“前端免费学习笔记(深入)”; 实现倾斜斑马线间隔圆环 …

    2025年12月24日
    100

发表回复

登录后才能评论
关注微信