【最佳实践】解决 Elasticsearch 8.x 滚动升级失败的问题

本文描述问题及%ignore_a_1%同样适用于 php中文网 elasticsearch service(es)。

环境配置

Elasticsearch 当前版本:8.8.1Elasticsearch 目标升级版本:8.13.1升级方式:滚动升级(Rolling Upgrade)

背景

在 AI 大模型席卷全球的今天,向量检索(Vector Search)已经成为现代搜索引擎的核心能力。无论是智能问答、图像搜索、推荐系统,还是 RAG(检索增强生成)应用,都离不开高效的向量相似度计算。而 Elasticsearch 8.x 正是在这个时代背景下,将向量检索能力推向了新的高度。

为什么选择 Elasticsearch 8.x?

2023 年以来,随着 ChatGPT 等大语言模型的爆火,企业对向量检索的需求呈指数级增长。Elasticsearch 从 8.0 版本开始,就将 dense_vector(密集向量) 和 kNN 搜索作为核心特性进行了大幅优化:

引入原生 kNN 搜索:支持 HNSW(Hierarchical Navigable Small World)算法Byte 向量支持:相比 float 向量,存储空间减少 75%,检索速度提升 2-4 倍向量量化优化:支持标量量化(Scalar Quantization),在精度损失可控的情况下大幅提升性能混合检索增强:kNN 与传统全文检索的融合更加丝滑,支持更复杂的业务场景更好的索引性能:向量索引构建速度提升,支持更大规模的向量数据···

升级的契机

存储成本高昂:数千万条 768 维的 float 向量,存储空间占用惊人检索延迟上升:随着数据量增长,P99 延迟已经超过了业务可接受范围混合检索效果不佳:业务既需要语义检索,又需要关键词精确匹配,两者的融合不够优雅

而 Elasticsearch 8.13.1 的新特性恰好能解决这些问题:

Byte 向量可以将存储成本降低到原来的 1/4量化优化能显著提升检索速度增强的混合检索让我们能更好地平衡语义理解和精确匹配

于是,业务决定从 8.8.1 升级到 8.13.1。

升级之路的意外

Elasticsearch 官方文档明确表示,8.x 系列支持滚动升级(Rolling Upgrade) [官方文档],然而,当我们信心满满地开始升级第一个节点时,却遭遇了一个意想不到的错误:

同样的版本号,不同的构建哈希,导致节点无法加入集群。

这个问题让我们陷入了困境:难道无法滚动升级?难道必须停机才能升级?经过一番深入的源码分析和问题排查,我们终于找到了问题的根源和解决方案。

接下来,让我们一起深入探讨这个问题的本质,以及如何优雅地解决它。

问题现象

在进行 Elasticsearch 集群滚动升级过程中,新节点启动后无法正常加入集群,日志中出现以下错误信息:

[2024-10-29T10:23:45,123][WARN ][o.e.t.ClusterConnectionManager] [es-node-02] failed to connect to node [{es-node-01}{...}{8.8.1}]org.elasticsearch.transport.ConnectTransportException: [es-node-01][10.0.1.10:9300] handshake failed. unexpected remote node [es-node-01]at org.elasticsearch.transport.TransportService.lambda$connectionValidator$6(TransportService.java:567)...Caused by: org.elasticsearch.transport.TransportSerializationException: Failed to deserialize response from handler [ContextRestoreResponseHandler[...]]at org.elasticsearch.transport.InboundHandler.doHandleResponse(InboundHandler.java:423)...Caused by: java.lang.IllegalArgumentException: remote node [{es-node-01}{...}{8.8.1}] is build [a23c735933a8b1c0c3d0873c8ab96349e5101e5e] of version [8.8.1] but this node is build [6db6a780efb93cf7238a877094bd825d9b8b5fe0] of version [8.13.1] which has an incompatible wire formatat org.elasticsearch.transport.TransportService$HandshakeResponse.throwOnIncompatibleBuild(TransportService.java:712)at org.elasticsearch.transport.TransportService$HandshakeResponse.maybeThrowOnIncompatibleBuild(TransportService.java:697)at org.elasticsearch.transport.TransportService$HandshakeResponse.(TransportService.java:691)...

关键信息:

旧节点(8.8.1)构建哈希:a23c735933a8b1c0c3d0873c8ab96349e5101e5e新节点(8.13.1)构建哈希:6db6a780efb93cf7238a877094bd825d9b8b5fe0错误提示:incompatible wire format(不兼容的线路格式)

问题分析

为什么会出现这个问题?

这是 Elasticsearch 8.x 版本中引入的一个严格兼容性检查机制。查看 TransportService.java 源码可以发现问题根源:

public static class HandshakeResponse extends TransportResponse {// ...public HandshakeResponse(StreamInput in) throws IOException {    super(in);    version = Version.readVersion(in);    buildHash = in.readString();        try {        discoveryNode = new DiscoveryNode(in);    } catch (Exception e) {        maybeThrowOnIncompatibleBuild(null, e);        throw e;    }    maybeThrowOnIncompatibleBuild(discoveryNode, null);    clusterName = new ClusterName(in);}private void maybeThrowOnIncompatibleBuild(@Nullable DiscoveryNode node, @Nullable Exception e) {    if (DiscoveryNode.isServerless() == false && isIncompatibleBuild(version, buildHash)) {        throwOnIncompatibleBuild(node, e);    }}private static boolean isIncompatibleBuild(Version version, String buildHash) {    // 关键逻辑:当版本号相同但构建哈希不同时,认为不兼容    return version == Version.CURRENT && Build.CURRENT.hash().equals(buildHash) == false;}}

问题的本质

在滚动升级过程中:

旧节点(8.8.1)的 Version.CURRENT8.8.1,构建哈希是 a23c735...新节点(8.13.1)的 Version.CURRENT8.13.1,构建哈希是 6db6a78...当新节点尝试与旧节点握手时,会读取旧节点的版本信息由于 isIncompatibleBuild() 方法的判断逻辑,在某些情况下会误判为不兼容

这个问题在 Elasticsearch 8.x 的跨小版本升级中较为常见,特别是:

8.8.x → 8.13.x8.10.x → 8.15.x8.x → 8.16.x

解决方案

使用 Serverless Transport 模式,这是最快速、最适合升级场景的解决方案。通过设置系统属性跳过严格的构建哈希检查。

实施步骤

步骤 1:在升级前的所有节点上配置参数

编辑 config/jvm.options 文件,添加以下参数:

# 跳过构建哈希严格检查(用于滚动升级)-Des.serverless_transport=true

步骤 2:重启所有现有节点(8.8.1)

逐个重启节点,确保集群状态为 green:

maya.ai maya.ai

一个基于AI的个性化互动和数据分析平台

maya.ai 313 查看详情 maya.ai

systemctl restart elasticsearch

验证节点状态:

curl -X GET "localhost:9200/_cat/nodes?v"curl -X GET "localhost:9200/_cluster/health?pretty"

步骤 3:执行滚动升级

1. 停止节点

systemctl stop elasticsearch

2. 升级到 8.13.1

下载并安装新版本wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.13.1-linux-x86_64.tar.gztar -xzf elasticsearch-8.13.1-linux-x86_64.tar.gz复制配置文件(确保 jvm.options 中包含 -Des.serverless_transport=true)cp /etc/elasticsearch/elasticsearch.yml /path/to/new/elasticsearch/config/cp /etc/elasticsearch/jvm.options /path/to/new/elasticsearch/config/

3. 启动升级后的节点

systemctl start elasticsearch

4. 等待节点加入集群并恢复

curl -X GET "localhost:9200/_cat/nodes?v"curl -X GET "localhost:9200/_cat/recovery?v"

5. 等待集群状态变为 green

watch -n 2 'curl -s "localhost:9200/_cluster/health?pretty"'

6. 对其他节点重复步骤 1-5

步骤 4:升级完成后移除参数(可选)

当所有节点都升级到 8.13.1 后,可以考虑移除该参数:

# 编辑 jvm.options,注释或删除该行-Des.serverless_transport=true# 逐个重启节点systemctl restart elasticsearch

验证升级成功

# 检查所有节点版本curl -X GET "localhost:9200/_cat/nodes?v&h=name,version,build"# 输出示例:name version buildes-node-01 8.13.1 6db6a78es-node-02 8.13.1 6db6a78es-node-03 8.13.1 6db6a78# 检查集群健康状态curl -X GET "localhost:9200/_cluster/health?pretty"

常见问题 FAQ

Q1: 设置 es.serverless_transport=true 有什么风险?

A: 这个参数会跳过构建哈希的严格检查,理论上存在以下风险:

不同构建版本的节点可能在序列化/反序列化时出现兼容性问题但在官方支持的版本升级路径中(如 8.8.1 → 8.13.1),这个风险极低建议升级完成后移除该参数

Q2: 能直接从 8.8.1 跨大版本升级到 9.x?

Elasticsearch 只支持相邻大版本之间的升级:

7.x → 8.x ✅8.x → 9.x ✅7.x → 9.x ❌(需要先升级到 8.x)

Q3: 升级过程中可以继续写入数据吗?

滚动升级:可以继续写入,但建议降低写入速率完全停机升级:不能写入数据

Q4: 云服务商的 ES 也会遇到这个问题吗?

PHP中文网、阿里云等云服务商通常会在后台处理这类兼容性问题如果使用云服务商的升级功能,一般不会遇到如果是自建 ES 迁移到云 ES,可能需要特殊处理

总结

Elasticsearch 8.x 的跨小版本升级中,构建哈希不兼容问题是一个已知的边界情况。解决这个问题的关键是:

滚动升级时使用 Serverless Transport 模式:通过 -Des.serverless_transport=true 跳过严格检查做好升级前准备:检查集群状态、创建快照、准备回滚方案升级后及时验证:确保所有节点版本一致、集群状态正常

希望本文能帮助遇到类似问题的同学顺利完成 Elasticsearch 升级。如有疑问,欢迎在评论区讨论。

参考资料

Elasticsearch 官方文档 – 滚动升级Elasticsearch 官方文档 – 完全停机升级Elasticsearch 源码 – TransportService.java

作者:岳涛

日期:2025-10-29

标签:Elasticsearch, 升级, 8.x, 故障排查, 构建哈希, 滚动升级

以上就是【最佳实践】解决 Elasticsearch 8.x 滚动升级失败的问题的详细内容,更多请关注php中文网其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/986027.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
Grid布局中行和列的间距如何设置_grid-gap与gap属性详解
上一篇 2025年12月1日 21:26:31
在Java中如何实现基本循环累加与计算_Java循环操作技巧分享
下一篇 2025年12月1日 21:26:32

相关推荐

  • 谷歌浏览器“旅程”功能怎么用_Chrome“旅程”功能使用与管理详解

    Chrome“旅程”功能可自动整合旅行信息并规划行程。首先登录Google账号,启用Web与App活动记录后访问travel.google.com开启服务;接着创建新旅程,输入目的地与日期,系统将推荐景点、餐厅等,支持手动添加;通过Gmail预订邮件自动同步航班与酒店信息,需开启相关权限;移动端可通…

    2026年9月2日
    100
  • 解决多租户架构的困扰:使用 ringierimu/multi-tenancy 库

    可以通过以下地址学习 composer:学习地址 在开发过程中,我发现需要为不同租户创建独立的数据库实例或者使用不同的前缀来区分数据表,这不仅增加了开发的复杂度,还会影响系统的性能。ringierimu/multi-tenancy 库通过在 Laravel 中引入多租户支持,解决了这一难题。 首先,…

    用户投稿 2026年9月2日
    000
  • Agentic GLM全面登陆三星最新款手机Galaxy S25

    三星galaxy s25系列携手智谱ai,开启手机ai新纪元!2023年4月,智谱glm团队启动agent智能体研究,历经一年多研发,于2024年10月推出首个agent产品autoglm,并首创phone use理念。 如今,这项技术已与三星强强联手,为galaxy s25系列带来前所未有的ai体…

    2026年9月2日
    000
  • 关于ECS 实例中常用的15个端口介绍

    本篇文章给大家带来的内容是关于ecs 实例中常用的15个端口介绍,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。 ECS 实例常用端口介绍 以下为 ECS 实例常用端口列表: 无法访问某些端口 现象:ECS 实例监听了对应端口,但这个端口在部分地区无法访问,而其它端口访问正常的情况。…

    2026年9月2日
    000
  • 通过 Composer 轻松实现 IP 地址解析:qingbing/pf-tools-ip 库的实际应用

    可以通过一下地址学习composer:学习地址 在实际项目中,我需要根据用户的 IP 地址来确定其所在的国家、省份和城市,以便提供个性化的服务和内容。然而,处理 IP 地址解析并不是一件容易的事,尤其是当需要快速、准确地获取这些信息时。传统的方法可能涉及复杂的数据库查询或第三方 API 调用,这不仅…

    用户投稿 2026年9月2日
    000
  • 使用 Composer 简化邮件读取:SilverPHPMail 库的实战经验

    可以通过一下地址学习composer:学习地址 在开发过程中,我需要从 IMAP 或 POP3 服务器获取邮件并处理邮件内容。然而,我发现现有的方法要么代码复杂,要么效率不高。经过一番探索,我决定使用 SilverPHPMail 库来解决这个问题。 首先,我通过 Composer 安装了 Silve…

    用户投稿 2026年9月2日
    000
  • Android中如何用碎片加载完整布局并显示在ViewPager中?

    Android应用中,如何用Fragment加载完整布局并在ViewPager中显示? 本文介绍如何在Android开发中,将完整的布局文件整合到Fragment中,并通过ViewPager进行展示。 步骤一:创建Fragment 创建一个继承自Fragment的类,例如MyFragment,并重写…

    2026年9月2日
    000
  • 如何在Linux 实例中创建 SSH 密钥对

    本篇文章给大家带来的内容是关于如何在linux 实例中创建 ssh 密钥对,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。 创建 SSH 密钥对 使用限制 SSH 密钥对,简称密钥对,仅支持 Linux 实例。 目前,阿里云只支持创建 2048 位的 RSA 密钥对。 阿里云会保存密…

    2026年9月2日
    000
  • Arikaim CMS博客模板:快速构建和个性化你的博客

    可以通过以下地址学习composer:学习地址 Arikaim CMS博客模板(arikaim/blog-template)是为Arikaim CMS设计的一个简洁而强大的博客系统模板。它依赖于Arikaim CMS和博客扩展,并集成了多种UI库,如jQuery、arikaim、arikaim-ui…

    用户投稿 2026年9月2日
    200
  • VSCode的代码怎么运行_VSCode多语言代码执行方法与配置教程

    VSCode通过调用系统已安装的语言运行时来运行代码,需先安装对应语言环境,再结合扩展、集成终端或配置文件实现执行。 VSCode运行代码,说白了,它自己其实不“运行”代码,它更像是一个极其智能的遥控器和指挥中心。它利用你系统里已经安装好的各种语言运行时、编译器或解释器来完成这个任务。核心思路就是:…

    2026年9月2日
    100
  • Java链式编程如何优化含嵌套对象的排序?

    Java链式编程优化嵌套对象排序:高效处理复杂排序场景 Java开发中,经常需要对包含嵌套对象的复杂数据进行排序。本文探讨如何利用Java 8的链式编程特性,优化包含嵌套对象的排序过程,提升代码可读性和效率。 问题:排序包含嵌套对象的列表 假设有一个Item对象的列表,每个Item包含id、titl…

    2026年9月2日
    000
  • 如何备份谷歌浏览器书签 Chrome浏览器收藏夹导出导入指南

    最直接、最稳妥备份谷歌浏览器书签的方法是将其导出为html文件,这样可以在更换设备、重装系统或浏览器故障时快速恢复,确保日积月累的收藏不会丢失;操作方式是进入chrome的书签管理器(ctrl+shift+o),点击右上角三点菜单选择“导出书签”并保存为html文件,需要时再通过“导入书签”功能还原…

    2026年9月2日
    000
  • 如何在ECS管理控制台上导入 SSH 密钥对

    本篇文章给大家带来的内容是关于如何在ecs管理控制台上导入 ssh 密钥对,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。 导入 SSH 密钥对 您可以使用其他工具生成 RSA 密钥对,并将公钥部分导入阿里云,导入的密钥应支持的加密方式请参考 SSH 密钥对。 说明 请妥善保存密钥对…

    2026年9月2日
    000
  • 谷歌登录LINE自动退出问题_原因分析与解决方案

    问题的答案是:line使用谷歌账号登录后自动退出,主要由于授权令牌过期、应用缓存损坏、系统省电策略干预、网络不稳定或google play服务异常所致。解决方法包括清除line缓存与数据、更新google play服务和line应用、撤销并重新授权谷歌账号权限、关闭电池优化以允许后台运行、确保网络与…

    2026年9月2日
    100
  • 为了让DeepSeek-R1用起来更顺畅,火山引擎将TPM上调到了500万!全网首家

    为了让DeepSeek-R1用起来更顺畅,火山引擎将TPM上调到了500万!全网首家为了让DeepSeek-R1用起来更顺畅,火山引擎将TPM上调到了500万!全网首家为了让DeepSeek-R1用起来更顺畅,火山引擎将TPM上调到了500万!全网首家为了让DeepSeek-R1用起来更顺畅,火山引擎将TPM上调到了500万!全网首家

    deepseek风靡一时,但并非人人可用。 众多ai云服务商抓住机遇,纷纷上线deepseek模型,并推出优惠活动吸引用户。然而,免费token往往难以顺利调用deepseek-r1,可用性堪忧。 这凸显了选择可靠大厂的重要性。 火山引擎上线DeepSeek-R1模型(含完整版及蒸馏版),并赠送50…

    2026年9月2日 用户投稿
    100
  • 使用 Composer 解决 Laravel 项目中的内容管理问题

    在开始之前,先简单介绍一下 exdeliver/causeway 的功能和安装过程。exdeliver/causeway 是一个为 laravel 应用设计的内容管理系统,适用于 laravel 5.7 及以上版本。它提供了全面的内容管理功能,包括用户管理、菜单管理、页面管理等。此外,它还支持 mo…

    用户投稿 2026年9月2日
    000
  • 在ECS管理控制台上如何绑定和解绑 SSH 密钥对

    本文在介绍在ecs管理控制台上如何绑定和解绑 ssh 密钥对的基础上,重点探讨了其具体步骤。 绑定和解绑 SSH 密钥对 使用限制 一台 ECS 实例只能绑定一个 SSH 密钥对。 除系列 I 的非 I/O 优化实例外,所有 实例规格族 的 Linux 实例均支持 SSH 密钥对登录。 如果 ECS…

    2026年9月2日
    300
  • 怎么解绑悟空浏览器的抖音账号 抖音账号解绑步骤图文详解

    解绑悟空浏览器的抖音账号需在抖音app内撤销授权或在悟空浏览器中退出登录,最彻底的方法是进入抖音app的“设置—账号与安全—第三方授权管理”中找到悟空浏览器并取消授权,这样可完全切断其访问权限;在悟空浏览器中直接退出登录虽可结束当前会话,但授权关系可能仍存在;所谓“绑定”实为授权访问机制,类似于用微…

    2026年9月2日
    000
  • 如何在ECS实例中创建云助手命令

    本篇文章给大家带来的内容是关于如何在ecs实例中创建云助手命令,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。 创建命令 云助手命令可以在ECS实例中快速完成运行自动化运维脚本、轮询进程、重置用户密码、安装或者卸载软件、更新应用以及安装补丁等一些日常任务。命令类型可以是Windows…

    2026年9月2日
    000
  • 微信小程序复制功能实现及报错“api scope is not declared”的解决方法

    微信小程序复制功能实现与“api scope is not declared”错误的修复 微信小程序开发中,经常需要实现文本复制功能。即使在公众号后台配置了剪贴板权限,仍然可能出现复制失败,例如报错“setClipboardData:fail api scope is not declared in…

    2026年9月2日
    000

发表回复

登录后才能评论
关注微信