投稿获客
  1. 创想鸟首页
  2. 科技

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

程序猿 • • 科技 • 阅读 0

大模型和 ai 数据库双剑合璧，成为大模型降本增效，大数据真正智能的制胜法宝。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

大模型（LLM）的浪潮已经涌动一年多了，尤其是以 GPT-4、Gemini-1.5、Claude-3 等为代表的模型你方唱罢我登场，成为当之无愧的风口。在 LLM 这条赛道上，有的研究专注于增加模型参数，有的疯狂卷多模态…… 这当中，LLM 处理上下文长度的能力成为了评估模型的一个重要指标，更强的上下文意味着模型拥有更强的检索性能。例如有些模型一口气可以处理高达 100 万 token 的能力让不少研究者开始思考，RAG （Retrieval-Augmented Generation，检索增强生成）方法还有存在的必要吗？
有人认为 RAG 要被长上下文模型杀死了，但这种观点遭到了很多研究者和架构师的反驳。他们认为一方面数据结构复杂、定期变化，并且很多数据具有重要的时间维度，这些数据对于 LLM 来说可能太复杂。另一方面，企业、行业的海量异构数据，都放到上下文窗口中也不现实。而大模型和 AI 数据库结合，给生成式 AI 系统注入专业、精准和实时的信息，大幅降低了幻觉，并提高了系统的实用性。同时，Data-centric LLM 的方法也可以利用 AI 数据库海量数据管理、查询的能力，大幅降低大模型训练、微调的开销，并支持在系统不同场景的小样本调优。总结来说，大模型和 AI 数据库双剑合璧，既给大模型降本增效，又让大数据真正实现智能。
历经数年开发和迭代，MyScaleDB 终于开源
RAG 的出现使得 LLM 能从大规模的知识库中精确地抽取信息，并生成实时、专业、富有洞察力的答案。伴随而来的是 RAG 系统的核心功能向量数据库也得到了迅速发展，按照向量数据库的设计理念我们可以将其大致分为三类：专用向量数据库，关键字和向量结合的检索系统，以及 SQL 向量数据库。
以 Pinecone/Weaviate/Milvus 为代表的专用向量数据库，一开始即为向量检索设计打造，向量检索性能出色，不过通用的数据管理功能较弱。
以 Elasticsearch/OpenSearch 为代表的关键字和向量检索系统，因其完善的关键字检索功能得到广泛生产应用，不过系统资源占用较多，关键字与向量的联合查询精度和性能不尽人如意。
以 pgvector（PostgreSQL 的向量搜索插件）和 MyScale AI 数据库为代表的 SQL 向量数据库，基于 SQL 并且数据管理功能强大。不过因为 PostgreSQL 行存的劣势和向量算法的局限性，pgvector 在复杂向量查询中精度较低。
 
MyScale AI 数据库（MyScaleDB）基于高性能的 SQL 列式存储数据库打造，自研高性能和高数据密度的向量索引算法，并针对 SQL 和向量的联合查询对检索和存储引擎进行了深度的研发和优化，是全球第一个综合性能和性价比大幅超越了专用向量数据库的 SQL 向量数据库产品。
得益于 SQL 数据库在海量结构化数据场景长期的打磨，MyScaleDB 同时支持海量向量和结构化数据，包括字符串、JSON、空间、时序等多种数据类型的高效存储和查询，并将在近期推出功能强大的倒排表和关键字检索功能，进一步提高 RAG 系统的精度并替代 Elasticsearch 等系统。

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

经过近 6 年的开发和数次版本迭代，MyScaleDB 已于近期开源，欢迎所有开发者和企业用户在 GitHub 上 Star，并开启使用 SQL 构建生产级 AI 应用的新玩法！
项目地址：https://github.com/myscale/myscaledb
 
完全兼容 SQL，精度提升、成本降低
借助完善的 SQL 数据管理能力，强大高效的结构化、向量和异构数据存储和查询能力，MyScaleDB 有望成为第一款真正面向大模型和大数据的 AI 数据库。
SQL 和向量的原生兼容性
自从 SQL 诞生半个世纪以来，尽管其中经历了 NoSQL、大数据等浪潮，不断进化的 SQL 数据库还是占据了数据管理市场主要份额，甚至 Elasticsearch、Spark 等检索和大数据系统也陆续支持了 SQL 接口。而专用的向量数据库尽管为向量做了优化和系统设计，但其查询接口通常缺乏规范性，没有高级的查询语言。这导致了接口的泛化能力较弱，例如 Pinecone 的查询接口甚至不包括指定要检索的字段，更不用说分页、聚合等数据库常见的功能。
接口的泛化能力弱意味着其变化频繁，增加了学习成本。MyScale 团队则认为，经过系统性优化的 SQL 和向量系统是可以既保持完整的 SQL 支持，又保证向量检索高性能的，而他们的开源评测的结果已经充分论证了这一点。
在实际复杂 AI 应用场景中，SQL 和向量结合可以极大增加数据建模的灵活性，并简化开发流程。例如 MyScale 团队与北京科学智能研究院合作的 Science Navigator 项目中，利用 MyScaleDB 对于海量的科学文献数据做检索和智能问答，其主要的 SQL 表结构就有 10 多个，其中多张表结构建立了向量和倒排表索引，并利用主键和外键做了关联。系统在实际查询中，也会涉及结构化、向量和关键字数据的联合查询，以及几张表的关联查询。在专用的向量数据库中这些建模和关联是难以实现的，也会导致最终的系统迭代缓慢、查询低效和维护困难。

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

千帆大模型平台 千帆大模型平台

面向企业开发者的一站式大模型开发及服务运行平台

千帆大模型平台 0 查看详情 千帆大模型平台

                           Science Navigator 主要表结构示意图（加粗体的列建立了向量索引或倒排索引）
 
支持结构化、向量和关键字等数据联合查询
在实际 RAG 系统中，检索的精度和效果是制约其落地的主要瓶颈。这需要 AI 数据库高效支持结构化、向量和关键字等数据联合查询，综合提高检索精度。
例如在金融场景中，用户需要针对文档库查询 “某公司 2023 年全球各项业务的收入情况如何？”，“某公司”，“2023 年” 等结构化元信息并不能被向量很好的抓取，甚至不一定在对应的段落中有直接的体现。直接在全库上执行向量检索会得到大量的干扰信息，并降低系统最终的准确性。另一方面，公司名称，年份等通常是可以作为文档的元信息被获取的，我们可以将 WHERE year=2023 AND company ILIKE “%%” 作为向量查询的过滤条件，从而精准的定位到相关信息，大幅提升了系统的可靠性。在金融、制造业、科研等场景中，MyScale 团队都观察到异构数据建模和关联查询的威力，很多场景下甚至有 60% 精度到 90% 的提升。
 
尽管传统的数据库产品都已经陆续意识到了向量查询在 AI 时代的重要性，并开始在数据库中增加向量能力，其联合查询的精度仍然存在显著的问题。例如，在过滤查询的场景下，Elasticsearch 在过滤比例为 0.1 时，QPS 会降到只有 5 左右，而 PostgresSQL（使用 pgvector 插件）在过滤比例是 0.01 时，检索精度只有 50% 左右，不稳定的查询精度 / 性能极大制约了其应用的场景。而 MyScale 仅使用了 pgvector 36% 的成本和 ElasticSearch 12% 的成本，就能够在各种不同过滤比例的场景下都实现高性能和高精度的查询。

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

                                 在不同过滤比例场景下，MyScale 都用低成本实现了高精度和高性能查询
真实场景下性能和成本的平衡
正因为向量检索在大模型应用中的重要性和高关注度，越来越多的团队投入了向量数据库这个赛道。大家一开始的关注点都是努力提升纯向量搜索场景下的 QPS，不过纯向量搜索是远远不够的！在实战的场景中，数据建模、查询的灵活性和精准度以及平衡数据密度、查询性能和成本是更为重要的议题。
在 RAG 场景中，纯向量查询性能有 10x 的过剩，向量占用资源庞大，联合查询功能缺乏、性能和精度不佳往往是当下专有向量数据库的常态。MyScaleDB 致力于在真实海量数据场景下 AI 数据库的综合性能提升，其推出的 MyScale Vector Database Benchmark 也是业内首个在五百万向量规模，不同查询场景下比较主流向量数据库系统综合性能、性价比的开源评测系统，欢迎大家关注和提 issue。MyScale 团队表示，AI 数据库在真实应用场景下还存在很大的优化空间，他们也希望在实践中不断打磨产品并完善评测系统。
MyScale Vector Database Benchmark 项目地址：
https://github.com/myscale/vector-db-benchmark
展望：AI 数据库支撑的大模型 + 大数据 Agent 平台
机器学习 + 大数据驱动了互联网和上一代信息系统的成功，而在大模型的时代背景下，MyScale 团队也致力于提出新一代的大模型 + 大数据方案。以高性能的 SQL + 向量数据库为坚实的支撑，MyScaleDB 提供了大规模数据处理、知识查询、可观测性、数据分析和小样本学习的关键能力，构建了 AI 和数据闭环，成为下一代大模型 + 大数据 Agent 平台的关键基座。MyScale 团队已经在科研、金融、工业、医疗等领域探索这套方案的落地。

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

随着技术的快速发展，某种意义上的通用人工智能 (AGI) 有望在未来 5-10 年内出现。关于这个问题，我们不禁要思考：是需要一个静态、虚拟且与人类竞争的大模型，还是其他更加全面的解决方案？数据无疑是连接大模型、世界与用户的重要纽带，MyScale 团队的愿景是将大模型和大数据有机结合，打造更加专业、实时、高效协作，同时亦充满人性温度和价值的 AI 系统。

以上就是长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/616264.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

266.4K 文章
0 评论
1 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月11日 04:06:58
下一篇 2025年11月11日 04:10:15

相关推荐

  • TikTok视频无法下载怎么办 TikTok视频下载异常修复方法

    先检查链接格式、网络设置及工具版本。复制以https://www.tiktok.com/@或vm.tiktok.com开头的链接，删除?后参数，尝试短链接；确保网络畅通，可切换地区节点或关闭防火墙；更新工具至最新版，优先选用yt-dlp等持续维护的工具。 遇到TikTok视频下载不了的情况，别急着换…

    程序猿的头像 程序猿
    2025年12月6日 • 软件教程
    100

  • Vue.js应用中配置环境变量：灵活管理后端通信地址

    在%ignore_a_1%应用中，灵活配置后端api地址等参数是开发与部署的关键。本文将详细介绍两种主要的环境变量配置方法：推荐使用的`.env`文件，以及通过`cross-env`库在命令行中设置环境变量。通过这些方法，开发者可以轻松实现开发、测试、生产等不同环境下配置的动态切换，提高应用的可维护…

    程序猿的头像 程序猿
    2025年12月6日 • web前端
    000

  • VSCode性能分析与瓶颈诊断技术

    首先通过资源监控定位异常进程，再利用开发者工具分析性能瓶颈，结合禁用扩展、优化语言服务器配置及项目设置，可有效解决VSCode卡顿问题。 VSCode作为主流的代码编辑器，虽然轻量高效，但在处理大型项目或配置复杂扩展时可能出现卡顿、响应延迟等问题。要解决这些性能问题，需要系统性地进行性能分析与瓶颈诊…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • VSCode插件：GitLens使用详解

    GitLens是VSCode中强大的Git增强插件，提供行级代码追踪、提交历史浏览、版本对比、跨文件导航及与GitHub等平台集成；通过启用Current Line Blame和In-Line Blame，可实时查看每行代码的作者与修改时间；支持按分支、作者过滤提交记录，比较差异，并利用Go Bac…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • mysql如何备份存储过程和函数

    最直接且推荐的方式是使用mysqldump工具并添加–routines参数，可完整导出存储过程和函数；若需跨版本迁移，应结合–triggers、处理DEFINER用户、验证SQL_MODE，并在测试环境充分验证恢复与兼容性。 MySQL备份存储过程和函数，最直接且推荐的方式是…

    程序猿的头像 程序猿
    2025年12月6日 • 数据库
    000

  • VSCode界面优化：精简布局与元素

    通过隐藏冗余组件和调整视觉元素可提升VSCode专注度。依次操作：1. 用Ctrl+B和Ctrl+J快捷键或设置隐藏侧边栏与面板；2. 在设置中关闭活动栏显示，并在settings.json中设置”window.titleBarStyle”: “inline&#8…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • JavaScript持续集成与部署

    持续集成与部署（CI/CD）通过自动化测试、构建和部署提升JavaScript项目交付效率。1. CI指频繁合并代码并自动运行测试以快速发现错误；2. CD在CI通过后自动将应用部署至生产环境；3. 常用工具包括GitHub Actions、GitLab CI/CD、CircleCI和Jenkins…

    程序猿的头像 程序猿
    2025年12月6日 • web前端
    000

  • 谷歌浏览器标签页分组颜色怎么修改_谷歌浏览器标签分组个性化设置指南

    可通过右键菜单、拖拽建组或扩展程序修改谷歌浏览器标签分组颜色。首先右键分组圆点选新颜色；其次拖动标签创建分组时选择配色；最后可用“Tab Modifier”等扩展按规则自动着色。 如果您在使用谷歌浏览器时创建了标签页分组，但希望调整其颜色以便更好地区分不同任务或项目，则可以通过内置功能直接修改。以下…

    程序猿的头像 程序猿
    2025年12月6日 • 电脑教程
    000

  • 如何管理和同步VSCode的扩展配置，以便在新设备上快速恢复开发环境？

    使用 Settings Sync 是最快方式，通过 GitHub 账号同步扩展、设置、快捷键和代码片段；也可手动导出扩展列表（code –list-extensions > extensions.txt）并在新设备安装，结合备份 settings.json 等配置文件实现环境快速恢…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • 键盘背光模式设置

    键盘背光设置需根据设备类型选择方法：1. 先了解支持的背光模式，如常亮、呼吸、波浪等；2. 多数键盘可通过Fn组合键快捷切换亮度或模式，具体按键因品牌而异；3. 品牌机械键盘建议使用官方软件（如iCUE、Synapse）进行精细自定义；4. 笔记本通常用Fn加功能键调节，部分可在系统或厂商工具中设置…

    程序猿的头像 程序猿
    2025年12月6日 • 电脑教程
    000

  • VS Code扩展生态剖析：API设计与商店发布全流程指南

    VS Code扩展成功源于其插件化架构与丰富API。通过Activation Events、Contribution Points和Extension Host实现高效稳定的功能扩展，结合vscode.commands、languages、window、workspace等核心API提供完整开发支持…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • VSCode时间线：文件修改历史与代码追溯系统

    时间线功能是VSCode内置的代码追溯工具，通过整合Git历史记录提供文件修改的时间轴视图。用户可查看提交哈希、作者、时间、提交信息及变更行数，点击记录预览差异并还原版本。该功能依赖Git仓库，支持查看某行修改者、对比历史版本、恢复误删代码等操作，未启用Git时仅显示本地保存点。结合GitLens等…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • 蛐蛐 (QuQu)— 开源的桌面端语音输入与文本处理工具

    蛐蛐 (QuQu)是什么 蛐蛐（ququ）是一款专为中文用户打造的桌面语音输入与文本处理工具，旨在提供一个开源且免费的 wispr flow 替代方案。该工具集成了阿里巴巴的 funasr paraformer 模型，支持本地化部署与运行，有效保障用户隐私安全。同时融合先进 ai 技术，实现高精度语…

    程序猿的头像 程序猿
    2025年12月6日 • 科技
    000

  • VS Code源代码管理：变更跟踪与分支可视化操作解析

    VS Code内置Git功能提升开发效率：通过源代码管理视图实时跟踪文件变更，支持差异对比与部分暂存；借助Git图表可视化分支演进，直观管理提交历史；整合拉取、推送、分支切换等常用操作，简化协作流程。 VS Code 内置的源代码管理功能让开发者可以直接在编辑器中高效处理 Git 变更与分支操作，无…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • 数毛社实测PS5节能省电模式：功耗暴降55%

    近日，著名技术评测机构数毛社（digital foundry）对ps5最新系统固件中引入的“省电模式”展开深入实测。结果显示，虽然该功能对当前主机用户的实际意义较为有限，但其背后的技术方向或许正为索尼下一代便携式ps6设备铺路。 实机测试： 本次测试选用了两款已适配省电模式的游戏作品——《恶魔之魂》…

    程序猿的头像 程序猿
    2025年12月6日 • 游戏教程
    000

  • 美团 LongCat 团队发布 LongCat-Video 探索世界模型

    美团longcat团队近日正式推出全新视频生成模型longcat-video，致力于通过视频生成技术路径深入探索“世界模型”的构建，为自动驾驶、具身智能等前沿应用场景提供坚实的技术支撑。 该模型基于DiT（Diffusion in Time）架构设计，创新性地以“条件帧数量”作为任务区分标准，原生支…

    程序猿的头像 程序猿
    2025年12月6日 • 行业动态
    000

  • 探索VSCode云端开发环境搭建与配置方案

    首选GitHub Codespaces实现便捷云端开发，其次通过VSCode+SSH连接云服务器提升控制权，或采用Dev Containers确保环境一致性，结合性能优化与安全措施，满足不同场景下的高效协作需求。 在现代开发场景中，将VSCode与云端环境结合已成为提升协作效率、实现跨设备开发的重要…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • PHP/HTML代码格式化工具实践：以PHP-CS-Fixer为例

    本文针对php和html代码的自动化格式化需求，推荐并详细介绍了php-cs-fixer工具。它不仅能检查代码标准，还能自动修复格式问题，支持自定义规则集和ci/cd集成，是确保团队代码风格一致性的高效解决方案。通过本文，您将了解其安装、配置、使用及在持续集成环境中的应用。 在现代软件开发流程中，代…

    程序猿的头像 程序猿
    2025年12月6日 • 后端开发
    000

  • VSCode智能补全：配置基于AI的代码建议与自动完成功能

    首先安装 GitHub Copilot 插件并登录账号，启用内联建议与快捷设置，通过清晰命名和注释提升补全准确率，审查生成代码并提交反馈以优化模型，从而显著提升编码效率。 VSCode 的智能补全功能可以通过集成基于 AI 的工具显著提升编码效率。目前最成熟且广泛使用的 AI 驱动代码补全是 Git…

    程序猿的头像 程序猿
    2025年12月6日 • 开发工具
    000

  • Gemini2.5官方网站首页_Gemini2.5在线版访问地址

    Gemini 2.5官方网站首页是https://aistudio.google.com，该平台提供多模态处理、高效代码辅助和实时信息整合等功能。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ Gemini2.5官方网站首页在哪里？这是不少…

    程序猿的头像 程序猿
    2025年12月6日 • 科技
    000

发表回复

登录后才能评论
关注微信