投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 科技

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

程序猿 • • 科技 • 阅读 0

大模型和 ai 数据库双剑合璧，成为大模型降本增效，大数据真正智能的制胜法宝。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

大模型（LLM）的浪潮已经涌动一年多了，尤其是以 GPT-4、Gemini-1.5、Claude-3 等为代表的模型你方唱罢我登场，成为当之无愧的风口。在 LLM 这条赛道上，有的研究专注于增加模型参数，有的疯狂卷多模态…… 这当中，LLM 处理上下文长度的能力成为了评估模型的一个重要指标，更强的上下文意味着模型拥有更强的检索性能。例如有些模型一口气可以处理高达 100 万 token 的能力让不少研究者开始思考，RAG （Retrieval-Augmented Generation，检索增强生成）方法还有存在的必要吗？
有人认为 RAG 要被长上下文模型杀死了，但这种观点遭到了很多研究者和架构师的反驳。他们认为一方面数据结构复杂、定期变化，并且很多数据具有重要的时间维度，这些数据对于 LLM 来说可能太复杂。另一方面，企业、行业的海量异构数据，都放到上下文窗口中也不现实。而大模型和 AI 数据库结合，给生成式 AI 系统注入专业、精准和实时的信息，大幅降低了幻觉，并提高了系统的实用性。同时，Data-centric LLM 的方法也可以利用 AI 数据库海量数据管理、查询的能力，大幅降低大模型训练、微调的开销，并支持在系统不同场景的小样本调优。总结来说，大模型和 AI 数据库双剑合璧，既给大模型降本增效，又让大数据真正实现智能。
历经数年开发和迭代，MyScaleDB 终于开源
RAG 的出现使得 LLM 能从大规模的知识库中精确地抽取信息，并生成实时、专业、富有洞察力的答案。伴随而来的是 RAG 系统的核心功能向量数据库也得到了迅速发展，按照向量数据库的设计理念我们可以将其大致分为三类：专用向量数据库，关键字和向量结合的检索系统，以及 SQL 向量数据库。
以 Pinecone/Weaviate/Milvus 为代表的专用向量数据库，一开始即为向量检索设计打造，向量检索性能出色，不过通用的数据管理功能较弱。
以 Elasticsearch/OpenSearch 为代表的关键字和向量检索系统，因其完善的关键字检索功能得到广泛生产应用，不过系统资源占用较多，关键字与向量的联合查询精度和性能不尽人如意。
以 pgvector（PostgreSQL 的向量搜索插件）和 MyScale AI 数据库为代表的 SQL 向量数据库，基于 SQL 并且数据管理功能强大。不过因为 PostgreSQL 行存的劣势和向量算法的局限性，pgvector 在复杂向量查询中精度较低。
 
MyScale AI 数据库（MyScaleDB）基于高性能的 SQL 列式存储数据库打造，自研高性能和高数据密度的向量索引算法，并针对 SQL 和向量的联合查询对检索和存储引擎进行了深度的研发和优化，是全球第一个综合性能和性价比大幅超越了专用向量数据库的 SQL 向量数据库产品。
得益于 SQL 数据库在海量结构化数据场景长期的打磨，MyScaleDB 同时支持海量向量和结构化数据，包括字符串、JSON、空间、时序等多种数据类型的高效存储和查询，并将在近期推出功能强大的倒排表和关键字检索功能，进一步提高 RAG 系统的精度并替代 Elasticsearch 等系统。

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

经过近 6 年的开发和数次版本迭代，MyScaleDB 已于近期开源，欢迎所有开发者和企业用户在 GitHub 上 Star，并开启使用 SQL 构建生产级 AI 应用的新玩法！
项目地址：https://github.com/myscale/myscaledb
 
完全兼容 SQL，精度提升、成本降低
借助完善的 SQL 数据管理能力，强大高效的结构化、向量和异构数据存储和查询能力，MyScaleDB 有望成为第一款真正面向大模型和大数据的 AI 数据库。
SQL 和向量的原生兼容性
自从 SQL 诞生半个世纪以来，尽管其中经历了 NoSQL、大数据等浪潮，不断进化的 SQL 数据库还是占据了数据管理市场主要份额，甚至 Elasticsearch、Spark 等检索和大数据系统也陆续支持了 SQL 接口。而专用的向量数据库尽管为向量做了优化和系统设计，但其查询接口通常缺乏规范性，没有高级的查询语言。这导致了接口的泛化能力较弱，例如 Pinecone 的查询接口甚至不包括指定要检索的字段，更不用说分页、聚合等数据库常见的功能。
接口的泛化能力弱意味着其变化频繁，增加了学习成本。MyScale 团队则认为，经过系统性优化的 SQL 和向量系统是可以既保持完整的 SQL 支持，又保证向量检索高性能的，而他们的开源评测的结果已经充分论证了这一点。
在实际复杂 AI 应用场景中，SQL 和向量结合可以极大增加数据建模的灵活性，并简化开发流程。例如 MyScale 团队与北京科学智能研究院合作的 Science Navigator 项目中，利用 MyScaleDB 对于海量的科学文献数据做检索和智能问答，其主要的 SQL 表结构就有 10 多个，其中多张表结构建立了向量和倒排表索引，并利用主键和外键做了关联。系统在实际查询中，也会涉及结构化、向量和关键字数据的联合查询，以及几张表的关联查询。在专用的向量数据库中这些建模和关联是难以实现的，也会导致最终的系统迭代缓慢、查询低效和维护困难。

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

千帆大模型平台 千帆大模型平台

面向企业开发者的一站式大模型开发及服务运行平台

千帆大模型平台 0 查看详情 千帆大模型平台

                           Science Navigator 主要表结构示意图（加粗体的列建立了向量索引或倒排索引）
 
支持结构化、向量和关键字等数据联合查询
在实际 RAG 系统中，检索的精度和效果是制约其落地的主要瓶颈。这需要 AI 数据库高效支持结构化、向量和关键字等数据联合查询，综合提高检索精度。
例如在金融场景中，用户需要针对文档库查询 “某公司 2023 年全球各项业务的收入情况如何？”，“某公司”，“2023 年” 等结构化元信息并不能被向量很好的抓取，甚至不一定在对应的段落中有直接的体现。直接在全库上执行向量检索会得到大量的干扰信息，并降低系统最终的准确性。另一方面，公司名称，年份等通常是可以作为文档的元信息被获取的，我们可以将 WHERE year=2023 AND company ILIKE “%%” 作为向量查询的过滤条件，从而精准的定位到相关信息，大幅提升了系统的可靠性。在金融、制造业、科研等场景中，MyScale 团队都观察到异构数据建模和关联查询的威力，很多场景下甚至有 60% 精度到 90% 的提升。
 
尽管传统的数据库产品都已经陆续意识到了向量查询在 AI 时代的重要性，并开始在数据库中增加向量能力，其联合查询的精度仍然存在显著的问题。例如，在过滤查询的场景下，Elasticsearch 在过滤比例为 0.1 时，QPS 会降到只有 5 左右，而 PostgresSQL（使用 pgvector 插件）在过滤比例是 0.01 时，检索精度只有 50% 左右，不稳定的查询精度 / 性能极大制约了其应用的场景。而 MyScale 仅使用了 pgvector 36% 的成本和 ElasticSearch 12% 的成本，就能够在各种不同过滤比例的场景下都实现高性能和高精度的查询。

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

                                 在不同过滤比例场景下，MyScale 都用低成本实现了高精度和高性能查询
真实场景下性能和成本的平衡
正因为向量检索在大模型应用中的重要性和高关注度，越来越多的团队投入了向量数据库这个赛道。大家一开始的关注点都是努力提升纯向量搜索场景下的 QPS，不过纯向量搜索是远远不够的！在实战的场景中，数据建模、查询的灵活性和精准度以及平衡数据密度、查询性能和成本是更为重要的议题。
在 RAG 场景中，纯向量查询性能有 10x 的过剩，向量占用资源庞大，联合查询功能缺乏、性能和精度不佳往往是当下专有向量数据库的常态。MyScaleDB 致力于在真实海量数据场景下 AI 数据库的综合性能提升，其推出的 MyScale Vector Database Benchmark 也是业内首个在五百万向量规模，不同查询场景下比较主流向量数据库系统综合性能、性价比的开源评测系统，欢迎大家关注和提 issue。MyScale 团队表示，AI 数据库在真实应用场景下还存在很大的优化空间，他们也希望在实践中不断打磨产品并完善评测系统。
MyScale Vector Database Benchmark 项目地址：
https://github.com/myscale/vector-db-benchmark
展望：AI 数据库支撑的大模型 + 大数据 Agent 平台
机器学习 + 大数据驱动了互联网和上一代信息系统的成功，而在大模型的时代背景下，MyScale 团队也致力于提出新一代的大模型 + 大数据方案。以高性能的 SQL + 向量数据库为坚实的支撑，MyScaleDB 提供了大规模数据处理、知识查询、可观测性、数据分析和小样本学习的关键能力，构建了 AI 和数据闭环，成为下一代大模型 + 大数据 Agent 平台的关键基座。MyScale 团队已经在科研、金融、工业、医疗等领域探索这套方案的落地。

长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源

随着技术的快速发展，某种意义上的通用人工智能 (AGI) 有望在未来 5-10 年内出现。关于这个问题，我们不禁要思考：是需要一个静态、虚拟且与人类竞争的大模型，还是其他更加全面的解决方案？数据无疑是连接大模型、世界与用户的重要纽带，MyScale 团队的愿景是将大模型和大数据有机结合，打造更加专业、实时、高效协作，同时亦充满人性温度和价值的 AI 系统。

以上就是长文本杀不死RAG：SQL+向量驱动大模型和大数据新范式，MyScale AI数据库正式开源的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/616264.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月11日 04:06:58
下一篇 2025年11月11日 04:10:15

相关推荐

  • HTML、CSS 和 JavaScript 中的简单侧边栏菜单 好文分享

    HTML、CSS 和 JavaScript 中的简单侧边栏菜单

    构建一个简单的侧边栏菜单是一个很好的主意，它可以为您的网站添加有价值的功能和令人惊叹的外观。 侧边栏菜单对于客户找到不同项目的方式很有用，而不会让他们觉得自己有太多选择，从而创造了简单性和秩序。 今天，我将分享一个简单的 HTML、CSS 和 JavaScript 源代码来创建一个简单的侧边栏菜单。…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 前端代码辅助工具：如何选择最可靠的AI工具？ 好文分享

    前端代码辅助工具：如何选择最可靠的AI工具？

    前端代码辅助工具：可靠性探讨 对于前端工程师来说，在HTML、CSS和JavaScript开发中借助AI工具是司空见惯的事情。然而，并非所有工具都能提供同等的可靠性。 个性化需求 关于哪个AI工具最可靠，这个问题没有一刀切的答案。每个人的使用习惯和项目需求各不相同。以下是一些影响选择的重要因素： 立…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 带有 HTML、CSS 和 JavaScript 工具提示的响应式侧边导航栏 好文分享

    带有 HTML、CSS 和 JavaScript 工具提示的响应式侧边导航栏

    响应式侧边导航栏不仅有助于改善网站的导航，还可以解决整齐放置链接的问题，从而增强用户体验。通过使用工具提示，可以让用户了解每个链接的功能，包括设计紧凑的情况。 在本教程中，我将解释使用 html、css、javascript 创建带有工具提示的响应式侧栏导航的完整代码。 对于那些一直想要一个干净、简…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 布局 - CSS 挑战 好文分享

    布局 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在这里查看视觉效果： 固定导航 – 布局 – codesandbox两列 – 布局 – codesandbox三列 – 布局 – codesandbox圣杯 &#8…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 隐藏元素 - CSS 挑战 好文分享

    隐藏元素 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看隐藏元素的视觉效果 – codesandbox 隐藏元素 hiding elements hiding elements hiding elements hiding elements hiding element…

    程序猿的头像 程序猿
    2025年12月24日
    400

  • 居中 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看垂直中心 – codesandbox 和水平中心的视觉效果。 通过 css 居中 垂直居中 centering centering centering centering centering centering立即…

    程序猿的头像 程序猿
    2025年12月24日 • 好文分享
    300
  • 如何在 Laravel 框架中轻松集成微信支付和支付宝支付？ 好文分享

    如何在 Laravel 框架中轻松集成微信支付和支付宝支付？

    如何用 laravel 框架集成微信支付和支付宝支付 问题：如何在 laravel 框架中集成微信支付和支付宝支付？ 回答： 建议使用 easywechat 的 laravel 版，easywechat 是一个由腾讯工程师开发的高质量微信开放平台 sdk，已被广泛地应用于许多 laravel 项目中…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何在移动端实现子 div 在父 div 内任意滑动查看？ 好文分享

    如何在移动端实现子 div 在父 div 内任意滑动查看？

    如何在移动端中实现让子 div 在父 div 内任意滑动查看 在移动端开发中，有时我们需要让子 div 在父 div 内任意滑动查看。然而，使用滚动条无法实现负值移动，因此需要采用其他方法。 解决方案： 使用绝对布局（absolute）或相对布局（relative）：将子 div 设置为绝对或相对定…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 移动端嵌套 DIV 中子 DIV 如何水平滑动？ 好文分享

    移动端嵌套 DIV 中子 DIV 如何水平滑动？

    移动端嵌套 DIV 中子 DIV 滑动 在移动端开发中，遇到这样的问题：当子 DIV 的高度小于父 DIV 时，无法在父 DIV 中水平滚动子 DIV。 无限画布 要实现子 DIV 在父 DIV 中任意滑动，需要创建一个无限画布。使用滚动无法达到负值，因此需要使用其他方法。 相对定位 一种方法是将子…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 移动端项目中，如何消除rem字体大小计算带来的CSS扭曲？ 好文分享

    移动端项目中，如何消除rem字体大小计算带来的CSS扭曲？

    移动端项目中消除rem字体大小计算带来的css扭曲 在移动端项目中，使用rem计算根节点字体大小可以实现自适应布局。但是，此方法可能会导致页面打开时出现css扭曲，这是因为页面内容在根节点字体大小赋值后重新渲染造成的。 解决方案： 要避免这种情况，将计算根节点字体大小的js脚本移动到页面的最前面，即…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • Nuxt 移动端项目中 rem 计算导致 CSS 变形，如何解决？ 好文分享

    Nuxt 移动端项目中 rem 计算导致 CSS 变形，如何解决？

    Nuxt 移动端项目中解决 rem 计算导致 CSS 变形 在 Nuxt 移动端项目中使用 rem 计算根节点字体大小时，可能会遇到一个问题：页面内容在字体大小发生变化时会重绘，导致 CSS 变形。 解决方案： 可将计算根节点字体大小的 JS 代码块置于页面最前端的 标签内，确保在其他资源加载之前执…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • Nuxt 移动端项目使用 rem 计算字体大小导致页面变形，如何解决？ 好文分享

    Nuxt 移动端项目使用 rem 计算字体大小导致页面变形，如何解决？

    rem 计算导致移动端页面变形的解决方法 在 nuxt 移动端项目中使用 rem 计算根节点字体大小时，页面会发生内容重绘，导致页面打开时出现样式变形。如何避免这种现象？ 解决方案： 移动根节点字体大小计算代码到页面顶部，即 head 中。 原理： flexível.js 也遇到了类似问题，它的解决…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 形状 - CSS 挑战 好文分享

    形状 – CSS 挑战

    您可以在 github 仓库中找到这篇文章中的所有代码。 您可以在此处查看 codesandbox 的视觉效果。 通过css绘制各种形状 如何在 css 中绘制正方形、梯形、三角形、异形三角形、扇形、圆形、半圆、固定宽高比、0.5px 线？ shapes 0.5px line .square { w…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 有哪些美观的开源数字大屏驾驶舱框架？ 好文分享

    有哪些美观的开源数字大屏驾驶舱框架？

    开源数字大屏驾驶舱框架推荐 问题：有哪些美观的开源数字大屏驾驶舱框架？ 答案： 资源包 [弗若恩智能大屏驾驶舱开发资源包](https://www.fanruan.com/resource/152) 软件 [弗若恩报表 – 数字大屏可视化组件](https://www.fanruan.c…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 网站底部如何实现飘彩带效果？ 好文分享

    网站底部如何实现飘彩带效果？

    网站底部飘彩带效果的 js 库实现 许多网站都会在特殊节日或活动中添加一些趣味性的视觉效果，例如点击按钮后散发的五彩缤纷的彩带。对于一个特定的网站来说，其飘彩带效果的实现方式可能有以下几个方面： 以 https://dub.sh/ 网站为例，它底部按钮点击后的彩带效果是由 javascript 库实…

    程序猿的头像 程序猿
    2025年12月24日
    000

  • 网站彩带效果背后是哪个JS库？

    网站彩带效果背后是哪个js库？ 当你访问某些网站时，点击按钮后，屏幕上会飘出五颜六色的彩带，营造出庆祝的氛围。这些效果是通过使用javascript库实现的。 问题： 哪个javascript库能够实现网站上点击按钮散发彩带的效果？ 答案： 根据给定网站的源代码分析： 可以发现，该网站使用了以下js…

    程序猿的头像 程序猿
    好文分享 2025年12月24日
    100
  • 产品预览卡项目 好文分享

    产品预览卡项目

    这个项目最初是来自 Frontend Mentor 的挑战，旨在使用 HTML 和 CSS 创建响应式产品预览卡。最初的任务是设计一张具有视觉吸引力和功能性的产品卡，能够无缝适应各种屏幕尺寸。这涉及使用 CSS 媒体查询来确保布局在不同设备上保持一致且用户友好。产品卡包含产品图像、标签、标题、描述和…

    程序猿的头像 程序猿
    2025年12月24日
    100
  • 如何利用 echarts-gl 绘制带发光的 3D 图表？ 好文分享

    如何利用 echarts-gl 绘制带发光的 3D 图表？

    如何绘制带发光的 3d 图表，类似于 echarts 中的示例？ 为了实现类似的 3d 图表效果，需要引入 echarts-gl 库：https://github.com/ecomfe/echarts-gl。 echarts-gl 专用于在 webgl 环境中渲染 3d 图形。它提供了各种 3d 图…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何在 Element UI 的 el-rate 组件中实现 5 颗星 5 分制与百分制之间的转换？ 好文分享

    如何在 Element UI 的 el-rate 组件中实现 5 颗星 5 分制与百分制之间的转换？

    如何在el-rate中将5颗星5分制的分值显示为5颗星百分制？ 要实现该效果，只需使用 el-rate 组件的 allow-half 属性。在设置 allow-half 属性后，获得的结果乘以 20 即可得到0-100之间的百分制分数。如下所示： score = score * 20; 动态显示鼠标…

    程序猿的头像 程序猿
    2025年12月24日
    100
  • CSS 最佳实践：后端程序员重温 CSS 时常见的三个疑问？ 好文分享

    CSS 最佳实践：后端程序员重温 CSS 时常见的三个疑问？

    CSS 最佳实践：提升代码质量 作为后端程序员，在重温 CSS/HTML 时，你可能会遇到一些关于最佳实践的问题。以下将解答三个常见问题，帮助你编写更规范、清晰的 CSS 代码。 1. margin 设置策略 当相邻元素都设置了 margin 时，通常情况下应为上一个元素设置 margin-bott…

    程序猿的头像 程序猿
    2025年12月24日
    000

发表回复

登录后才能评论
关注微信