训练
-
陈丹琦团队创新之作：以5%成本取得SOTA，掀起“羊驼剪毛”大法热潮
只用3%的计算量、5%的成本取得sota，统治了1b-3b规模的开源大模型。 这一成果来自普林斯顿陈丹琦团队，名为LLM-Shearing大模型剪枝法。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 以羊驼LLaMA 2 7B为基础，通过定…
-
数学逻辑和计算机程序代码之间的深层联系：互为镜像
一些科学发现被赋予了重要的意义，因为揭示了一些新的东西，比如 DNA 的双螺旋结构或黑洞的存在。但是，揭示出的这些东西还具有更深远的意义，因为它们表明：两个之前看起来大不一样的老旧概念事实上却是一样的。比如詹姆斯・克拉克・麦克斯韦发现的方程组表明，电与磁是同一个现象的两个不同方面，而广义相对论则把引…
-
规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B
多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态，多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。例如，视频和文本具有不同的采样率 最近，来自 Google DeepMind 的研究团队将多模态模型解耦成多个独立的、专门的自回归模型，根据各种…
-
让3D编辑像PS一样简单，新算法GaussianEditor在几分钟内完成3D场景增删改
3D 编辑在游戏和虚拟现实等领域中发挥着至关重要的作用，然而之前的 3D 编辑苦于耗时间长以及可控性差等问题，很难应用到实际场景。近日，南洋理工大学联合清华和商汤提出了一种全新的 3D 编辑算法 GaussianEditor，首次实现了在 2-7 分钟完成对 3D 场景可控的多样化的编辑，全面超越了…
-
创业180天估值20亿美元！欧版OpenAI爆火，Llama主创自立门户，英伟达都入股了
“欧洲版openai”最新估值，逼近20亿美元！ 总部位于巴黎的大模型初创公司Mistral AI最新一轮融资，4.87亿美元。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 投资方为安德森·霍洛维茨、英伟达、Salesforce等。 其中…
-
新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度
当前大语言模型的应用受到了序列长度限制的制约，这限制了其在人工智能领域中的应用。例如，在多轮对话、长文本理解和多模态数据处理与生成方面存在一定的挑战。造成这种限制的根本原因是目前大语言模型普遍采用的Transformer架构，其计算复杂度与序列长度呈二次关系。因此，随着序列长度的增加，计算资源的需求…
-
Agent像人一样分工协作，还能“群聊”交换信息
智能体也要有“规范手册”！ 一项名为MetaGPT的研究，通过对智能体角色进行明确分工，并要求多个智能体在协作中采用统一规范的“交流格式”等方法，让智能体性能大增。 目前，这项研究在GitHub上已狂揽33.6k星，并在深度学习顶会ICLR 2024上被收录为Oral论文。 ☞☞☞AI 智能聊天, …
-
李飞飞揭秘创业方向“空间智能”：视觉化为洞察，看见成为理解，理解导致行动
斯坦福李飞飞创业后，首次揭秘新概念“空间智能”。 这不仅是她的创业方向，也是指引她的“北极星”，被她认为是“解决人工智能难题的关键拼图”。 视觉化为洞察；看见成为理解；理解导致行动。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 在李飞飞1…
-
特斯拉 Optimus 机器人训练新进展 : 通过摄像头采集数据
11 月 3 日，有消息指出，特斯拉正在加速推进其 optimus 人形机器人项目的训练进程，并为此专门成立了一支数据采集小组，目标是让 optimus 能够实现与人类相似的自然、流畅动作。 特斯拉 Optimus 机器人 据 CNMO 获悉，在每次长达 8 小时的工作班次中，数据采集人员需反复执行…
-
华为推出准万亿参数盘古 Ultra MoE 模型 全流程在昇腾 AI 平台训练
5 月 30 日，华为推出了全新的 AI 模型——盘古 Ultra MoE，该模型的参数量达到了 7180 亿。作为一款接近万亿参数的 MoE ( Mixture of Experts ) 模型，它在整个训练过程中完全基于华为的昇腾 AI 平台完成，标志着华为在超大规模模型训练方面取得了重要进展。 …
