训练

随着 Sora 发布成功，视频 DiT 模型引起了广泛关注和讨论。设计稳定的超大规模神经网络一直是视觉生成领域研究的重点。DiT 模型的成功为图像生成的规模化带来了新的可能性。 然而，由于视频数据的高度结构化和复杂性，将 DiT 扩展到视频生成领域是一项具有挑战性的任务。一支由上海人工智能实验室的研…

在计算机科学领域，图形结构由节点（代表实体）和边（表示实体之间的关系）构成。 图无处不在。 互联网可以被视为一个庞大的网络，搜索引擎利用图形化的方式来组织和展示信息。 LLMs主要在常规文本上训练，因此将图转化为LLMs可理解的文本是一项具有挑战性的任务，因为图结构与文本有着根本的不同。 在ICLR…

微软高层大变动。 一切都由纳德拉任命新AI主管引发。 这不，上周DeepMind联创苏莱曼刚成为微软全新AI部门CEO—— 这周，必应负责人就突然被宣布：卸任了。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 这位高管在微软累积工作11年有…

2019年，《麻省理工科技评论》报道了一份关于中国人工智能人才库增长速度的报告。报告的主要发现非常有趣：在过去十年中，来自中国的人工智能精英学者数量翻了10倍，但留在中国工作的人相对较少。 本周，一份报告揭示了智库背后的最新分析报告，显示了全球人工智能人才的构成自此之后发生了怎样的变化——在这个关键…

0. 这篇文章干了啥？ 提出了DepthFM：一个多功能且快速的最先进的生成式单目深度估计模型。除了传统的深度估计任务外，DepthFM还展示了在深度修复等下游任务中的最先进能力。DepthFM效率高，可以在少数推理步骤内合成深度图。 下面一起来阅读一下这项工作~ 1. 论文信息 标题：DepthF…

想了解更多AIGC的内容，请访问： 51cto ai.x社区 https://www.51cto.com/aigc/ 最近，有很多人在为 AI 代替自己的工作而担忧。 上个月火遍AI圈的「首位 AI 程序员」Devin，利用大模型能力已经掌握了全栈技能，仅需要人类给出自然语言指令，就可以自动完成复杂…

想了解更多aigc的内容， 请访问：51CTO AI.x社区 https://www.51cto.com/aigc/ “只需”10万美元，训练Llama-2级别的大模型。 尺寸更小但性能不减的MoE模型来了： 它叫JetMoE，来自MIT、普林斯顿等研究机构。 性能妥妥超过同等规模的Llama-2。…

大语言模型的「逆转诅咒」，被解开了！ 这个诅咒在去年9月首次被发现，一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 由于风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”：一个…

虽然谷歌的Bard翻车了，但谷歌的AI实力仍然不容小觑。 自开年以来，由Jeff Dean领衔的Google Research年终总结系列「Google Research, 2022 & beyond」一直在持续更新，最近也是更新到了第四期。 本期以「提升模型效率」为主题，一起看看谷歌工程师…

这次分享将系统性的分析在 AI 模型训练过程中的主要性能瓶颈，以及当前针对这些瓶颈的主要的加速方案和技术原理，并介绍百度智能云在这方面的一些实践成果。 今天的分享，主要包括三个部分： 首先介绍我们为什么需要做 AI 训练加速，也就是整体背景和出发点是什么； 第二部分我们会系统性的分析实际训练过程中的…