llama
-
3倍生成速度还降内存成本，超越Medusa2的高效解码框架终于来了
高效解码n -token序列，cllms+jacobi解码框架。 传统上，大型语言模型（LLMs）被认为是顺序解码器，逐个解码每个token。 来自上海交通大学、加利福尼亚大学的研究团队展示了预训练的LLMs可以轻松地被教导成为高效的并行解码器，并介绍了一种新的并行解码器族，称为一致性大语言模型（C…
-
Flash Attention稳定吗？Meta、哈佛发现其模型权重偏差呈现数量级波动
Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差，提供了新的研究框架。 据所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个GPU。以LLaMA2 70B模型为例，其训练总共需要1,720,320个GPU小时。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性…
-
无需OpenAI数据，跻身代码大模型榜单！UIUC发布StarCoder-15B-Instruct
在软件技术的前沿，UIUC张令明组携手BigCode组织的研究者，近日公布了StarCoder2-15B-Instruct代码大模型。 这一创新成果在代码生成任务取得了显著突破，成功超越CodeLlama-70B-Instruct，登上代码生成性能榜单之巅。 ☞☞☞AI 智能聊天, 问答助手, AI…
-
时隔一年Falcon回归！110亿参数5.5万亿token，性能超越Llama 3
这几天，全世界的目光仿佛都被OpenAI发布的GPT-4o所吸引，与此同时，OpenAI的挑战者们也在同步创造历史。 就在5月14日，阿布扎比先进技术研究委员会（ATRC）下属的技术创新研究所（TII），发布了新一代的Falcon 2模型。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费…
-
众包新玩法！LLM竞技场诞生基准测试，严格分离学渣学霸
大模型排行榜哪家强？还看LLM竞技场~ 截至此刻，已有共计90名LLM加入战斗，用户总投票数超过了77万。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 图片 然而，在网友们吃瓜调侃新模型冲榜、老模型丧失尊严的同时， 人家竞技场背后的组织L…
-
ICML 2024 | 脱离LoRA架构，训练参数大幅减少，新型傅立叶微调来了
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@ji…
-
LLM | 偏好学习算法并不学习偏好排序
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 图片 一、结论写在前面 偏好学习算法（preference learning algorithms）如rlhf和dpo）常用于引导大型语言模型（llms）生成更符合人类偏好的内容。但是，文献对其…
-
英伟达开源最强通用模型Nemotron-4 340B
性能超越 llama-3，主要用于合成数据。 Freepik Mystic Freepik Mystic 是一款革命性的AI图像生成器，可以直接生成全高清图像 127 查看详情 英伟达的通用大模型 Nemotron，开源了最新的 3400 亿参数版本。本周五，英伟达宣布推出 Nemotron-4 3…
-
大模型+蒙特卡洛树搜索，一招让LLaMa-3 8B奥数水平直逼GPT-4
通过算法层面的创新，未来大语言模型做数学题的水平会不断地提高。 这几天，17 岁中专生姜萍在 2024 阿里巴巴全球数学竞赛预选赛中取得全球第 12 名的新闻刷了屏。而同时，AI 挑战赛的成绩显示，在所有 563 支 AI 参赛队伍中，最高分 34 分，平均分 18 分，赶上了人类选手平均水平。 A…
-
CIO应重点关注的领域，以维持GenAI的势头
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 新CG儿 数字视觉分享平台 | AE模板_视频素材 412 查看详情 GenAI仍然是大多数企业的首要投资重点，而且期望值很高。根据普华永道的最新调查，美国61%的CEO预期AI将改变他们的业务…
