投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 科技

微软发布Phi-3，性能超Llama-3，可手机端运行

程序猿 • • 科技 • 阅读 0
数据已成为提升大模型能力的重点。
Llama-3 刚发布没多久，竞争对手就来了，而且是可以在手机上运行的小体量模型。
本周二，微软发布了自研小尺寸模型 Phi-3。
新模型有三个版本，其中 Phi-3 mini 是一个拥有 38 亿参数的语言模型，经过 3.3 万亿 token 的训练，其整体性能在学术基准和内部测试上成绩优异。
尽管 Phi-3 mini 被优化至可部署在手机上，但它的性能可以与 Mixtral 8x7B 和 GPT-3.5 等模型相媲美。微软表示，创新主要在于用于训练的数据集。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

微软发布Phi-3，性能超Llama-3，可手机端运行

与此同时，Phi-3 与 Llama-2 使用相同的架构，方便开源社区在其基础上开发。
微软发布Phi-3，性能超Llama-3，可手机端运行
此前，微软的 Phi 系列模型曾经引发了人们的热议，去年 6 月，微软发布了《Textbooks Are All You Need》论文，用规模仅为 7B token 的「教科书质量」数据训练 1.3B 参数的模型 phi-1，实现了良好的性能。
去年 9 月，微软进一步探索这条道路，让 1.3B 参数的 Transformer 架构语言模型 Phi-1.5 显示出强大的编码能力。
去年底，微软提出的 Phi-2 具备了一定的常识能力，在 2.7B 的量级上多个基准测试成绩超过 Llama2 7B、Llama2 13B、Mistral 7B 等一众先进模型。
微软发布Phi-3，性能超Llama-3，可手机端运行
Phi-3 技术报告：https://arxiv.org/abs/2404.14219
刚刚提出的 phi-3-mini 是一个在 3.3 万亿个 token 上训练的 38 亿参数语言模型。实验测试表明，phi-3-mini 的整体性能可与 Mixtral 8x7B 和 GPT-3.5 等模型相媲美，例如 phi -3-mini 在 MMLU 上达到了 69%，在 MT-bench 上达到了 8.38。
微软之前对 phi 系列模型的研究表明，高质量的「小数据」能够让较小的模型具备良好的性能。phi-3-mini 在经过严格过滤的网络数据和合成数据（类似于 phi-2）上进行训练，并进一步调整了稳健性、安全性和聊天格式。
此外，研究团队还提供了针对 4.8T token 训练的 7B 和 14B 模型的初始参数扩展结果，称为 phi-3-small 和 phi-3-medium，两者都比 phi-3-mini 能力更强。
微软发布Phi-3，性能超Llama-3，可手机端运行
学术基准
在标准开源基准测试中，phi-3-mini 与 phi-2 、Mistral-7b-v0.1、Mixtral-8x7B、Gemma 7B 、Llama-3-instruct8B 和 GPT-3.5 的比较结果如下表所示，为了确保具有可比性，所有结果都是通过完全相同的 pipeline 得到的。
微软发布Phi-3，性能超Llama-3，可手机端运行
安全性
Phi-3-mini 是根据微软负责任人工智能原则开发的。保证大模型安全的总体方法包括训练后的安全调整、红队（red-teaming）测试、自动化测试和数十个 RAI 危害类别的评估。微软利用受 [BSA+ 24] 启发修改的有用和无害偏好数据集 [BJN+ 22、JLD+ 23] 和多个内部生成的数据集来解决安全性后训练（post-training）的 RAI 危害类别。微软一个独立的 red team 反复检查了 phi-3-mini，以进一步确定后训练过程中需要改进的领域。 
根据 red team 的反馈，研究团队整理了额外的数据集从而完善后训练数据集。这一过程导致有害响应率显著降低，如图 3 所示。
微软发布Phi-3，性能超Llama-3，可手机端运行
下表显示了 phi-3-mini-4k 和 phi-3-mini-128k 与 phi-2、Mistral-7B-v0.1、Gemma 7B 的内部多轮对话 RAI 基准测试结果。该基准测试利用 GPT-4 模拟五个不同类别的多轮对话并评估模型响应。
微软发布Phi-3，性能超Llama-3，可手机端运行
缺陷
微软表示，就 LLM 能力而言，虽然 phi-3-mini 模型达到了与大型模型相似的语言理解和推理能力水平，但它在某些任务上仍然受到其规模的根本限制。例如，该模型根本没有能力存储太多「事实知识」，这可以从 TriviaQA 上的低评分中看出。不过，研究人员相信这些问题可以通过搜索引擎增强的方式来解决。
微软发布Phi-3，性能超Llama-3，可手机端运行
参考内容：https://news.ycombinator.com/item?id=40127806

以上就是微软发布Phi-3，性能超Llama-3，可手机端运行的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/797596.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月26日 16:37:59
下一篇 2025年11月26日 16:39:44

相关推荐

发表回复

登录后才能评论
关注微信