原来早在 2017 年，百度就进行过 Scaling Law 的相关研究，并且通过实证研究验证了深度学习模型的泛化误差和模型大小随着训练集规模的增长而呈现出可预测的幂律 scaling 关系。只是，他们当时用的是 LSTM，而非 Transformer，也没有将相关发现命名为「Scaling Law」。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
论文标题：scaling laws for neural language models
论文链接：https://arxiv.org/pdf/2001.08361
百度·度咔剪辑
度咔剪辑，百度旗下独立视频剪辑App
3 查看详情
图源：https://xueqiu.com/8973695164/312384612。发布者：@pacificwater
。在这里，ε 是泛化误差，m 是训练集中的样本数量，α 是问题的一个常数属性。β_g= −0.5 或−1 是定义学习曲线陡峭度的 scaling 指数 —— 即通过增加更多的训练样本，一个模型家族可以多快地学习。不过，在实际应用中，研究者发现，β_g 通常在−0.07 和−0.35 之间，这些指数是先前理论工作未能解释的。
神经机器翻译学习曲线。
单词语言模型的学习曲线和模型大小结果和趋势。
字符语言模型的学习曲线和模型大小结果和趋势。
ResNet 图像分类任务上的学习曲线和模型大小结果和趋势。
DS2 和注意力语音模型的学习曲线（左），以及不同 DS2 模型尺寸（1.7M ~ 87M 参数）的学习曲线（右）。以上就是遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/405583.html
微信扫一扫 
支付宝扫一扫 
