金鱼损
-
大模型“记性差一点”反而更聪明！金鱼损失随机剔除 token，让 AI 不再死记硬背
训练大模型时，适度“健忘”反而更聪明！ 大语言模型若缺乏约束，容易直接照搬训练数据。为应对这一挑战，马里兰大学、图宾根大学与马普所的研究团队提出了一种新颖方法——金鱼损失（Goldfish Loss）。 顾名思义，金鱼损失旨在让模型像金鱼一样“记性差”，在计算损失函数时随机忽略一小部分 token。…
*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通
训练大模型时，适度“健忘”反而更聪明！ 大语言模型若缺乏约束，容易直接照搬训练数据。为应对这一挑战，马里兰大学、图宾根大学与马普所的研究团队提出了一种新颖方法——金鱼损失（Goldfish Loss）。 顾名思义，金鱼损失旨在让模型像金鱼一样“记性差”，在计算损失函数时随机忽略一小部分 token。…
