剪枝

量化、剪枝、蒸馏，如果你经常关注大语言模型，一定会看到这几个词，单看这几个字，单看这几个字，我们很难理解它们都干了什么，但是这几个词对于现阶段的大语言模型发展特别重要。这篇文章就带大家来认识认识它们，理解其中的原理。 模型压缩 量化、剪枝、蒸馏，其实是通用的神经网络模型压缩技术，不是大语言模型专有的…