个复
-
北大提出首个复数大模型，2 比特量化，推理仅加法，可手机部署！
首个复数大模型！北大推出 2 比特超低比特量化新方案。 当前，大模型在推理过程中往往面临巨大的存储与计算开销，主要原因在于模型权重普遍采用 FP16 格式存储，占用大量空间。 北京大学研究团队首次提出 iFairy 方案，将模型权重量化至复数集合 {+1, -1, +i, -i}。 这四个数值恰好可…
*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通
首个复数大模型！北大推出 2 比特超低比特量化新方案。 当前，大模型在推理过程中往往面临巨大的存储与计算开销，主要原因在于模型权重普遍采用 FP16 格式存储，占用大量空间。 北京大学研究团队首次提出 iFairy 方案，将模型权重量化至复数集合 {+1, -1, +i, -i}。 这四个数值恰好可…
