知识迁移

边缘计算设备，例如各种物联网 (iot) 设备，日益普及。然而，这些设备通常计算资源和存储空间有限，限制了在设备端部署大型深度神经网络 (dnn) 的能力。小型 dnn 架构虽然计算效率更高，但性能往往有所降低。 知识迁移为解决这一问题提供了一种途径，主要方法包括知识蒸馏和迁移学习。知识蒸馏通过训练…