深度学习模型压缩概述

Posted on | In | | 阅读数

深度学习模型压缩概述

2023.4.27

b站：先进编译实验室 深度学习模型压缩概述 魏铭康

模型压缩方法：

  • 剪枝：修建不重要的网络连接
  • 量化：将连续型数据量化为低位宽离散数据
  • 知识蒸馏：大模型指导小模型学习
  • 低秩分解：通过低秩矩阵近似原矩阵
  • 轻量化网络：使用轻量化卷积核代替传统卷积
  • 网络结构搜索：自动化地设计优异网络模型
image-20230427113852965

低秩分解

分解方法：

  • SVD分解
  • CP分解：把n维张量分解成r个2维张量（r是矩阵的秩）
  • Tucker分解
  • Tensor Train分解

CP分解：

image-20230427121107496

CP分解：

image-20230427121052117

轻量化网络

image-20230427121300243 image-20230427121834452