模型剪枝是什么
模型剪枝（Model Pruning）是神经网络模型压缩的核心技术之一，通过剔除冗余或重要性低的参数来缩小模型规模，同时尽量保持模型精度。
分类方式
按粒度，剪枝分为非结构化剪枝（移除单个权重，产生稀疏矩阵）和结构化剪枝（移除整行、整列、整个通道或注意力头）。结构化剪枝更受工业界青睐，因其直接减少计算量且对硬件更友好。按时机，分为训练后剪枝和剪枝即训练。
常见方法
主要方法包括：幅度剪枝（Magnitude Pruning），以权重绝对值为重要性指标，简单高效；梯度感知剪枝（如 Movement Pruning），结合梯度信息动态评估参数重要性；结构化剪枝（如 Channel Pruning），按通道或注意力头裁剪，直接加速推理。
与量化的关系
剪枝通常与模型量化配合使用，是模型优化的两大支柱。剪枝移除冗余参数，量化减少参数位宽，二者结合可达到数倍到数十倍的压缩率。