模型压缩技术全解：知识蒸馏原理（教师模型soft labels提供更丰富信号；温度参数T控制分布平滑度；中间层特征蒸馏；序列级蒸馏（KD+SFT））；DistilBERT/DistilGPT经典案例（DistilBERT保留97%BERT性能，速度提升60%，大小减少40%；蒸馏目标：词汇分布+注意力矩阵+隐藏状态）；LLM蒸馏最新进展（Phi-3 Mini：GPT-4高质量合成数据训练的3.8B模型；Gemma 2：大模型教师数据蒸馏的小模型；Llama蒸馏实验）；任务特定蒸馏（针对目标任务数据蒸馏；领域特定学生模型；少样本蒸馏）；剪枝技术（结构化剪枝：删除完整注意力头或FFN层；非结构化剪枝：权重稀疏化；迭代剪枝+微调恢复精度）；量化与蒸馏组合（先量化再蒸馏；量化感知训练QAT；GPTQ+蒸馏组合）；压缩效果评估（任务精度vs模型大小权衡曲线）。