标签：模型压缩

模型量化：把大模型塞进手机里发生了什么

• 2026-05-20
• 人工智能
• 0 评

问题一个 70 亿参数（7B）的模型，如果用 FP16（半精度浮点，每参数 2 字节）存储，仅权重就需要约 14GB 显存。普通手机根本没…

知识蒸馏：让小模型学会大模型的本事

• 2026-04-05
• 人工智能
• 0 评

要解决的问题大模型能力强，但推理成本高。小模型便宜，但能力弱，且直接训练小模型难以达到大模型的水平。知识蒸馏（Knowledge…