ntc显存压缩什么时候用?

NTC显存压缩在训练大模型时特别有用，比如处理GPT、LLaMA这类参数量超大的网络。显存不够时，压缩能节省30%到50%空间，让你用更便宜的显卡跑实验。压缩后速度会慢一点，但总比卡死强，适合学生党和小团队。

压缩也有缺点，精度会损失一点点，对推理影响不大，但训练时可能不稳定。如果显存足够，比如用A100显卡，直接开全精度更省心。压缩是临时方案，真正解决问题还是得靠硬件升级或者分布式训练。