多张加速卡一起训练大模型，像一群人共同修改同一份稿子：每轮都要互相发送“该怎么改”的建议。这里的建议叫梯度——它决定模型参数往哪调、调多少。模型越大，这些数据越容易堵在卡与卡之间。用FP8低精度格式传输能把数据缩短，但也可能把关键方向压歪。
GIFT的办法是先换一套更合适的坐标。梯度在不同方向上的尺度常差很多，直接压缩就像把高低悬殊的地形塞进同一把刻度尺。GIFT先把它变换到尺度更均匀的空间，再量化；为控制额外计算，只对最怕压缩误差的层使用简化的几何变换，其余层仍按普通方式处理。它不改优化器、训练配方或通信流程。
作者在64颗NVIDIA GH200 Superchip上预训练Llama-600M时报告：相比FP32，梯度传输量减少75%，端到端训练时间缩短7.6%；直接使用普通FP8可缩短10.79%，但GIFT对下游任务表现的保留更好。换句话说，它牺牲一部分纯粹的提速，换取更接近高精度训练的更新方向；目前证据仍限于论文所测的300M与600M模型。