深度专题 FEATURES — 3
机器人世界模型先学会看骨架
SkeLAM 先用机器人骨架校准视频里的“动作代号”,让世界模型更懂什么动作真的可执行。
预训练换挡,数据与学习率要同步
中训不只是换数据:同一数据配比,学习率不同,效果排名甚至会反转。
智能体记忆,可能是一笔负资产
预先整理的记忆可能既贵又丢信息;小型实验显示,强模型搜索原始记录更划算。
速览 BRIEFS — 8
PAPER
世界模型画对了,也可能算错回报
世界模型画面逼真,仍可能误判行动价值;真正左右规划的是少数关键事件。
PAPER
长上下文预训练别停得太早
百亿级长文本训练仍未见饱和,一条经验曲线帮团队估算何时该继续投入。
PAPER
推测解码的新目标,收益或被高估
让大模型重写训练答案后,复杂草稿训练目标的额外收益明显缩水。
PAPER
2:4稀疏还值得押注吗
真实 GPU 实测显示:低精度仍可用时,2:4 稀疏不如继续量化;到底后才有优势。
PAPER
量化模型用自己的轨迹找回推理
OnQ让低比特模型沿自己的推理轨迹受教,减少越想越偏和答不完。
PAPER
一个动作,多种表述只算一次
EMPO把“说法不同、动作相同”的回答合并更新,让长程智能体记功更贴近真实交互。
PAPER
单段人类视频也能扩成机器人训练集
一段人类操作视频,可扩成数千条跨物体、跨场景的机器人示范。
PAPER
深度搜索智能体开始拆解错误来源
这套基准不只看智能体答没答对,还沿执行轨迹追查它究竟在哪一步失手。