Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.008 — 2026-07-12
PAPER H 6 约 1 分钟

Pelican-VLA先看懂,再动手

Pelican-VLA先锁定该看哪里,再生成动作,揭示机器人泛化的关键缺口。

让机器人拿杯子,难点不只是机械臂怎么动,还包括它能否先认准杯子和下手的位置。Pelican-VLA 0.5 把视觉语言理解、未来画面生成——在“脑中”预演动作后的变化——和动作预测放进同一个模型。它用一组可学习的 BotTokens,像一道信息窄门,把与操作有关的画面线索筛出来,再交给动作模块。

论文最值得注意的发现是:无需物体标注、注意力监督或任务专用微调,模型已会把注意力集中到目标物体和接触区域;换到没见过的场景和机器人身体,这种倾向仍能保留。微调前后的注意力图也高度相似,说明微调主要是在教它把“看对地方”转成可执行动作,而非从头学会观察。作者报告,经 RoboTwin 微调后,模型在 Clean 和 Randomized 设置中的成功率分别为 91.4% 和 91.0%。但零样本任务中,它只在部分任务取得非零成功率:先看懂确实有帮助,真正稳定地动手仍是尚未跨过的一步。


供稿材料 SOURCES — 1

← 返回 2026-07-12 · 学术板块