Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.006 — 2026-07-10
PAPER H 20 约 1 分钟

VLA导航加上语义红绿灯

给VLA导航画上红绿提示,帮机器人少被真实场景带偏。

让机器人按一句话走到目标,难点不只是“听懂”。它还要在摄像头画面里判断哪里能走、哪里是墙、桌子、楼梯这类障碍。这个工作做了一件很直观的事:先用语义分割(给图像中每个像素贴类别标签)把可通行区域标成绿色、不可通行区域标成红色,再把这张“红绿灯版”画面交给 VLA 模型。VLA 是 vision-language-action,指同时看图像、理解语言目标并输出动作的机器人模型。

论文用 SegFormer 做这个视觉标注员。它不是重新训练导航模型,而是在输入图像前加一层视觉落地(把语言目标和画面里的具体区域对上)的提示。作者测试了两种版本:只给当前观察图像加红绿分割;以及同时增强目标信息,比如给语言指令追加“走绿色区域、避开红色区域”的说明,或给目标图片也加分割。

实验对象是 OmniVLA,数据来自 Grand Tour 数据集里的 ETH-2 室内片段。按作者自述,这种做法能降低最远 waypoint 的平均误差,长指令收益比短指令更明显;但对图片目标帮助不大。更关键的是,归一化误差分析显示,它主要像一个“路线别拉太长”的约束器,缩短预测路径长度,并没有真正提升每单位距离上的推理能力。换句话说,这是一种便宜、直接、可实时的补丁,但还不是让 VLA 真正理解复杂导航的答案。


供稿材料 SOURCES — 1

← 返回 2026-07-10 · 学术板块