随风今日头条今日热点资讯聚合 · 实时更新
实时 · 0.37s
首页 > 热点 > 正文
← 返回列表

智元稚晖君新作:机器人走出大楼走了 96 米,导航模型终于落地了

智能纪元AGI 2026-11-17 10:11 评论 0 赞 0 原文
智元稚晖君新作:机器人走出大楼走了 96 米,导航模型终于落地了

一句话任务,机器人要穿过大厅、玻璃门和马路

论文给的任务指令很直接。出门右转,走过对面第二栋楼的 Lawson,买一杯咖啡。

接话的是灵犀 X2 双足人形。它拿到的只有这句话和自己头部相机拍到的 RGB 画面。手里没有现场地图,也没有预置参考路线。全程要过房间、穿门、走室外,路上还有行人、推车和清扫机器人。

这套系统叫 X-Nav。按作者说法,这是第一个被公开报告、让双足人形凭语言指令完成室内到室外长时程任务的系统。

核心作者署名是智元机器人联合创始人、总裁兼CTO彭志辉(稚晖君)。

智元稚晖君新作:机器人走出大楼走了 96 米,导航模型终于落地了

benchmark 上的高分,到真机上为什么不好使

先把问题拆开。过去两年导航模型在 R2R-CE、RxR-CE 这类连续环境基准上成功率从 37% 一路推到 70% 以上,训练样本堆到上千万。但一到真机,公开报告的路线往往只有几十米,要么纯室内,要么纯室外。

差距被论文归到三个地方。

第一是任务本身。基准里的一个 episode 只有 10 到 15 米,场景是扫描模型,相机固定高度,每一步都严格执行,场景里没有移动的东西,离目标 3 米内停下就算成功。真机任务把这些假设全部打破。路线长好几倍,镜头随步态上下晃动,实际迈出的步和指令不一定一致,人、车、推车横穿路径,而且送到商店就得停在门口,差几米不算完成。

第二是数据。现有导航数据大多采自扫描室内场景和仿真相机,里面既没有将来要干活的那个场地,也没有这台机器人自己的视角、步态和停车习惯。作者的判断很明确,再加多少同构样本都补不上缺失的那部分,先问要什么类型的数据,再谈数量。

第三是部署。训练好的模型不等于会走路的机器人。额外相机要装,短句要拆成子任务,每次停车要复核,预测目标在走动中要保持有效,静态动态障碍要绕,最后几米要对准目标。这些环节没有一个写在模型权重里。

X-Nav 的工程框架,分三件套

整套系统由数据引擎、MELIOR 导航模型、X-Navarch 智能体工作流三层构成。

数据引擎走三条互补来源。开源场景路线出规模和多样性,对应 X-Nav-Syn。现场数字孪生路线出场地布局和外观,对应 X-Nav-Twin。真机路线出这台机器人自己的画面和运动,对应 X-Nav-Real。

模型层是 MELIOR,只吃头部单目前视 RGB,画面规格 640×480,水平视场角 79 度。它有两个出口版本。X-Navarch 是上层工作流,把一句模糊指令拆成子任务,调度模型和专用技能完成整段任务。

数据不是越多越好,是三层各补一块短板

最大的一块来自仿真与开源场景。导航样本共 631 万条,其中 R2R 贡献 63.7 万,RxR 贡献 188.9 万,SRDF 贡献 267.1 万,自研 X-Nav-Syn 贡献 111.4 万。模型 SFT 总样本 855.2 万,导航样本占 73.8%,其余 26.2% 混入 LLaVA-Video 视频理解和 VSI-590K 空间推理样本,用来保住骨干的视觉语言能力,避免导航微调把通用能力冲掉。

中间一层是现场数字孪生。手持设备扫描场地,3DGS 负责外观渲染,网格加占用层负责深度和可通行性。在孪生里规划参考轨迹,再让当前策略跑一遍,用参考规划器给跑偏和停车错误打标签,形成恢复窗口和停车边界窗口。办公室大厅 500 条轨迹设定下共 48006 个训练窗口,其中 15602 个是纠错窗口,参考、恢复、停车边界的配比是 67.5%、20.0%、12.5%。

最底层是真机采集,直接在灵犀 X2 上记录机载 RGB 和实际动作,覆盖步态造成的视角抖动和真实停车位置。训练分两阶段,先 SFT,再进仿真用 DAgger 方式收集专家纠错样本做二次微调。

MELIOR-A 管动作,MELIOR-N 管目标点

两个版本共用一套输入契约,都是自回归视觉语言模型,收到指令、当前帧和最多 7 帧历史,差异只在输出。

MELIOR-A 输出动作序列,动作集合只有前进、左转、右转、停止四种。前进一步 0.25 米,转角 15 度,一次决策最多给 4 个动作。这套 token 和基准动作空间一致,所以可以直接上 R2R-CE 和 RxR-CE 打分。真机上一次推理的动作合并成一个相对位姿目标交给 locomotion 控制器,覆盖最多约 1 米行走。骨干是 Qwen3-VL-8B,训练约 4450 个 H20 GPU 小时。

MELIOR-N 输出一个导航目标,分四种模式。看得见就给画面里的像素目标点,看不见就给极坐标距离方位和抵达朝向,只需要原地转身就输出转向角,任务结束输出停止。骨干是 Qwen3.5-4B,训练约 3115 个 GPU 小时。

最后几米交给 MELIOR-X,路线和接近分开处理

长路线靠隐式导航,端到端模型映射指令和画面到动作或目标。但到了具体物体门口,端到端模型更常走到目标附近,未必能精准停下,小目标、遮挡、视角变化时它的内部表示也无法检查。

所以单独做了 MELIOR-X 这个显式技能。LocateAnything-3B 先从画面提出最多三个候选框,紧凑 VLM 验证器按类别、颜色、外观、结构和姿态打分,YES 减 NO 的 logits 过 sigmoid,分数 0.5 以上保留,取最高。连续两次语义确认才初始化跟踪。

跟踪交给 SAM3,20Hz 推进 mask,普通帧不调用语言模型,只有重新确认时才做语义判断。mask 内投影 LiDAR 点,按前景深度窗口筛点,取坐标中位数得到目标在机身上的位置,换算距离和方位。接近目标时切到下倾 RGB-D 相机重新锁定。整个显式目标状态包括 mask 和位置,事后可检查。

X-Navarch 把模型串成能跑完整任务的流程

上层 planner 基于 NavGPT-3 公开运行时,是个多模态语言模型。它一次只定一个子任务,路线句交给 MELIOR-N,目标查询交给 MELIOR-X。技能交还控制权后,planner 看当前帧复核结果,决定继续下一段、改写指令纠正当前段,还是结束任务。模型输出的停止只结束子任务,整段任务是否完成由 planner 判定。任务中途可以随时换指令。

真机链路上还有两个关键补丁。一是 goal adapter,模型预测用的是旧帧,机器人还在走,所以像素点沿射线取 LiDAR 测距,在采集时刻锚定到里程计坐标系,发布时再换算回机身,推理耗时和网络延迟不会把目标点带偏。二是三层避障,planner 在交接帧里命名障碍和绕行侧,MELIOR-N 把目标落在空地上,局部避障层在目标位姿和控制器之间规划局部路径,绕静态障碍、让行动态障碍、路径被堵就停。全程不用地图,LiDAR 和里程计只服务目标接近和底层控制。

真机实测,两段任务的硬数据

第一段用 MELIOR-A 直跑。路线总长 96.6 米,用时 3 分 24 秒,室内 34.2 米,室外 62.4 米。

时间线上有四个关键事件。走出 9.1 米后操作员中途更换目的地。34.2 米处穿过玻璃门,室内窄墙环境切换到傍晚低角度阳光和开阔室外,同一模型继续走。63.7 到 65.5 米之间等一辆车和行人通过,停了 24 秒。85.9 米看到店招,96.6 米停在门口。

第二段走 X-Navarch 加 MELIOR-N。指令先是去自动售货机买水,启动后换成出门右转找第二栋楼的 Lawson 买咖啡。路线包含 3 个动态障碍,一辆推车、一台扫地机器人、一名行人;2 个静态障碍,一台停放机器人、一组招牌锥桶;还有两条窄通道。无地图、无参考路线,机器人抵达商店。

现场适配的增益,主要来自纠错数据

孪生适配实验冻结主干,只训 LoRA rank64 适配器。只拿参考轨迹训练时,孪生内闭环 SR@3 米是 40%,STOP-SR@3 米 34%,导航误差 9.63 米,100 局里 52 局持续碰撞。加入纠错窗口后,SR@3 米到 80%,STOP-SR@3 米到 78%,误差降到 3.36 米,持续碰撞降到 3 局。

但论文没有回避短板。1 米内精准停车 SR@1 米反而从 28% 降到 20%。纠错数据解决了跑偏和碰撞,把机器人带到目标附近,对准门口这种厘米级停车仍是开放问题。

基准成绩,单前视 RGB 组内第一档

R2R-CE 上 MELIOR-N 成功率 70.5%,导航误差 3.34 米,SPL65.1%,是单前视 RGB 方法里的最佳值。OSR73.6%,只比 LightNav-0 的 73.7% 低 0.1 个点。MELIOR-A 在 R2R-CE 为 66.1%,RxR-CE 为 64.3%。MELIOR-N 在 RxR-CE 成功率 60.9%,弱于该组最强方法。用全景输入、地图工具规划器或更大规模训练的系统分数更高,被作者列作参考组。

全文核心总结

核心问题判断,仿真基准和真机任务之间隔着三层缺口,任务定义偏窄、数据缺现场与本体、部署缺完整链路。补缺口的前提是重新定义任务,按 mission 而非 episode 来设计系统。

工程框架 X-Nav,数据引擎三路并行覆盖规模、场地、本体,MELIOR 双出口适配动作控制与目标点导航,X-Navarch 负责任务拆解、交接复核、延迟补偿与避障串联。

核心方法贡献,数字孪生加纠错窗口的闭环适配流程,在不上真机的前提下把 3 米内成功率从 40% 拉到 80%;路线跟随与目标接近显式分离,最后几米用语义跟踪加几何测距补端到端模型的短板。

关键实测结论,灵犀 X2 完成 96.6 米室内外连贯任务,支持中途改指令、穿门、让车让人、绕动静障碍;单前视 RGB 基准成绩进入第一档。

局限要讲清楚,目前只跑单层单路线,楼梯、电梯、需要手动推开的门不在能力内,现场适配只验证了一个站点,1 米内精准停车尚未解决。后续方向是数据缩放实验、跨任务持久空间记忆场景图,以及导航目标和 locomotion 控制器之间的学习型局部策略。

行业视角

这份报告的价值不在模型分数本身。MELIOR-N 在 RxR-CE 上并不拔尖,真正值得看的是它把 "从数据到部署" 整条链路压到一台真机上闭环。行业里谈具身智能习惯盯模型规模,这篇论文给的反证是,场地数据、纠错数据、本体视角数据和部署工程组件,同样是决定机器人能不能到工位的硬门槛。智元提出的 Worken 口径把活跃机器人数、自主工作时长、产出效率相乘,前提正是机器人能自己走到干活的地方。X-Nav 补的就是这一步。

评论 共 0 条 · 0.23s

暂无评论。