新眸原创·作者 | 桑明强
今年GTC大会上,黄仁勋将物理AI推到了产业舞台中央,也为AI行业划定了新的增长边界:当生成式AI完成了对数字世界的渗透与重构,下一代AI的核心命题,是走向实体、走进物理世界。
作为物理AI最核心的落地载体,具身智能本质上是对AI运行逻辑的一次重构。数字世界的大模型可以用秒级延迟换取生成质量,推理慢一点无伤大雅;但物理世界的机器人交互有刚性的实时性约束,感知、决策、动作的闭环差出几十毫秒,任务就可能直接失败。
这恰恰是当前行业普遍忽略的底层矛盾。眼下聊具身智能,话题总绕不开参数规模和数据量级,好像只要模型足够大、数据足够多,通用机器人就是水到渠成的事。但很少有人会追问一句:等模型真的大到那个程度,机器人的动作还能跟得上吗?
最近和上海交通大学ScaleLab团队负责人、助理教授穆尧聊了一个多小时,围绕他们刚发布的全新机器人操控模型AHA-WAM(异步视野自适应世界-动作模型),从技术细节聊到行业走向,聊完最直观的感受是:具身智能这趟车开了这么久,终于有人开始低头看路,盯着真正的落地死磕了。
这套由上海交通大学ScaleLab团队、上海人工智能实验室联合百度智能云共同推出的方案,最核心的动作只有一个:把机器人的场景思考和动作执行,拆成了两套不同节奏的系统异步运行。听起来算不上什么石破天惊的创举,却实实在在打破了WAM(世界-动作模型)沿用至今的同步绑定逻辑。
先说核心性能层面:无需依赖大规模机器人真实数据做预训练,就在权威仿真基准平台RoboTwin 2.0取得92.8%的平均任务成功率,超越业内主流模型。其中,真机多任务综合成功率78.3%,闭环控制频率从同类模型的5.26Hz拉到24.17Hz,提速近5倍;轻量化的AHA-WAM-Flash版本更是摸到了56.95Hz,相较传统基线提速超10倍。
简单翻译一下,就是提速不“翻车”,还更省算力。过去,具身智能行业长期存在一个两难:世界模型的推演能力越强,参数量级越高,单步推理的耗时就越长,可机器人的实时控制恰恰对闭环频率有极高要求。两者的差距拉大到一定程度,再强的模型能力也无法转化为流畅稳定的真机表现。
从这个角度,AHA-WAM打破了这个固有规律。
在穆尧看来,这些数字只是当下的结果。真正值得关注的是这套架构面向未来的延展性。当具身智能进入下半场,模型规模还会持续攀升,今天验证的异步逻辑,本质是给百亿级世界模型的商用落地,提前搭好了一副骨架。
从第一性原理出发
拆分快慢系统
传统WAM模型的运行逻辑,说起来也符合直觉。机器人每输出一个动作,都要先基于当前画面做一次完整的场景推演,预判接下来的物理变化,再据此生成控制指令。思考和行动严格绑定在同一个时间步里,想一步,动一步。
这套逻辑在模型体量不大的时候,问题还不突出。可一旦往通用化方向走,世界模型的参数规模上去了,单步推理的耗时会被快速拉长。机器人的实时控制对闭环频率又有刚性要求,落到真机上,低于10赫兹的动作就能看出明显卡顿,再叠加机械臂本身的重复定位误差,任务失败率会被抬得很高。
这是个很现实的矛盾:要更强的泛化能力,就得要更大的模型;更大的模型,就意味着更慢的反应。行业里的应对方式大多集中在模型压缩上,剪枝、量化、蒸馏,想尽办法把大模型塞进实时控制的时间窗口里。
穆尧团队从一开始就没选这条路。
他们的判断基于一个更长期的技术趋势:面向未来的强通用世界模型,体量增长是必然的。现在5B参数的视频生成模型,只是当前算力约束下的折中选择,往后还会不断迈上新的量级。压缩技术能带来的收益总有边界,没法从根源上消解这个矛盾。
既然靠压缩追不上模型增长的速度,那就换个思路:把不同性质的计算拆开,用各自合适的节奏运行。世界推演计算量大、不需要每帧都更新,那就低频运行,算完的结果缓存起来反复用;动作生成要求低延迟、高频率,那就高频输出,直接调用缓存好的场景信息。
快慢系统的拆分思路,就这么顺着两类计算的天然特性推导了出来。
思路本身不复杂,真正的门槛藏在细节里。两套系统不同步,就必然存在时间差——慢模块用旧观测算出的推演结果,等快模块执行几步动作之后,就和真实环境产生了错位。直接用旧信息指导新动作,一定会拉低成功率。
这种精度下滑的方向,团队在研究初期就从原理上预判到了。旧的观测和实时状态错配,成功率下降是必然的,只是具体降多少,最终消融实验显示,纯异步架构(不加记忆和 OVCR)会让任务成功率下降近3个百分点。
整个项目从立项到拿到稳定可复现的结果,前后走了半年时间。其中真正跑实验、测数据的阶段只占三分之一,大部分精力都花在了前期的方案探索和可行性验证上。所有最终对外公布的性能数据,每个任务都经过了 50 次以上的独立重复实验,取平均值作为最终结果。
找到了问题,就要补窟窿。快慢模块之间的信息同步与修正机制,是整套方案最核心的技术关卡。
团队给修正机制定了一条红线:绝对不能抵消异步架构带来的速度收益。如果为了补精度把修正模块做得很重,那还不如回到同步的老路上。
最终承担这个桥接功能的是OVCR模块。它没有选择重新计算完整的视觉特征,而是用少量可学习的query token,从当前实时观测里提取和任务强相关的关键信息,再通过残差更新的方式,给慢速模块输出的旧KV cache打补丁。
打个不太严谨的比方,就像你提前写好了一份行动方案,执行过程中环境有了小变化,你不用重写整份方案,只在对应的地方改几行关键内容就行。改动量很小,但足够适配当前的真实状态。
整个修正过程只涉及少量token的交互,计算开销极低。训练阶段,团队还会随机模拟快慢系统之间不同程度的时间差,让模型自主学习不同错位程度下的修补策略,适应各种级别的时间偏差。最终的效果是,几乎不损失推理速度,就抹平了异步带来的精度损耗。
算法原型跑通,只是走完了第一步。要把纸面的性能落到真实的运行环境里,还得靠工程层面的深度打磨,这也是百度智能云的百度百舸团队在项目里承担的核心角色。
高校做前沿算法研究有天然的优势,对问题的判断、对架构的创新,往往能走在产业前面。但落到算力调度、异构硬件协同、系统级推理优化这些环节,高校团队的积累通常不如产业界深厚。很多很有想法的算法原型,最后就卡在 AI Infra 工程化这一步,始终达不到工业级的性能标准。
和百度智能云的合作,刚好补上了这块短板。
百度百舸AI计算平台为项目搭建了统一的算力池,里面同时包含训练卡和渲染测试卡,不同硬件之间可以高效调度、数据共享,训练阶段保证算力利用率,测试阶段满足渲染和推理需求。同时,百度百舸团队针对AHA-WAM模型推理的全程做了系统级 AI Infra 工程优化,硬生生把单步动作推理的延迟从415毫秒压到了41毫秒。
接近10倍的延迟压缩,单靠算法调优是做不出来的,必须依赖系统层面的工程打磨。用穆尧的话说,高校出算法创新的原型,企业做 AI Infra 优化,提供工程落地的支撑,这种能力上的互补,才是校企合作最该有的样子。
在 AI Infra 工程优化的基础上,团队又通过蒸馏技术,把视频生成模型的去噪步数从10步压缩到2步,推出了轻量化的Flash版本。其中,Flash版本的闭环推理频率能跑到56.95Hz,在任务边界清晰的场景里,动作流畅度已经能摸到传统工业机器人的水平。
有意思的是,异步架构带来的速度提升,并没有伴随算力消耗的上涨。实际执行任务的时候,它的算力开销和现有主流世界模型基本持平,所有的收益都来自架构和工程层面的效率改进,而不是简单的算力堆砌。
很多人聊起 AHA-WAM,都会把它定义成一次模型提速优化。但放在物理AI的长期产业坐标系里看,它的意义其实远不止于此。
它解决的不是某一款模型的性能问题,而是物理AI规模化落地的一类共性架构难题。
剪枝、量化这类提速方案,本质都是在想办法把大模型塞进边端硬件里,天花板是清晰可见的。等模型规模走到百亿参数级别,就算做极致的量化压缩,也很难在单张消费级显卡上完整部署,更别说满足实时控制的频率要求。
到了那个阶段,云端做推演、边端做执行会成为必然的部署形态。云端和边端之间,天然就存在异步状态,这种状态没法靠压缩技术消弭。
AHA-WAM解决的,恰恰是这种被迫异步场景下的核心问题:怎么让慢节奏的云端推演结果,持续稳定地指导快节奏的边端动作执行。这套机制不依赖模型的具体体量,模型越大、端云拆分越彻底,它的价值就越突出。今天在5B模型上验证过的逻辑,未来可以直接平移到更大规模的模型上。所有成熟的压缩技术也都可以和异步架构叠加使用,进一步释放性能空间。
从这个角度看,它提供的不只是一个提速方案,更是WAM路线面向规模化落地的一种新范式。
异步架构的通用性还不止于桌面机械臂场景。移动操作机器人对世界模型的需求更强,目标物体可能不在当前视野内,需要依赖长期记忆完成导航与操作,推理时延的挑战也更大,异步方案可以天然适配这类场景。
多机器人协作同样如此,中央大脑负责全局调度与规划,端侧机器人负责实时动作调整,本身就是快慢系统的另一种形态,底层的异步协同逻辑完全共通。即使是JEPA式的隐状态动力学模型,随着模型体量增长,同样会面临推演与执行的节奏差问题,只是具体的修正机制会随模态不同而调整。
当下的具身智能赛道,关于架构创新与数据预训练的路线讨论从未停止。穆尧的判断是,两者是互补关系,其中海量数据预训练的权重更高。当下很多所谓的架构创新,只是在 Transformer基础上做局部的结构调整,带来的增益远不如精细化的数据处理与对齐。
当然这不等于架构创新没有价值。真正有价值的架构改动,应该从物理规律和数据特性的第一性原理出发。比如机器人的交互发生在三维空间,单目视觉有天然的局限,基于双目、多视角做模型设计,就比单纯调网络层结构更有底层意义。再比如推理效率的优化,模型训练一次的成本越来越高,更快的迭代速度本身就是核心竞争力,异步架构就是在这个维度上提供了长期价值。
关于数据规模,行业里也有不少认知偏差。很多团队投入几百小时的机器人数据,就期待看到性能的质变,实际上这个量级远远不够。公开资料里有个可参考的节点,数据规模达到27万小时级别,世界模型才会出现明显的能力跃迁。几百小时的数据增量,只有在训测场景高度相似的时候才会体现出效果,对通用泛化能力的提升非常有限。
这也是现在行业普遍选择基于通用视频基座做领域微调的原因。经过海量互联网视频预训练的基座,已经具备了基础的物理规律认知和视觉理解能力,补充百小时级的机器人操作数据,就能在具体任务上拿到不错的效果。如果从零开始只用机器人数据训练,几千小时也未必能达到同等的泛化水平。现在全行业都在加速采集第一视角的人类操作数据,本质都是在为更大规模的世界模型预训练攒家底。
仿真数据也是同理。模型越大,需要的仿真数据量级就越高。现在行业的仿真数据规模还远没到饱和的阶段,高质量仿真数据的生产和利用,会是个长期的课题。
聊到最后,穆尧提到了和百度智能云接下来的三个合作方向:更大规模的基础世界模型,依托云厂商的算力突破小体量模型的能力上限;人形机器人运动控制基础模型,用仿真合成数据解决真机采集成本高的问题;还有具身智能的自我进化,在仿真环境里做大规模强化学习,让模型通过自主探索实现能力迭代。
关于具身智能的“ChatGPT 时刻”,行业里已经讨论了很多年。穆尧认可的判断是,当基础模型在大多数通用任务上都能达到70分左右的水平,就算摸到了这个节点。在那之前,数据积累、架构创新、工程化落地会长期并行,没有哪条路线能单独支撑产业的跃迁。
其实聊完整场,最强烈的感受是,具身智能已经过了靠概念造势的阶段。走到下半场,没人能靠单点突破一劳永逸。AHA-WAM不是什么颠覆性的技术革命,它只是在正确的方向上,提前解决了未来一定会遇到的问题。
行业里永远不缺追热点的人,大家都盯着当下的性能榜单,争着刷新的成功率数字。但真正能走到最后的,往往是那些愿意为三年后的问题布局,愿意把每一个落地细节做扎实的团队。毕竟对技术这条路来说,走得远,从来都比跑得快更重要。
