首页>科技 > 正文

世界模型WHALE来了!

2024-11-23 10:34:14来源:人民邮电报

人类能够在脑海中设想一个想象中的世界,以预测不同的动作可能导致不同的结果。受人类智能这方面的启发,世界模型被设计用于抽象化现实世界的动态,并提供这种“如果……会怎样”的预测。

因此,具身智能体可以与世界模型进行交互,而不是直接与现实世界环境交互,以生成模拟数据,这些数据可以用于各种下游任务,包括反事实预测、离线策略评估、离线强化学习。

世界模型在具身环境的决策中起着至关重要的作用,使得在现实世界中成本高昂的探索成为可能。为了促进有效的决策,世界模型必须具备强大的泛化能力,以支持分布外(OOD)区域的想象,并提供可靠的不确定性估计来评估模拟体验的可信度,这两者都对之前的可扩展方法提出了重大挑战。

近日,来自南京大学、南栖仙策等机构的研究者在论文中引入了WHALE(World models with beHavior-conditioning and retrAcing-rollout LEarning),这是一个用于学习可泛化世界模型的框架,由两种可以与任何神经网络架构普遍结合的关键技术组成。

在确定策略分布差异是泛化误差的主要来源的基础上,研究者引入了一种行为—条件(behavior-conditioning)技术来增强世界模型的泛化能力,该技术建立在策略条件模型学习的概念之上,旨在使模型能够主动适应不同的行为,以减小分布偏移引起的外推误差。此外,研究者还提出了一种简单而有效的技术,称为retracing-rollout,以便对模型想象进行有效的不确定性估计,作为一种即插即用的解决方案,可以有效地应用于各种实施任务中的末端执行器姿态控制,而无需对训练过程进行任何更改。

通过整合WHALE的这两种技术,研究者提出了WHALE-ST,这是一种可扩展的基于时空transformer的世界模型,旨在实现更有效的决策。研究者进一步提出了WHALE-X,这是一个在970K机器人演示上预训练的414M参数世界模型。最后,研究者进行了大量的实验,以证明WHALE-ST和WHALE-X在模拟和现实世界任务中的卓越可扩展性与泛化性,突出了它们在增强决策方面的效果。

为了评估WHALE-X在实际物理环境中的泛化能力,研究团队在ARX5机器人上进行了全面实验。与预训练数据不同,评估任务调整了摄像机角度和背景等,增加了对世界模型的挑战。他们收集了每个任务60条轨迹的数据集用于微调,任务包括开箱、推盘、投球和移动瓶子,还设计了多个模型从未接触过的任务来测试模型的视觉、运动和任务泛化能力。

结果显示,WHALE-X在真实世界中展现出明显的优势:与没有行为—条件的模型相比,WHALEX的一致性提高了63%,表明该机制显著提升了OOD泛化能力;在97万个样本上进行预训练的WHALE-X,比从零开始训练的模型具有更高的一致性,凸显了大规模互联网数据预训练的优势;增加模型参数能够提升世界模型的泛化能力,WHALE-X-base(203M)动态模型在三个未见任务中的一致性比率是77M版本的3倍。此外,视频生成质量与一致性的结果一致。通过行为—条件策略、大规模预训练数据集和扩展模型参数,三种策略结合,显著提高了模型的OOD泛化能力,尤其是在生成高质量视频方面。

标签:

责任编辑:

免责声明

头条新闻

最新新闻

精彩放送