LeCun团队新作：在世界模型中导航

学习知识要善于思考，思考，再思考！今天golang学习网小编就给大家带来《LeCun团队新作：在世界模型中导航》，以下内容主要包含等知识点，如果你正在学习或准备学习科技周边，就都不要错过本文啦~让我们一起来看看吧，能帮助到你就更好了！

Meta FAIR 的 Yann LeCun 团队近期发布了导航世界模型（Navigation World Models，NWM），该模型能够基于单张图像生成连续一致的视频，并在已知和未知环境中执行导航和路径规划任务。 这与谷歌 DeepMind 的 Genie-2 模型类似，但更侧重于导航能力。 NWM 使用一种高效的条件扩散 Transformer (CDiT) 架构，即使参数量达到10亿，计算需求也相对较小。

NWM 的主要能力体现在以下几个方面：

• 已知环境轨迹追踪: 基于单张图像和给定的动作序列，NWM 能生成准确的连续视频，展现出良好的场景理解能力。（示例GIF见原文）

• 未知环境导航: 即使是在训练中从未见过的环境，NWM 也能根据输入动作预测后续图像帧，实现自主导航。（示例GIF见原文）

• 路径规划: NWM 可以与外部导航策略（如NoMaD）结合，对生成的轨迹进行评估和排序，选择最佳路径。（示例GIF见原文）

与其他模型相比，NWM 在视频一致性、稳定性和动作执行效果方面表现更出色。（示例GIF见原文）

NWM 的核心是其条件扩散 Transformer (CDiT) 架构，通过限制注意力机制并整合交叉注意力层，实现了高效的时间自回归建模。 研究团队在多个机器人导航数据集（如TartanDrive、RECON、HuRoN）上进行了实验，结果表明 NWM 在轨迹预测和导航规划方面达到了先进水平，尤其是在结合外部策略进行轨迹排序时，性能更为突出。 此外，在未标注数据上的训练也提升了 NWM 在未知环境中的泛化能力，尽管仍存在一些局限性，例如在长时间预测中可能出现幻觉。 (具体实验结果和图表请参考原文)

论文链接：https://arxiv.org/pdf/2412.03572v1 项目链接：https://www.amirbar.net/nwm/

好了，本文到此结束，带大家了解了《LeCun团队新作：在世界模型中导航》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多科技周边知识！