Science Robotics封面!DeepMind强化学习打造超一流机器人球员
来源:51CTO.COM
时间:2024-04-22 15:09:17 287浏览 收藏
欢迎各位小伙伴来到golang学习网,相聚于此都是缘哈哈哈!今天我给大家带来《Science Robotics封面!DeepMind强化学习打造超一流机器人球员》,这篇文章主要讲到等等知识,如果你对科技周边相关的知识非常感兴趣或者正在自学,都可以关注我,我会持续更新相关文章!当然,有什么建议也欢迎在评论留言提出!一起学习!
AI和机器人专家的长远目标,是创造出具有一般智能的代理,它们能够像动物或人类一样,在物理世界中灵活、巧妙地行动。
这不仅涉及流畅的动作组合,还包括对环境的感知与理解,以及利用身体实现复杂目标的能力。
多年来,研究者们致力于在仿真和真实环境中创造出具备复杂运动能力的智能化身代理。
最近,这一领域取得了显著的进展,其中深度强化学习发挥了至关重要的作用。
虽然尽管射箭四足机器人已经广泛应用,但人形和双足机器人的控制仍然面临诸多挑战。这些挑战包括保持稳定性、安全性以及自由度等问题。
不过,近日Google DeepMind在仿人足球领域取得了突破性进展——
研究团队展示了深度强化学习如何孕育出高质量的个体技能,如精准的踢球、快速的奔跑和灵活的转身。更将这些技能巧妙地编织成一套敏捷的反应策略。这些技能有着广泛的应用领域,如机器人、自动驾驶和游戏产业等。通过这些技能的积累和组合,可以实现更智能、更高效的智能系统,为现代社会
目前,相关成果已发表于《Science Robotics》,并成为该期的封面论文。
论文地址:https://www.science.org/doi/10.1126/scirobotics.adi8022
ROBOTIS OP3机器人平台
研究人员采用ROBOTIS OP3机器人平台,这款微型仿人机器人经济实惠,拥有20个可控关节,其灵活性足以应对复杂的足球动作。
在训练中,机器人仅依靠板载传感器如关节位置加速计和陀螺仪来感知环境,并通过板载计算机计算目标关节角度,实现精准的动作执行。
为了确保机器人能够实时掌握球场动态,研究团队还使用了实时运动捕捉系统,实时监测两个机器人和球的位置。
简化足球比赛验证技能与策略
为了测试这些技能的实战效果,研究人员精心设计了一场简化的单对单足球比赛。
在这个竞技场上,两位「选手」——两台仿人足球机器人,展开了激烈的较量。
球赛的规则为:进球者获得奖励,过于靠近对手则会受到惩罚。
这种巧妙的游戏设定,使得机器人能够在不断试错中,逐步学会如何在激烈的对抗中保持优势。
Teacher策略提炼与Student策略集成
在训练过程中,研究人员采用了分布式MPO这一非策略强化学习算法,对机器人进行了多阶段的仿真训练。
他们首先训练了两个teacher策略,分别负责站立和射门,随后通过KL正则化方法将这两个策略融合,形成一个student策略。
随着训练的深入,正则化逐渐减弱,最终行为得以自由优化任务奖励。
仿真训练对于机器人技能的磨练至关重要,但如何确保这些技能能够安全稳健地应用于真实机器人,是另一个巨大的挑战。
为此,研究团队在训练和仿真中加入了多种噪音,如观测噪音和仿真动力学模型扰动,以增强机器人的鲁棒性。
同时,他们还增加了仿真中的延迟,同时尽降低真实机器人控制软件中的延迟,确保机器人能够迅速响应。
鉴于机器人在进行动态踢踏运动时,其齿轮容易受到瞬时冲击的影响,特别是膝盖部位容易因此受损。
为了显著降低机器人在游戏过程中由于高扭矩所引发的损坏风险,研究团队在仿真环境中特别针对膝关节产生的高扭矩设定了惩罚机制。
通过这一措施,成功地引导机器人学习和采用更为柔和、稳定的步态,显著提高了其运动的安全性和稳定性。
实战表现展现高层次战略意识
经过这一系列训练,机器人展现出了令人惊叹的足球技能。
它们不仅能够快速起身和行走,还能在比赛中灵活应对各种情况,如拒绝干扰、从跌倒中恢复、快速转身射门和拦截移动中的球。
更令人惊讶的是,它们还表现出了高水平的战略行为。比如,机器人会巧妙地利用位置优势,防御性地阻挡对手的射门,展现出与真实球员不相上下的竞技水平。
好了,本文到此结束,带大家了解了《Science Robotics封面!DeepMind强化学习打造超一流机器人球员》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多科技周边知识!
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
234 收藏
-
192 收藏
-
353 收藏
-
306 收藏
-
185 收藏
-
300 收藏
-
128 收藏
-
448 收藏
-
142 收藏
-
341 收藏
-
193 收藏
-
420 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习