您现在所在的位置:首页 >关于奇酷 > 行业动态 > OpenAI机械右手玩转魔方!人类也难以做到!

OpenAI机械右手玩转魔方!人类也难以做到!

来源:奇酷教育 发表于:

OpenAI官方为这只AI机械手玩转魔方!

  OpenAI官方为这只AI机械手激动了:
 
  “机器人的前所未有之境,就算人类也难以做到。”
 
  说的啥新进展?单手玩魔方。
 
  相比之下,人类新手能稳稳拿住魔方都不容易:
 
  而且不仅玩得转魔方,捆绑Play也不在话下。
 
  没人告诉它该怎么调配手指,还需要克服人类强行使的各种绊子,但AI机械手可以随时调整不断学习,最后最短时间内完成魔方翻转。
 
  这就是OpenAI用强化学习最新训练出的AI系统。
 
  并且,还是单手操作。
 
  视频一经放出,迅速蹿红推特,揽下6000+点赞,网友惊呼:
 
  AI玩魔方都玩得比我好了!
  这事儿不简单
 
  且不说量子位这样的手残党,单手恢复魔方,对于普通人类而言也并不简单。
 
  不信的话,随便拿起身边一个直径6厘米的块状物体,单手转起来。小心拿稳了,砸到脚还挺疼的(别问我怎么知道的)。
 
  而对机械手来说,问题就更复杂了。
 
  机械手远没有人手这样灵活,抓取力度控制也挑战不小。
 
  就算是“媲美”人手,能使用的场景或泛化迁移能力,也道阻且长。
 
  比如这位MIT工程师,就吃过大亏:
 
  △生活大爆炸
 
  而更大的挑战,是现实世界中复杂的物理参数。
 
  在玩魔方这个任务当中,机械手跟魔方之间的摩擦力、弹性和其他动力学因素都很难测量,更别说精细建模了。
 
  并且,在模拟仿真环境中训练出来的AI,面对复杂多变的真实物理世界,是否能保持鲁棒,也是一个大问题。
 
  比如说带个橡胶手套,摩擦力就变了:
 
  两个手指被绑住,难度也会与模拟训练时大大不同:
 
  甚至可能会跑出来一只长颈鹿,试图叼走魔方:
  如此种种,使得sim2real(从模拟环境到现实环境)变得非常困难,仅凭过去的域随机化(Domain Randomization)算法(见注)已经不足以解决。
 
  注:域随机化(Domain Randomization)由OpenAI提出,能够创建具有随机属性的各种模拟环境,并训练可在任何环境中工作的模型。
 
  所以机械手玩转魔方,真真是一次力与美的结合、灵与器的共舞。
 
  而OpenAI的核心秘诀,在于进一步开发了一种新的算法,称为自动域随机化(ADR)。
 
  当然,机械手的构造也来头不小。
 
  先看神奇之手的硬件结构
 
  OpenAI的机械手,装载一个巨大的支架中。
 
  在这个支架里,包含一个PhaseSpace运动捕捉系统、一个RGB相机。机械手的每个指尖上都有一个LED灯,系统就是通过这一组灯来捕捉机械手的动作。
  操纵魔方的机器人手来自影子机器人公司(Shadow Robot Company),基于旗下 Dextrous E系列机械手打造。
 
  这原本是一家想做双足机器人的公司,因为发现自己的水平远不及本田已经造出的机器人,于是弃脚从手,转而去开发机械手,并造出了世界上第一台拟真机械手。
  △ 影子机器人公司开发的机器人
 
  具体结构上,Dextrous有20个可驱动的关节:中指和无名指各有3个驱动关节和1个非驱动关节,小指和拇指有5个驱动关节,以及一个有2个驱动关节的腕部。
 
  为了“玩转魔方”,OpenAI和影子机器人公司,还合作提高了机器手组件的坚固性和可靠性。增加了手的握力,并减小了肌腱应力,并且调整了关节之间的交联,最大程度地减小了扭矩的限制。
  与人类“十指连心”类似,他们除了在机械手上安装了位置和力传感器,还在指尖上安装了超灵敏的触摸传感器,以达到接近人手的效果。
 
  实验中用到的魔方也不是普通的魔方。
 
  不少米粉或许也会觉得眼熟,它是小米的计客超级魔方(GiiKER cube),内部有可感应方向的蓝牙与运动传感器。
 
  计客超级魔方具有90度的面角分辨率,但OpenAI团队对其进行了修改,将精度提高到了大约5度。
  再看软件算法功力:从模拟到现实
 
  虽然我们看到拧魔方是在实际的机械手上发生的,但实际上这一过程主要发生在模拟软件中,然后将AI从模拟中学习到的东西转移到了现实世界中。
 
  OpenAI在机械手上用到了两大法宝:
 
  一个是曾经打败Dota 2世界冠军团队的AI系统OpenAI Five;
  另一个是自动域随机化(ADR,Automatic Domain Randomization)。
 
  ADR会不断在仿真中生成越来越困难的环境,使系统摆脱精确模型对现实的束缚,从而使模拟环境中的神经网络能够迁移到真实世界。
 
  这里提到的环境中的随机化是什么呢?
 
  其中包括模拟器考虑到的物理特性(如几何形状、摩擦和重力),以及模拟器未能考虑到的一些物理效应。
 
  比如魔方的大小,就是随机化参数之一。
  △ADR在魔方大小上的应用
 
  此外,还有照明条件之类的视觉元素、相机位置和角度、物体的材料和外观、背景纹理甚至是渲染图像的后处理效果。
 
  研究人员表示,这项研究的重要意义在于:一旦弄清楚如何在仿真中训练这些模型,就可以有效地获取无穷数据,然后将模型迁移到机器人上,在现实世界中利用它们。
 
  既然是用强化学习,必然会涉及到奖励机制,OpenAI团队在这个实验中定义了三个:
 
  系统当前状态与目标状态之间的差异;
 
  达成目标时给予奖励;
 
  每当手中魔方掉落时就受到惩罚。
 
  为了系统测试每次翻转魔方成功时间,OpenAI还测量了神经网络在不同扰动下的结果,比如重置网络的内存、重置力或断开关节等等。
  而且这种“训练”以虚拟仿真为主,能够在受控的环境中平均进行1万多次试验。
 
  最初,随着神经网络成功实现更多翻转,成功的时间会不断缩短,神经网络学会了适应。
 
  从结果上来看,机械手成功翻转魔方的时间,会越来越短。
 
  即便添加新干扰、环境有变化,机械手也会调整策略,重新学习后迅速达到最佳基准。
 
  所以这支神奇之手,现在究竟达到啥水平?
 
  最最最难情况下——一方面是需要旋转26次魔方才能完成,另一方面加入最大外部扰动,机械手成功率20%。
 
  但如果是旋转15次就能完成魔方复原的“平均情况”,机械手成功率就能稳定在60%。
 
  值得一提的是,这也是人类在该方向上的新尝试、新纪录,打开了新前景。
 
  腾讯AI也挑战过魔方
 
  OpenAI挑战魔方,倒不是突发奇想。
 
  从去年开始,他们就已经在推进前序工作,当时开发过一个灵巧的机械手系统,叫做Dactyl。
 
  不过那时OpenAI用它“盘”木块,尺寸比现在的魔方小一些,而且也没有转动部件。
  只要告诉机械手目标,不必告诉它具体操作步骤,它就能给你把木块转到指定的方向上,而且这套系统也是是在模拟器里训练出来的强化学习算法。
 
  除了OpenAI,还有来自中国的玩家。
 
  最知名的是腾讯。今年年初,腾讯AI与香港中文大学合作,进行了一项模拟实验。
  实验有点类似OpenAI的“软件”部分:在虚拟环境中,用一只机械手解决魔方问题。
 
  在腾讯其后发表的论文结果里:1400次试验过程中平均成功率达到了90.3%,而对AI模型再训练3万次,成功率会提高到95.2%。
 
  而现在OpenAI更进一步。
 
  在不牺牲准确性和鲁棒性的情况下,成功地将模拟实验转移到了现实世界的机械手上。
 
  比喻来说,就是腾讯AI在这件事上核心练了口诀和心法,而OpenAI现在把拳脚也练完了,软硬结合,下一步会更有想象空间。
 
  OpenAI自己也坦承,这只神奇之手,会推动通用机器人。
 
  一开始也介绍过,这项研究结果一发布,就引起网络热议。
 
  这样一只灵活又机智的机械手,首先让网友纷纷联想到了终结者。
  有网友说:
 
  它让我感到鹅妹子嘤/瑟瑟发抖的,是它用一种让人感觉既熟悉又完全陌生的方式,在执行人类活动。
  不过,比起这些,OpenAI这次的训练投入,更是每一秒都在让经费熊熊燃烧。
 
  他们使用了64个V100和920台32核CPU的主机,并且连续训练了好几个月,这样的训练成本,就够让人瑟瑟发抖的了。
 
  如果有人开心,那也是英伟达老板黄教主。
 
  所以你又怎么看这项酷酷的新进展?