怎样让AI完成人类搞不定的任务?OpenAI提出迭代扩增法给设目标

原标题:怎样让AI完成人类搞不定的任务?OpenAI提出迭代扩增法给AI设目标

想让AI去完成这种庞大复杂的任务,怎样训练、怎样指导,是个非常严峻的问题。

OpenAI今天提出了“迭代扩增”(iterated amplification),官方博客介绍说,这是一种AI安全技术,人类能运用这种方法,指导AI去完成那些人力不可及的任务。

简单来说,就是通过展示如何把任务分解成简单的子任务,让AI认清这个复杂任务的目标是什么、行为是怎样的。

这项技术,指向OpenAI成立之初就在讲的终极目标:让通用人工智能(AGI)更安全。

训练一个机器学习系统,让它完成某种任务,需要人类提供训练信号,比如监督学习里的数据标签、强化学习里的奖励(reward),就都属于训练信号。

提供训练信号,对人类来说是一件说简单也简单,说难又很难的事情。这取决于想让AI学习什么样的任务。

让它识别手写数字,人类能认出这些数字标注出来就行;让AI玩游戏,人类会计算游戏得分、或者演示给AI看就行。而如果想让AI预测未来呢?

人类根本搞不定,训练信号更是无从提供起。要是提供错了,鬼知道AI会学出什么来……

这种方法基于这样两个条件:一是当人类遇到这种执行不了、或者无法判断完成情况的庞大复杂任务,起码还知道它能分解成哪些更小的部分;二是这些分解出来的小部分,人类还是可以完成的。

这样,就可以让人类去给这些小的子任务提供训练信号,然后把它们综合起来,指导总体任务。

当然,现在迭代扩增还没有用到人类无法解决的庞大任务上。为了测试这种方法,OpenAI先为它设置了五个小测验,分别是:

实验中,OpenAI的研究人员需要“假装不知道”这些任务应该怎样完成,不给机器学习模型提供完整的标注数据,而是将每一项任务分解成小的子任务,再为这些子任务提供训练信号,让AI间接地学习。

他们把通过迭代扩增和直接提供监督信号来训练的结果进行了比较,结果,在这5项任务上,通过迭代扩增来训练都获得了和直接使用监督学习差不多的效果。

OpenAI说,他们计划将来用迭代扩增方法,来训练AI去实现人类搞不定的,真正的复杂任务。

看到这种方法,你可能会想到AlphaGo Zero中所用的专家迭代。它们有相似之处,也有很明确的区别:专家迭代增强的是一个已经存在的训练信号,而迭代扩增需要从头开始构建训练信号。

量子位正在招聘活动策划,将负责不同领域维度的线上线下相关活动策划、执行。欢迎聪明靠谱的小伙伴加入,并希望你能有一些活动策划或运营的相关经验。相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。返回搜狐,查看更多

更多精彩报道,尽在https://www.alpesrafting.com

OPE代理: 皇马迎来建队最大危机 主力球员纷纷想离开

自从C罗离开皇马以后,本赛季皇马在主教练洛佩特吉的带领下,联赛和欧冠的表现都令高层和球迷非常的不满,本赛季的第一场西班牙国家德比,更是以1比5的巨大分差败给了宿敌巴塞罗那,可以说目前皇马的处境已经到了崩塌的边缘,主教练和全体队员都处在一个极度痛苦的氛围中,没想到的是,更大的危机接踵而来,西班牙一位资深体育主播近日对媒体说,皇马三冠王时期及球队重点培养对象的球员马塞洛、莫德里奇、阿森西奥、卡塞米罗已经厌倦了目前在皇马这里的处境,已经萌生了离队的想法,可以说目前的皇马迎来了有史以来最大的危机,如果这几位球员真的离开,势必会给球队的整体实力造成一个极大的影响。

马塞洛是世界最好的边后卫之一 ,善于以攻代守,进攻速度快,带球能力较强,盘带技术出众,并有很强的拦截能力,能在由攻转守的第一时间做好第一道拦截。同时马塞洛也可以司职左边前卫 ,传中精度尚可,远射不错,对于前插时机的把握很好,时有突插肋部的精彩表现,有灵活性 。在场上,他攻防俱佳;在场下,他也深得队友喜爱,对于目前皇马在联赛和欧冠赛场的表现,马塞洛极度失望,传闻多次电话C罗诉说心中的不悦,有消息称意甲尤文图斯对皇马这位左边后卫非常感兴趣,希望可以把这位昔日C罗的队友带到都灵安联球场,与C罗在尤文再度联手共同征战意甲。

莫德里奇的双脚技术非常平衡,攻守转换时的跑位也很出色,善于盘带和传球;在进攻组织者中他的防守也算上乘,同时莫德里奇还有一脚暴力远射的拿手好戏,而且莫德里奇的体能尤为充沛,让人叹为观止,即将年满33岁的莫德里奇虽然即将进入职业生涯的末期,但在球场上依然体力充沛,对球队中场的调度游刃有余,据说莫德里奇由于本赛季出场时间以及首发次数的持续减少再加上俱乐部没有因为自己对俱乐部的巨大贡献而给自己加薪都颇为不满,固申请转会,由于看到对内好友C罗加盟尤文后在新环境下生活状态,莫德里奇也想换一种环境,传闻意甲的国际米兰一直对莫德里奇欣赏有加,球队管理层和主教练在公开场合多次盛赞过莫德里奇的能力,全队上下都想得到这样一位世界级的中场大师。

阿森西奥年轻有活力,是一位名副其实的前场多面手。他具备出色的技术底子,盘带高效简洁,具有很强的突击能力,更有一脚势大力沉的远射破门技能,虽然俱乐部已经与阿森西奥完成了续约,但是俱乐部没有停止引进高水平球员,据传皇马很认可英超切尔西阿扎尔的能力,想把他带到皇马来,阿扎尔和阿森西奥踢相同的位置,如果球队买来阿扎尔,势必将大大减少阿森西奥的出场时间,球员也不想一直待在皇马替补席上,对阿森西奥感兴趣的球队不再少数,曼联、曼城、尤文图斯都和阿森西奥传出过绯闻,只是阿森西奥的转会费不会是一个小数目,不知道会不会有俱乐部可以满足皇马对出售阿森西奥提出的价格要求。

更多精彩报道,尽在https://www.alpesrafting.com