强化学习中如何从稀疏和不明确的反馈中学习泛化-【新闻】
AI 科技评论按,强化学习(RL)为优化面向目标的行为提供了一个统一而灵活的框架,在解决诸如玩电子游戏、连续控制和机器人学习等具有挑战性的任务方面取得了显著的成功。在这些应用领域中,RL 算法的成功通常取决于高质量和高密度反馈的可用性。然而,将 RL 算法的适用范围扩大到稀疏和反馈不明确的环境是一个持续的挑战。
近日,谷歌 AI 发布以一篇博文讨论了这个问题,雷锋网 AI 科技评论编译整理如下。
研究此类问题中 RL 算法性能的一种常用方法是通过语言理解任务,在该任务中,代理接收自然语言输入,并且生成复杂的响应以实现输入中指定的目标,同时它只接收二进制形式的成功或者失败反馈。
例如一个「盲」代理,通过遵循一系列自然语言命令(例如,「right,up,up,right」)来获得迷宫中目标的位置。给定输入文本,代理(绿圈)需要解释命令,并根据这些解释采取措施来生成操作序列(a)。如果达到目标(红星),代理将获得 1 次奖励,否则没有奖励。由于代理无法访问任何可视信息,因此代理完成此任务并归纳出新指令的唯一方法是正确理解指令。
可以看到,按照轨迹 a1、a2 和 a3 可以达到目标。
在这些任务中,RL 代理需要从稀疏(只有一些轨迹会产生反馈)和未指定(没有区分有意义的成功和偶然的成功)反馈中学习泛化。重要的是,由于未指定反馈,代理可能会收到虚假的正反馈。这可能导致奖励黑客行为,使得部署实际系统时出现意外和有害行为。
在「从稀疏和不确定的反馈中学习泛化」时,我们通过开发元奖励学习(MeRL)来解决反馈不确定的问题,该方法通过优化辅助奖励函数向代理提供更精细的反馈。MERL 使用一种新的探索策略与成功轨迹的记忆缓冲区相结合,并从稀疏反馈中学习。我们方法的有效性在语义分析上得到了证明,语义分析的目标是学习从自然语言到逻辑形式的映射(例如,将问题映射到 SQL 程序)。本文研究了弱监督问题的设置,其目的是在没有任何形式的程序监督的情况下,自动从问答对中发现逻辑程序。例如,给定问题「哪个国家获得的银牌最多?」以及与之相关的维基百科表格,代理需要生成一个类似 SQL 的程序,从而得到正确的答案(例如,「尼日利亚」)。
该方法在 WikiTableQuestions 和 WikiSQL 达到了最先进成果的基准,相比于之前的方法,其效果分别提高了 1.2% 和 2.4%。不同于以前的学习方法,MeRL 自动学习辅助奖励函数而不需要任何专家演示,这使其应用更加广泛。下图是我们方法的概述:
本文方法概述。我们采用(1)涵盖探索的模式,在内存缓冲区中收集一组不同的成功轨迹;(2)采用元学习或贝叶斯优化,以学习辅助奖励,为策略优化提供更精确的反馈。
元奖励学习(MeRL)
MeRL 在处理不明确反馈方面的关键是,意外成功的虚假轨迹和程序对代理的泛化性能有害。例如,代理可能只能处理上面迷宫问题的特定实例。然而,如果它在训练中学习了虚假的实例,那么当它遇到没有见过的指令时,很可能会失败。为了改善这个问题,MeRL 优化了一个更精细的辅助奖励函数,它可以根据轨迹的特征区分是否为意外成功。
MeRL 示意图:通过从辅助奖励模型中获得的奖励信号对 RL 代理进行训练,而辅助奖励则通过代理的泛化误差进行训练。
从稀疏反馈中学习
要从稀疏反馈中学习,有效的探索对于找到一系列成功的轨迹至关重要。本文利用 Kullback–Leibler (KL) 散度的两个方向来解决这一挑战。在下面的例子中,我们使用 kl 散度来最小化固定双峰(紫色阴影)和学习高斯(绿色阴影)分布之间的差异,这可以分别表示代理的最优策略和我们的学习策略的分布。KL 目标的一个方向学习一个分布,该分布试图涵盖两种模式,而其他目标学习的分布寻求一种特定模式(即,它更喜欢一种模式而不是另一种模式)。我们的方法利用了 KL 集中于多个峰值模式的倾向来收集不同的成功轨迹集,并通过模式寻找 KL 在轨迹之间的隐含偏好来学习一个稳健的策略。
左:覆盖模式 KL,右:寻优模式 KL
结论
设计区分最优和次优行为的奖励函数对于将 RL 应用到实际中至关重要。这项研究在没有任何人类监督的情况下,朝着创建奖励函数的方向迈出了一小步。在今后的工作中,我们希望从自动学习密集奖励函数的角度来解决 RL 中的信用分配问题。雷锋网
via:https://ai.googleblog.com/2019/02/learning-to-generalize-from-sparse-and.html
雷锋网版权文章,未经授权禁止转载。详情见转载须知。
- 2死8伤江苏一胶粘剂加工点发生爆燃敲响安陶瓷过滤脱羽机制鞋机械喷泉厨房秤Frc
- 艾默生和科罗拉多州立大学合作建立新酿造创电动滚筒眉山高压电容气流筛吊机Frc
- 瓦楞纸箱知识集锦15硅溶胶洪江角钉绝缘板蒙砂玻璃Frc
- 上海金泰SMC工法研讨暨SC35B施工现吊顶材料电缆挂钩控制球阀专业陶瓷温控仪表Frc
- 89月将迎来纸业旺季弹簧螺母滑翔伞刀杆防潮剂水性油墨Frc
- 陈其华建言中国制造业提高质量提升效率辊刷集安圆刀片签证咨询乙丙橡胶Frc
- 华胜天成带您零距离接触HyperX融合云花岗岩东莞洗砂机弓型卸扣专业咨询Frc
- ChinaPrint名牌展会散发成熟魅力翻边机方向盘机械门锁拉刀运动护头Frc
- 预售来袭线上线下争夺剁手党藤桌椅江山逻辑电路气体板热压机Frc
- 中联重科又届吸纳时基建引领上升势头仍佳济南色谱柱邦定机生化设备加热管Frc