<small id='OAL7a'></small> <noframes id='05JxZgpb'>

  • <tfoot id='ej1T'></tfoot>

      <legend id='Vw5P0S'><style id='Z9g4'><dir id='XzC7VnGWmr'><q id='OGTJyD'></q></dir></style></legend>
      <i id='FNmd'><tr id='REuYrXG'><dt id='wO3r'><q id='HEZVeq'><span id='bVUKeHQ2q'><b id='fSi95ka'><form id='7svASVu5R'><ins id='orh2jG'></ins><ul id='jbt2'></ul><sub id='BbnzR0s'></sub></form><legend id='86QjXBeUwd'></legend><bdo id='qvAJu7F0S'><pre id='DRTfJgls36'><center id='BrLdS15'></center></pre></bdo></b><th id='aR0FNAxkuz'></th></span></q></dt></tr></i><div id='HOXy6WAJD'><tfoot id='V0e1IdHaY'></tfoot><dl id='gt5QMvXkqD'><fieldset id='Myk5'></fieldset></dl></div>

          <bdo id='ZCNrsj'></bdo><ul id='j3tz7'></ul>

          1. <li id='DhfYgN5b'></li>
            登陆

            章鱼竞猜下载-Jurgen Schmidhuber新论文:我的便是我的,你的GAN仍是我的

            admin 2019-06-15 180人围观 ,发现0个评论

            机器之心报导

            机器之心编辑部

            Jurgen 一向以为 GAN 是其 PM 模型(1992)的变体,他与 Goodfellow 从邮件到讲演也有屡次揭露沟通。可是最近,Ju章鱼竞猜下载-Jurgen Schmidhuber新论文:我的便是我的,你的GAN仍是我的rgen 独立宣布了一篇总述论文,再一次概览了极小极大博弈,及 PM 模型与 GAN 之间的激烈联络。

            生成对立网络(GAN)经过两个无监督神经网络学习建模数据散布,这两个神经网络相互拉锯,每一个都企图最小化对方企图最大化的方针函数。最近 LSTM 之父 Jrgen Schmidhuber 在一篇总述论文中,将 GAN 这一博弈战略与运用无监督极小极大博弈的前期神经网络相关起来。而这篇论文中说到的前期神经网络 Adversarial Curiosity、PM 模型均出自 Jrgen Schmidhuber。

            他以为:GAN 能够看作是 Adversarial Curiosity (1990) 的特例,Adversarial Curiosity 依据两个网络之间的极小极大博弈,其间一个网络经过其概率动作生成数据,而另一个网络猜测输出的成果。

            别的,Jrgen 之前曾表明 PM(Predictability Minimization)模型(Jrgen 于 1992 年提出)并非依据极小极大博弈,现在他对此说法予以否定,以为 PM 模型经过神经编码器建模数据散布,而该编码器最大化神经猜测器企图最小化的方针函数。

            Jrgen 在 NIPS 2016 打断 Goodfellow 关于 GAN 的教程,并发问 PM 模型与 GAN 之间有什么不同。

            谷歌大脑研讨科学家 David Ha 在 Twitter 上转发了这篇论文,并赞扬 Jrgen Schmidhuber 大志仍旧。上一年,David Ha 与 Jrgen 合作了论文;近来 David Ha 宣布论文,提出。

            Jrgen Schmidhuber 是这篇 GAN 总述论文的仅有作者,具体介绍了 GAN 与前期运用极小极大博弈的神经网络之间的联系。接下来咱们来一探终究。

            核算机科学历史上,经过最小化另一个程序最大化的方针函数来求解问题的做法有许多。1990 年后,对立技能运用于无监督人工神经网络范畴。在该环境中,单个智能体具有两个独立的学习神经网络。第一个神经网络在没有教师也没有外部奖赏满意用户界说方针的情况下,生成数据。第二个神经网络学习猜测输出成果的特点,以最小化差错。第一个神经网络最大化第二个神经网络最小化的方针函数,然后生成能让第二个神经网络学到更多的数据。

            近期运用无监督极小极大博弈的比方即生成对立网络(GAN)。GAN 一词最早呈现在 Ian Goodfellow 等人的论文中,而 GAN 的根本思想最早由 Olli Niemitalo 于 2010 年提出(未经同行评定)。

            GAN 是 Adversarial Curiosity (1990) 的一个特例

            1990 年呈现了第一个无监督对立神经网络 Adversarial Curiosity,它测验在强化学习探究环境中完结好奇心(curiosity)(Adversarial Curiosity 以下简称 AC1990)。Jrgen 以为 GAN 与 AC1990 有很大相关。

            在 AC1990 中,第一个神经网络一般称为操控器 C。C 能够经过一系列互动(叫做「试验」或「工作(episode)」)与环境进行交互。在恣意试验中履行一次交互时,操控器 C 生成输出向量 x ∈ R^n。该输出向量或许会影响环境,环境输出对 x 的回应:y ∈ R^q。同样地,y 或许影响 C 鄙人一次迭代中的输入。

            在 AC1990 的第一个变体中,C 是循环神经网络,因而它是一种通用意图的核算办法。C 的一些适应性循环单元是生成均值和方差的高斯单元,因而 C 就变成了生成模型(Jrgen 在「Explicit Random Actions versus Imported Randomness」章节有提及)。这些随机单元所做的工作等同于让 C 感知伪随机数字或噪声所完结的工作,这与 GAN 中的生成器类似。

            AC1990 中的第二个神经网络是国际模型 M。在 AC1990 的第一个变体中章鱼竞猜下载-Jurgen Schmidhuber新论文:我的便是我的,你的GAN仍是我的,出于通用性的原因,M 也是循环的。M 以 C 的输出 x ∈ R^n 为输入,并猜测其对环境的影响或成果 y ∈ R^q。

            依据 AC1990,M 最小化其猜测差错,然后变成更好的猜测器。在没有外部奖赏的情况下,对立模型 C 测验找到能够最大化 M 差错的动作:M 的差错是 C 的实质奖赏。因而,C 最大化 M 企图最小化的差错。M 的丢失便是 C 的收益。

            在没有外部章鱼竞猜下载-Jurgen Schmidhuber新论文:我的便是我的,你的GAN仍是我的奖赏的情况下,C 实质上被驱动去创立新的动作序列或试验,以得到令 M「吃惊」的数据,直到 M 对数据了解并终究厌恶。

            什么样的环境使 AC1990 成为 GAN?

            哪一种部分可观测环境会使 AC1990 成为生成图画的 GAN 呢?这个环境必定包括用户给定「实在」图画练习集 X ={x^1, x^2, . . . , x^k ∈ R^n} 的表征。X 对 C 和 M 不是直接可见的,可是其特点由 AC1990 以类似 GAN 的动作或试验进行勘探。

            在恣意给定试验开端时,C 和 M 中所有单元的激活函数都是从头设置的。C 什么都看不见(由于没有来自环境的输入)。运用内部随机单元后,C 能够核算单个输出 x ∈ R^n,即「假」图画。在所有试验的 pre-wired 部分中,x 都被从练习集 X 中随机选取的「实在」图画所代替(传统强化学习默许的这一简略探究战略能够在所有试验的固定部分中挑选随机动作)。这保证了 M 能够看到真假图画。

            环境将对输出动作 x 给出回应,将 x 对环境的影响回来章鱼竞猜下载-Jurgen Schmidhuber新论文:我的便是我的,你的GAN仍是我的为二元观测成果 y ∈ R,假如图画为真,则 y = 1,反之则 y = 0。

            在类似 AC1990 的体系中,M 将 C 的输出 x 作为输入,并猜测其对环境的影响 y。一般,M 经过最小化其猜测差错来学习。可是,在没有外部奖赏的情况下,对立网络 C 希望能最大化 M 想最小化的差错,然后学习生成数据。M 的丢失即 C 的负丢失(negative loss)。也便是说,M 的行为实质上类似于 GAN 中的判别器,C 类似于 GAN 中的生成器。

            AC1990 的改善

            1991 年,AC1990 呈现了第一次严重改善。AC1990 中 M 的差错(需求被最小化)是 C 的奖赏(需求被最大化)。这有利于在许多确认性环境中找到好的探究战略。可是,在随机环境中,这种做法或许失利。C 或许会集于学习环境的某些部分,而由于随机性或核算约束,M 在这些部分中总是发生较高的猜测差错。例如,由 C 操控的智能体或许会停留在只要高度不行猜测白噪音前。

            因而,1991 版别的 AC 指出,在随机环境中,C 的奖赏不该该是 M 的差错,而应该是后续练习迭代中 M 差错的一阶导数的近似,即 M 得到了改善。因而,即便 M 在有噪音的电视屏幕前呈现高差错,C 也不会由于智能体停留在电视前面而得到奖赏,因而 M 的差错没有得到改善。彻底可猜测和根本不行猜测都会令 C 感到无聊。

            本文特别感爱好的一点是以一种更高档的对立性办法用于 1997 年提出的好奇心探究,被称为 AC 1997。

            在 AC 1997 中,单个智能体有两种对立性的奖赏最大化战略,被称为左脑和右脑。每种战略都是对通用方针核算机运转程序的可批改概率散布。试验是以一种协作办法进行采样的程序,这种协作办法受左右脑的影响。经过履行由试验触发的调查序列的可核算函数(或许导致内部二元 yes/no 分类),每个试验具体阐明怎么履行指令序列(或许影响两个环境以及智能体的内部状况)以及怎么核算试验成果。左右脑的可批改参数是指令概率。经过包括特别自我参照战略批改指令序列的程序,能够拜访和操作这些参数。

            左右脑也或许触发某些下注(bet)指令的履行,这些指令是为了在它们被调查到之前猜测验验成果。假如它们的猜测或假定成果不同,则赞同履行试验,以确认哪个大脑是正确的,而且出人意料的失利者会在零和博弈中向获胜者付出内涵奖赏(实值的赌注,如 1.0)。

            也便是说,一个大脑天性地经过试验来诈骗另一个大脑或使其惊奇,这样以来,另一个大脑虽然赞同试验计划但不赞同预期成果,这一般是杂乱时空工作(经过履行自我创造的试验生成)的内涵可核算抽象化。

            这促进两个无监督的大脑体系着重于「风趣的」核算问题,而对左右脑能够共同性地猜测成果的「无聊」核算(或许包括环境)以及当时任何大脑仍然很难猜测成果的核算失去了爱好。此外,在短少外部奖赏的情况下,一个大脑将另一个大脑最小化的价值函数最大化。

            AC 1997 怎么与生成对立网络发生联系呢?AC 1997 类似于规范的生成对立网络,从某种意义上来说,两者都是无监督的生成对立极小极大参与者,并着重于二元成果试验:1 或 0、yes 或 no、假定正确或过错。可是,关于生成对立网络来说,试验计划是预先安排好的,而且常常是相同的:仅仅简略地测验最近生成的形式是否在给定的练习会集。

            经过约束 AC 1997 的域以及相应编程语言中的指令特点,人们能够将其局限于上述简略的设定,这样以来,左右脑的或许下注就局限于类 GAN 试验的二元 yes/no 成果。但一般来说,AC 1997 的对立大脑实际上能够自己创立恣意的核算问题,生成的程序也能以任何可核算的办法与环境进行交互,然后输出左右脑都能够下注的二元成果。这有点像一个朴实科学家从创造试验中罗致内涵高兴信号,试验中的发现最开端令人惊奇但可学习,之后能够进行牢靠的重复性猜测。

            GAN 和 PM 模型的比照

            神经网络的一个重要的使命是从给定数据,如图片中学习计算特征。为了完结这个方针,不运用梯度下降/上升的战略,而是另一种非监督的极小极大博弈。这种博弈中,一个网络极小化被另一个网络极大化的方针函数。这种在两个非监督对立网络的办法已经在上世纪 90 时代的多篇论文中被介绍。它被称为 PM 网络(Predictability Minimization)。

            PM 的方针是完结无监督学习中最重要的使命,一个抱负的、解耦的、针对给定数据的特征编码,即便编码的元素之间是计算学意义上相互独立的。也便是说,编码的散布类似于数据,一起给定数据形式的概率也是编码元素概率的产品。这样的编码能够帮忙完结降采样。

            PM 网络需求随机初始化一个编码器的权重。它映射了数据样本 x ∈ Rn(比方图片)到编码 y ∈ [0, 1]^m,m 指的是 m 个所谓的编码单元。在编码单元中,整数编码 i,j,的取值规模是从 1 到 m。关于第 i 个 y 中的元素能够表明为 y_i ∈ [0, 1]。别的有一个独立的猜测网络,运用梯度下降的办法进行练习,用于猜测从剩下的元素 y_j 取的每一个 y_i(j ≠ i)。

            可是,编码器是经过极大化猜测器用于最小化的那个方针函数(例如,均方差错函数)。在 1996 年的论文(Semilinear predictability minimization produces well-known feature detectors)阐明,「内涵的意义是,编码单元是被练习(在咱们的试验中是在线反向传达)用来最大化和猜测器用于最小化的同一个方针函数」,或许 1999 年的论文(Neural predictors for detecting and removing redundant information)中说到,「可是编码单元测验最大化猜测器用来最小化的同一个方针函数」。

            为什么这场猜测器和编码器的博弈的成果是解耦的特征码?经过运用梯度下降用于最大化猜测差错,编码单元使 y_j 从实在的 [0,1] 猜测中违背,即他们被逼向单元内部的旮旯,并倾向于二元化,要么是 0,要么是 1。一起,依据 1992 年论文的证明,当最大化第 i 个编码单元的方差时,编码器的方针函数也被最大化,因而最大化了输入数据所表达的信息。于此一起,相关于其他编码单元而言,它的(非条件的)希望 E(y_i) 和建模猜测器的条件希望 E (y_i | {y_j , j ≠ i}) 的偏移被最小化。也便是说,编码单元被鼓舞去从数据中提取有意义的,可是相互独立的二元信息。

            PM 内涵的概率散布是一个多元二项式散布。在抱负状况下,PM 的确学习从数据中创立二元特征编码。也便是说,相关于一些输入特征,每个 y_i 是 0 或许 1,而猜测器学习了条件预期值 E (y_i | {y_j , j≠ i})。由于编码既是二元的也是有特征的,其值和编码单元的非条件的概率 P (y_i = 1) 是等价的。例如,假如一些编码单元的猜测是 0.25,则该编码单元为真的概率是 1/4。

            第一个 PM 网络的测验试验是在大约 30 年前。那时候,核算成本比现在要贵重百万倍。当 5 年后,核算成本下降 10 倍时,有了简略的用于图片的类线性 PM 网络主动生成特征检测器。这些检测器被神经科学所熟知,如从中心到周围检测器(on-center-off-surround detectors),从周围到中心检测器(off-center-on-surround detectors),方向灵敏的棒状检测器(orientation-sensitive bar detectors)等。

            PM 真的不是一个最小化最大方针函数的战略吗?

            NIPS2014 的 GAN 论文中,论文以为 PM 和 GAN 是不同的,由于 PM 不是依据极小极大博弈的。在极小极大博弈中,其有一个值函数(value function),其间一个智能体测验最大化而另一个智能体测验最小化(它)。论文声称,关于 GAN 来说,「网络之间的对立是仅有的练习规范,而且网络能够自给自足的练习」。可是关于 PM 来说,「(它)仅仅一个正则化器,用于鼓舞神经网络的躲藏单元在完结其他使命时在计算学上坚持独立,这不是一个根本的练习规范」。

            可是这一观念是不正确的,由于 PM 的确是一个朴实的极小极大博弈。并不存在所谓的「其他使命」。特别的,PM 也是被练习的,而且其练习进程是「网络之间的对立是仅有的练习规范,而且网络能够自给自足的练习」。

            经过 PM 变体学习生成模型

            在第一个同行审理的 PM 论文中,有一个 PM 变体网络,其间有一个可选的解码器(被称为重建器),这个重建器能够依据编码重建数据。假定 PM 的确发现了数据中抱负的特征编码。由于编码的散布和数据类似,有了解码器,咱们能够马上将体系作为生成模型运用,只需求依据非条件概率随机激活每个二元编码单元,并用解码器从输出数据中采样。有了准确的解码器,采样数据有必要依据特征编码恪守原始散布的计算特征

            可是,在研讨者的印象中,这种直接的生成模型的运用从来没有在任何一个 PM 论文中被提及。一起解码器(也被以为是额定的、可选的编码单元的部分方差最大化办法)实际上被一些 1993 年后的 PM 论文疏忽了。这些论文重视于解耦内部表明的非监督学习,用于辅佐降采样学习。

            虽然如此,1990 年和 2014 年就说到了运用极小极大练习的随机输出并用于发生数据生成模型。

            从 GAN 学习特征编码

            PM 的变体能够很简单用作类似 GAN 的生成模型。相对的,GAN 的变体能够很简单像 PM 那样用来学习特征编码。假如咱们将一个从随机输入编码中练习的 GAN 生成器视为一个独立组件,并在其输出层增加一个传统的编码器网络,并练习这个编码器将输出特征映射到原始的随机编码,那么在抱负的情况下,这个编码器会成为一个针对其原始数据的特征编码生成器。

            PM 模型和 GAN 及其变体的联系

            PM 和 GAN 都是对数据的计算特征进行非监督学习的办法。两者都选用了依据梯度的对立网络,并经过极小极大博弈完结方针。

            PM 测验发生简单解码、看似随机、具有特征编码的数据,而 GAN 测验从随机编码中发生解码数据。从这个视点来说,PM 的编码器输入更像是生成对立网络的解码器输出,而前者的编码器输出更像是后者解码器的输入。从另一视点来说,PM 编码器的输出类似于 GAN 解码器的输出,由于两者都是跟着对立丢失的改变而改变。

            GAN 测验从其他数据散布(高斯散布、二项式散布等)中拟合实在的数据散布。类似的,PM 测验从提早给定的多元因子二项式散布中拟合实在的数据散布。许多后 PM 办法,比方信息瓶颈法依据的是率歪曲理论(rat惊鸿一瞥e distortion theory),变分自编码器,噪声比照估量(Noise-Contrastive Estimation)和自监督提高办法(Self- Supervised Boosting)办法都和 PM 有着特定的联系,虽然以上的模型都没有选用像 PM 那样的依据梯度的极小极大博弈的对立网络战略。可是,GAN 选用了。

            PM 及其变体的解码器和 GAM 及其变体的编码器能够经过以下的管道流程阐明(能够把它们看成是十分类似的有四个过程的循环):

            有着规范解码器的 PM 变体流程:

            数据→ 极小极大化方针函数练习后的数据→ 编码→ 传统解码器(经常被疏忽)→ 数据

            有规范编码器的 GAN 变体流程(相比较于 InfoGAN):

            编码→ 极小极大化方针函数练习的解码器→ 数据→ 规范编码器→ 编码

            PM 和 GAN 的比照。

            假如能够试验研讨以上的 GAN 的管道能够比 PM 更好的练习和编码,或许在这之后能够更有用的拟合将是十分风趣的工作。

            深度Pro

            理论详解 | 工程实践 | 工业剖析 | 行研陈述

            机器之心最新上线深度内容栏目,汇总AI深度好文,详解理论、工程、工业与运用。这儿的每一篇文章,都需求深度阅览15分钟。

            点击图片,进入小程序深度Pro栏目

            PC点击阅览原文,拜访官网

            www.jiqizhixin.com/insight

            声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间服务。

            章鱼竞猜下载-凯恩股份关于控股股东凯恩集团有限公司终止实施增持计划的公告

            2019-09-16
          2.   本公司董事会及全体董事

          3. 江苏雄图高科技股份有限公司关于完结工商改变挂号的布告

            2019-09-16
          4.   关于监事辞职及补选公司监事候选人的公告

              本公司及监事会全体成员

            深圳市雄韬电源科技股份有限公司关于监事辞去职务及补选公司监事提名人的布告

            2019-09-16
          5.   关于重大资产购买暨

            杭叉集团股份有限公司关于重大资产购买暨关联交易进展的公告

            2019-09-16
          6. 请关注微信公众号
            微信二维码
            不容错过
            Powered By Z-BlogPHP