三级真人牲交-亚洲做性视频在线观看-激情AV-伊人成人在线视频
首页 科技 正文

LSTM之父炮轰Hinton:“本田奖”不该授予他,颁奖词有六大谬误

晓查 只想说 凹非寺量子位 报导 | 微信公众号 QbitAI

LSTM鼻祖Schmidhuber来了,和我深度学习三巨头的战事从来没有终止过。

此次他把抢口指向了最学识渊博的Hinton。

这一切要从一年前的一次颁奖典礼谈起。

上年11月,Hinton得到了当初的“广州本田奖”,该奖由本田汽车创办人开设,用以嘉奖对高新科技做出杰出贡献的人员。而Hinton得奖的缘故自然是他在AI行业做出的先行者性科学研究。

没什么出现意外,Schmidhuber又站出去抵制了。

历经大半年的提前准备,Schmidhuber引经据典,用近百话论文参考文献证实,广州本田奖授于Hinton便是个不正确。

Schmidhuber说:“人们务必终止将某一创造发明不正确地归入别人。”之前和我GAN鼻祖Goodfellow的论战也是这一主题风格,总而言之天地万物根据LSTM。

历数广州本田奖“六宗罪”

Schmidhuber在这篇长原文中强调,AI中的一些关键技术性,例如反向传播、无监管优化算法、Dropout这些都并不是Hinton的创新。

广州本田奖的颁奖词沽名钓誉,把别人的科研成果算在了Hinton头顶,存有着六处出错。

Hinton造就了很多技术性,使AI足以更普遍地运用,在其中包含反向传播优化算法,该优化算法组成了AI深度学习方式 的基本。

Schmidhuber:

Hinton和他的朋友们为深度学习做出了一些关键的奉献。可是,所述叫法是彻底不正确的。

他是反向传播毕业论文的三位创作者中的第二位,但他沒有提及三年前Paul Werbos提议用这类方式 训炼神经网络

并且Hinton的文章内容乃至也没有谈及Seppo Linnainmaa,它是互联网中知名的个人信用分派优化算法(1972年)的发明人,该优化算法也被称作“全自动微分的反方向方式”。

2003年,他为受到限制玻尔兹曼机(RBM)导入了一种如何快速学习优化算法,使她们能够学习培训单面分布式系统表达,而不用一切标识数据信息。这种方式 使深度学习可以尽快工作中,并引起了当今的深度学习改革。

Schmidhuber:

Hinton的无监管深层神经网络预训炼与当今的深度学习改革不相干。在2012年,人们的团体说明,能够根据简易的反向传播对前馈控制神经网络(FNN)开展训炼,而且针对关键的运用压根不用开展无监管的预训炼。

2010年,Hinton和他的几名学员应用双层神经网络在语音识别层面获得了重大进展,立即造成了语音识别的明显改进。

Schmidhuber:

它是十分具备偷换概念的。我的试验室有几篇毕业论文都运用来到神经系统语音识别中,分别是LSTM和CTC。

人们的团体在2012年 取得成功地将历经CTC训炼的LSTM运用于鉴别。到2016年,当算率越来越充足划算时,CTC-LSTM大大的改进了Google的语音识别,基本上全部的智能机都适用这类作用。

2013年,Hinton和此外几名在校生证明了深度学习比目前的全新技术性识别图像中的目标要好很多,改变了人工智能算法。

Schmidhuber:

人工智能算法改革靠的是Fukushima、LeCun等一大批七十年代专家学者发展趋势的卷积和神经网络。Hinton团体2013年在ImageNet上的取得成功挺大水平上应得益于GPU加快CNN与运算,

人们的法国团体于2013年初建立了第一个根据GPU的顶尖CNN——DanNet,在Hinton以前就证实了广州本田奖表明的这一点。

在IJCNN 2011上,DanNet获得了赛事,并变成第一个在国际性赛事中超出人们的视觉识别系统实体模型,而与Hinton常常协作的LeCun团体得到了第二名。

Hinton还创造发明了一种被普遍应用的新方式 ,称之为“dropout”,该方式 根据避免特点探测器的繁杂相互配合来降低神经网络的过拟合。

Schmidhuber:

可是,“dropout”事实上是Hanson以前的任意Delta标准的一种组合。Hinton在2013年发布的毕业论文仍未引入这一点。

除此之外,人们早已在2013年证实,dropout针对获得人工智能算法比赛并得到超出人们的考试成绩并并不是必需的 ,唯一真实关键的每日任务是使CNN在GPU上很深、更快。

“在全世界成千上万的根据AI的技术咨询中,绝不浮夸地说,要是没有Hinton造就的結果,那将是不太可能的。”

Schmidhuber:

大部分知名的AI运用全是别人的成效,例如人工智能算法、语音识别、語言解决、手写识别、自动化技术、手机游戏、诊疗影象等。

其中2~6都取决于人们的LSTM。2017年,Google大数据中心TPU四分之一之上算率都用以解决LSTM。LSTM早已变成二十世纪引入数最多的AI毕业论文。

最终,Schmidhuber毫无疑问了Hinton和他的朋友们对神经网络和深度学习做出了杰出贡献。

可是他觉得:

Hinton最引人注意的工作中是营销推广了别人造就的方式 ,并且在毕业论文里沒有引入

网民如何判断

迅速这篇长微博就在Reddit上的深度学习版块造成强烈反响,而这早已并不是第一次网民为Schmidhuber争执,都即将变成AI界的“经期贴”了。

一些网民早就对Schmidhuber的自言自语觉得厌倦。

他感觉之前来Reddit宣传策划Schmidhuber见解便是新号,这类文章内容确实太多了,一遍遍见到相近话题讨论令人觉得枯燥,提议将探讨关掉。

也是有网民上去就死核“抽脸”:

例如ResNet获得ImageNet比赛时,Schmidhuber就出去出文说ResNet不过是HighwayNets的一种组合,事实上仅仅前馈控制LSTM。他还说Hochreiter在1992年初次发觉梯度消失难题。

之后,许多人挖到Lang和Witbrock在1994年发布的一篇毕业论文早已发觉了这一点。

所有人的念头全是对目前事情的改善,假如不断追朔下来,那麼神经网络的根源是否也要上溯哥白尼和莱布尼兹的身上呢。

但是也是有一些人对Schmidhuber表达了解,由于LSTM的确被普遍用在语音识别每日任务中。而广州本田奖的表彰词里把他的创新得益于Hinton,确实令人无法接纳。

能够意料,将来Schmidhuber有关AI创新性科学研究的争执还会继续坚持下去,你适用他吗?

http://people.idsia.ch/~juergen/critique-honda-prize-hinton.html

https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.macqim.com/kj/373.html

三级真人牲交-亚洲做性视频在线观看-激情AV-伊人成人在线视频