影响堪比登月:谷歌等探索深度学习新理论蓝图,让神经网络更深更窄
现在,谷歌大脑、FAIR、德州农工大学等的数学家们试图深究神经网络的理论基础,开始揭示神经网络的形式如何影响其功能。
我们对神经网络几乎一无所知
设计一座摩天大楼时,我们会要求它符合规范:塔台要能支撑一定程度的重量,并且要能承受一定强度的地震。
但是,对于现代世界最重要的技术之一,我们实际上是在盲目地建造。我们使用各种不同的设计,使用不同的设置进行修补,但在将它拿出来进行测试运行之前,我们并不真正知道它能做什么,也不知道它会在哪个地方失败。
然而,“最接近事实的情况是,我们对神经网络的实际运作方式几乎一无所知,也不知道什么才是真正有洞察力的理论,” 德州农工大学数学家、FAIR 的访问科学家 Boris Hanin 说。
“首先,你要有很棒的工程,你要有一些很棒的火车,然后你需要一些理论上的理解才能造出火箭和飞船,”Hanin 说。
在庞大的神经网络研究社区中,有一小群具有数学意识的研究人员正试图构建神经网络理论 —— 一个可以解释神经网络是如何工作,并保证如果你以规定的方式构建一个神经网络,它就能够执行特定的任务的理论。
如何设计一个神经网络
Maithra Raghu, 谷歌大脑成员,致力于寻找解释神经网络如何运作的原理 (photo: Arun Chaganty)
“这里的想法是,每一层都结合了前一层的几个方面。一个圆在许多不同的地方是曲线,一条曲线在许多不同的地方是直线,” 宾夕法尼亚大学的数学家 David Rolnick 说。
工程师还必须决定每一层的 “宽度”,它对应于网络在每个抽象级别上考虑的不同特性的数量。在图像识别的情况下,层的宽度是它在每个层上考虑的线、曲线或形状的类型的数量。
除了网络的深度和宽度之外,还可以选择如何在层内和层间连接神经元,以及为每个连接赋予多少权重。
因此,如果你有一个特定的任务,你怎么知道哪个神经网络架构能最好地完成这个任务呢?
Lucy Reading-Ikkanda/Quanta Magazine
然而,除了这些一般指导原则之外,工程师们很大程度上还必须在依赖实验证据:他们要运行 1000 个不同的神经网络,然后观察哪一个能够完成任务。
“这些选择往往是在实践中反复试验后做出的,” Hanin 说:“这是一种很艰难的方法,因为有无限多的选择,一个人真的不知道那个选择是最好的。”
一种更好的方法是减少反复试验,多预先了解给定的神经网络架构会带来什么。最近发表的几篇论文将这个领域推向了这个方向。
“可以这么说,这项工作试图开发一本设计正确神经网络的食谱。如果你知道你想从网络中获得什么,那么这就是这个网络的配方,”Rolnick 说。
让神经网络无限窄、无限深
这是一个笼统的陈述,结果相当直观,但不怎么有用。这就好比说,如果你能在一张图像中识别出无限多的线条,你就可以只用一个层来区分所有的对象。这在原则上可能是正确的,但在实践中,祝您好运。
德州农工大学的数学家 Boris Hanin 研究了神经网络中深度和宽度之间的权衡(Intel AI One Tree Studio)
“神经网络中 depth 这个概念与这样一种想法有关,即你可以通过按顺序做许多简单的事情来表达一些复杂的事情,”Rolnick 说:“这就像一条装配线。”
虽然乘法并不是一项轰动世界的任务,但 Rolnick 表示,这篇论文提出了一个重要的观点:“如果一个浅层的网络连乘法都不会做,那么我们就不应该在任何事情上相信它。”
宾夕法尼亚大学数学家 David Rolnick 证明,增加网络的深度可以让网络以更少的神经元完成任务。(Stephanie Ku)
其他研究人员一直在探索神经网络所需的最小宽度。9 月底,曾任俄克拉荷马州立大学数学家、现为赛诺菲制药公司研究员的 Jesse Johnson 证明,在某个特定点上,再大的深度也无法弥补宽度的不足。
Johnson 他们的论文、以及更多这样的论文正开始构建神经网络理论的雏形。目前,研究人员只能对架构和函数之间的关系做出非常基本的断言,而这些断言与神经网络所承担的任务的数量相比只占很小的比例。
因此,尽管神经网络理论不会很快改变系统构建的方式,但一个关于计算机如何学习的新理论的蓝图正在形成 —— 一个将人类带上更伟大旅程的蓝图,其影响甚至比将人类带上月球更大。




