打开深度神经网络黑箱:竟是模块化的?图聚类算法解密权重结构
十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI
深度神经网络这个黑箱子,似乎有了更清晰的轮廓。
我们都知道深度神经网络性能十分强大,但具体效果为什么这么好,权重为什么要这么分配,可能连“设计者”自己都不知道如何解释。
最近,一项来自UC伯克利和波士顿大学的研究,就对这个黑箱子做了进一步的解密:
经过训练和权重修剪的多层感知器 (MLP),与具有相同权重分布的随机网络相比,通常模块化程度更高。
也就是说,在特定条件下,深度神经网络是模块化(modularity)的。
研究人员认为:
了解神经网络的模块化结构,可以让研究工作者更容易理解神经网络内部的工作原理。
这项研究已提交ICML 2020,也已在GitHub开源(见文末“传送门”)。
将神经网络模块化
为什么要用模块化来研究深度神经网络呢?
首先,模块化系统允许分析系统的研究人员,检查单个模块的功能,并将他们对单个模块的理解合并为对整个系统的理解。
其次,神经网络由不同的层(layer)组成,在定义网络时,不同的层可以单独配置。
而通过实验,研究人员发现:
一个深度神经网络是模块化的,它可以被分割成神经元集合,其中每个神经元集合内部高度连接,但集合之间的连接度很低。
更具体点来说,研究人员使用图聚类(graph clustering)算法将训练好的网络分解成集群,并将每个集群视为一个“模块”。
采用的聚类算法叫做谱聚类 (spectral clustering),用它来计算一个划分(partition)以及评估一个聚类的n-cut。
△将神经网络模块化
通俗点来说,就是:
先把数据转换为图,所有的数据看做是空间中的点,点和点之间用边相连。距离较远的两个点,它们之间边的权重值较低,距离较近的两点之间边的权重值较高。
接下来,进行n-cut操作,也就是切图。目标就是要让切图后不同的子图间“边权重和”尽可能的低,而子图内的“边权重和”尽可能的高。
那么,实验结果又如何呢?
实验主要采用了3个数据集,分别是MNIST、Fashion-MNIST和CIFAR10,并在每个数据集上训练了10次。
△在每个数据集上训练10次后的结果
可以看到,对MNIST测试的正确率为98%,Fashion-MNIST的正确率为90%,而CIFAR-10的正确率为40%。修剪后的网络通常比随机网络具有更好的聚类性。
下图显示了在剪枝前和剪枝后,所有受训练网络的n-cut和测试精度结果。
△每个训练网络的n-cut和精度的散点图
为了帮助解释这些n-cut值,研究人员还对200个随机初始化的网络进行了聚类,n-cut的分布如下图所示。
△200个随机初始化网络n-cut分布的直方图和核密度估计
当然,作者也指出一点,这项研究的定义只涉及到网络的学习权值(learned weight),而不是数据分布,更不是模型的输出或激活的分布。
模块之间的重要性和依赖性
那么,这些模块之间的又有怎样的关联呢?
研究人员进一步评估了不同模块之间的重要性和关系。
在神经科学领域中,要想确定大脑某个区域的功能,有一种方法是研究这个区域意外受损的患者的行为,叫做损伤实验 (lesion experiment)。
类似的,研究人员也采用了这样的方法:
通过将模块的神经元激活设置为0,来研究模块的重要性,并观察网络如何准确地对输入进行分类。
在这项实验中,“损伤”的原子单位是每个模块与每个隐含层的交集,称之为“子模块”。
重要性
对于每个子模块,将传入组成神经元的所有权重设置为0,并保持网络的其余部分不变。
然后,确定受损网络的测试集精度,特别是它比整个网络的精度低了多少。
△使用剪枝和dropout在Fashion-MNIST上训练后,不同子模块的绘图
如上图所示,重要的子模块会先标记它的层号,然后再标记模块号。横轴表示该层神经元在子模块中的比例,纵轴表示由于子模块受损而导致精度的下降。
这项实验表明,许多子模块太小,不能算作重要模块,而许多子模块在统计上有显著影响,但在实际中却不显著。然而,有些子模块显然对网络的运作具有实质的重要性。
依赖性
既然已经知道了哪些子模块是重要的,那么最好还能够理解这些重要的子模块是如何相互依赖的。
为了做到这一点,研究人员在不同的层中破坏两个不同的重要子模块,称之为X和Y。
通过实验,研究人员得到了如下结论:
如果X在Y上不是重要条件,且Y在X上也不是重要条件,那么来自X上的所有信息都传递给了Y。
如果X不是以Y为重要条件,而Y是以X为重要条件,则X将其所有信息发送给Y,并且Y还从其他子模块中接收到了信息。
如果Y不是以X为条件的重要条件,而是X是以Y为条件的重要条件,则认为Y从X接收其所有信息,然后X将信息发送到其他子模块。
如果X和Y都是彼此重要的条件,则无法得出任何结论。
作者介绍
△Daniel Filan
Daniel Filan,加州大学伯克利分校的博士生。本科就读于澳大利亚国立大学,学习强化学习理论、数学和理论物理。
△Shlomi Hod
Shlomi Hod,波士顿大学计算机系博士生。感兴趣的领域是 responsible AI,尤其是算法和机器学习系统对社会的影响。
传送门
论文地址:https://arxiv.org/abs/2003.04881
GitHub项目地址:https://github.com/nn-surprisingly-modular-icml-2020/nn_modularity
- 国产AI可以拍微电影了!4K、60帧高清画质,自带音效2024-11-08
- ChatGPT搜索搞不定勾股定理新证明,但国产AI可以!2024-11-05
- GPT-4o加钱能变快!新功能7秒完成原先23秒的任务2024-11-06
- 无需参数访问!CMU用大模型自动优化视觉语言提示词 | CVPR’242024-11-06