新技术将揭开神经网络运作的神秘黑盒

　神经网络通过分析大量的训练数据来学习并执行计算任务，是构成当前人工智能（AI）系统的关键，应用领域覆盖语音识别系统到自动翻译系统，以及自动驾驶汽车。
 
　　然而，神经网络却如同黑盒一般，一旦受过训练，即使是他们的设计师也很少能知道它们正在处理或如何处理哪些数据元素，以及它们究竟在做什么。而麻省理工学院(MIT)最近揭示的一项研究成果表明了可通过新技术理解训练视觉数据的神经网络的内在运作。
 
　　两年前，麻省理工学院(MIT)计算器科学和人工智能实验室（CSAIL）的计算器视觉研究团队描述了一种用于训练识别视觉场景神经网络的黑盒方法。该方法提供了一些有趣的见解，但它仍需要人工判断。                                           （图片来源：Christine Daniloff/MIT）
 
　　MIT稍早前发布的文件指出，在今年的计算器视觉和模式识别会议上，CSAIL研究人员提供了一个完全自动化的系统，新论文说明了执行20多个任务进行训练的四种神经网络分析，包括识别场景和物体、对灰色图像着色以及解决困难的问题。其中一些新网络的规模非常庞大，若采用旧方法做分析的成本将非常高昂。
 
　　研究人员还在网络上进行了几项实验，不仅揭示了几种计算器视觉和计算器摄影算法的性质，而且还提供了有关人类大脑组织的一些证据。
 
　　之所以称为神经网络，是由于其与人类神经系统相似，具有大量相当简单而密集的信息处理“节点”。如同神经元，神经网络的节点接收来自邻居的信息信号，而后再发出自己的信号（或不发出）。和神经元一样，节点发出信号的响应强度可以变化。
 
　　在新的论文和之前发表的文章中，麻省理工学院的研究人员都让训练有素的神经网络执行计算器视觉任务，并披露对不同输入图像响应的单个节点发射强度。他们选择了10个输入图像，这些图像激发了每个节点的最强响应。
 
　　在早先发布的论文中，研究人员将图像发送给通过Mechanical Turk招募的工作人员，他们被要求确定图像的共同点。而在新的论文中则是使用计算器系统来执行。
 
　　“我们分类出了1,100个视觉概念，如绿色、漩涡纹理、木材、人脸、自行车车轮或雪山顶等。”麻省理工学院电气工程研究生David Bau说表示，“我们汲取了其他人开发的几个数据集，并将它们合并成一个广泛而密集的视觉概念数据集。它有许多卷标，对于每个卷标，我们都知道哪个图像的像素对应于哪个标签。”
 
　　研究人员也得知了哪些图像的像素对应于给定网络节点的最强响应。今天的神经网络是层状组织，数据被馈送到最低层，经过处理后再传递到下一层。使用可视数据，输入图像会被分解成小块，每个块被馈送到单独的输入节点。
 
　　针对网络中的高层节点的强烈反应，研究人员可以反向追溯到其触发模式，从而识别出响应的特定图像像素。因为他们的系统能够频繁地识别出与精确的像素集群相对应的标签，这些像素簇激发了来自给定节点的强烈响应，所以它可以良好地表征节点的行为。
 
　　研究人员将数据库中的视觉概念组织成一个层次结构。层次结构的每个层次都结合了以下级别的概念，从颜色开始，向上依次是纹理、材料、部件、对象和场景。通常情况下，较低层次的神经网络会响应更简单的视觉属性，如颜色和纹理，而高层则会响应更复杂的属性而触发。
 
　　层次结构也允许研究人员将网络训练的重点量化为在不同视觉属性下执行不同的任务。如一个网络可能被训练为将大部分节​​点的黑白图像着色以识别纹理。另一个网络，当训练跟踪多个视频帧的对象时，将其较高比例的节点用于场景识别，而不是在训练时识别场景；在这种情况下，其许多节点实际上都专门用于对象检测。
 
　　研究人员的一项实验可以揭示神经科学中的棘手问题。通过在人脑中植入电极以控制严重神经系统疾病，似乎表明大脑中的单个神经元会对特定的视觉刺激产生反应。这一假说最初被称为“祖母神经元假说”，是最近一代神经科学家所熟知的詹妮弗·安妮斯顿神经元假说，即发现几个神经系统疾病的患者似乎只对特定好莱坞名人有反应。
 
　　但许多神经科学家对这种解释提出异议。他们认为所谓的珍妮弗·安妮斯顿神经元只是许多神经元之一，它们是响应詹妮弗·安妮斯顿（Jennifer Aniston）的图像而共同触发的。这个神经元可能是许多其他神经元集群的一部分，还未对其他测试做出响应。
 
　　由于新提出的分析技术是完全自动化的，研究人员能够测试在训练识别视觉场景的神经网络中是否发生类似的事情。除了识别调整到特定视觉概念的单个网络节点之外，他们还考虑了随机选择的节点组合，但节点组合却比选择个别节点的视觉概念少了约80%。
 
　　对此Bau表示，这表明神经网络实际上正在试图接近祖母神经元。它们并不想传播祖母神经元的想法，而是试图把它分配给一个神经元。但大多数人不相信是如此简单正是这个结构的有趣之处。