【NLP】毕设学习笔记（七）前馈神经网络代表者——卷积神经网络无公式理解

含隐藏层的全连接前馈神经网络图：

• 加入隐藏层而非只有输入层和输出层的原因：
  如果不加入隐藏层，则在进行最终的判断时，输入层的每一个数据都和输出结果直接挂钩，但事实上，这样的挂钩是十分不可靠的。
  例如，判断照片上的人是男生还是女生，输入数据是图片上的每一个像素点，输出结果是是男生还是女生。如果没有隐藏层，也就意味着，每一个像素点和性别判断是直接相关的，但实际并不是这样。
  但如果加入一个隐藏层，则网络结构可以看成两个分类器的结合，输入层和隐藏层看作第一个分类器，隐藏层和输出层看作第二个分类器，且第二个分类器的输入是第一个分类器的输出。隐藏层的存在使得原本由每一个像素点和输出结果的直接关联之间，多了一层缓冲层，这个缓冲层就像一个黑盒一样，可以学到一种未知的分类法，有了这层缓冲层，每一个像素点和输出结果就不再是直接关联的关系了。这样的分类网络就显得更加可靠了。
• 解决隐藏层数量过多导致的参数爆炸问题
  如果我们需要学习的特征有很多，那么隐藏层的层数就会增加，需要学习的参数随之也会增加。为了解决这个问题，我们提出了“卷积核”的概念。可以将卷积核想象成一个可以移动的窗口，这个窗口在整个图片上的每一个位置移动，寻找特征信息，如果在某一处找到了特征信息，就在该处进行标记 / 激活。不同的卷积核提取不同的特征，例如上面的例子，有的卷积核提取眼睛特征，有的卷积核提取鼻子特征。卷积核是有大小的，同样大小的卷积核属于同一层，将同一层的所有卷积核称为一个“滤波器”，不同层的滤波器之间，提取的特征新旧也不相同，在提取特征的过程中，要逐渐寻找特征性最强的特征，也就是不同层的滤波器之间，前一个滤波器找到的特征的特征性较弱，较弱的特征作为下一层滤波器的输入，下一层滤波器通过较弱的特征输出较强的特征，如此一层一层下来，最后获得特征性最强的特征。
• 如果输入的数据不是单层而是多层（即该数据有多个表示角度），卷积核如何保证可以遍历所有输入数据
  例如一张彩色图片的输入需要输入红绿蓝三种图层，此时，也称该数据有多个“输入通道”。如果按照一般方法，卷积核只能在三种图层种选择其一进行特征寻找，这样的结果是十分不可靠的。解决这种情况的方法是：卷积核在图片的每一个位置处，都将三种图层全部映射 / 卷积一下，这样就可以照顾到所有图层了。所以一个卷积层是由不同大小的滤波器组成的，而不同大小的滤波器是由若干相同大小的卷积核组成的，每一个卷积核在遍历图片的每一处位置时还要同时考虑数据的所有输入通道。
• 如果分类任务不是简单的决策问题，而是一个复杂问题，则可以将任务分成若干子任务去逐一完成
  仿照输入通道，每个子任务都对应着一个输出通道，每个输出通道都具有一套不同大小的滤波器，以及其下的照顾到所有输入通道的卷积核。子任务的分法也是神经网络这个黑盒的工作，不是人工分成的。
• 卷积核遍历所有数据，一定会产生许多输出，如何精简这些输出？
  大多数情况下，神经网络需要完成的任务仅仅是决策任务，卷积核获取到的信息既包含位置信息也包含特征信息。因为是决策任务，所以我们并不需要关心决策信息，仅仅知道是否具有特征信息 / 更关注局部特征信息，以及特征信息强度是否很高即可。所以位置信息可以直接丢弃，找到高强度特征信息的操作被称为“最大池化”。事实上，所有有关精简输出的操作都被称为“池化”，除了最大池化以外，还有均值池化，全局池化（对所有点全部进行一次池化操作），局部池化（获得局部特征）等。

综上，卷积神经网络的工作过程可以被概括为“卷积-激活-池化”三步。