先吐槽一下：

深度置信神经网络(DBN)

恩，先贴论文吧：
A fast learning algorithm for deep belief nets.pdf 5.51MB PDF 56次下载 预览 还有一个PPT：
Deep Belief Nets.pdf 3.03MB PDF 72次下载 预览 这是G. Hinton 提出的一种无监督学习神经网络，以RBM为基础（这就是为什么先讲RBM）。 下图是DBN的结构（这是一个图像识别的应用，不过这里识别的是脸部的倾斜角度LOL）： 注GP： Gaussian processes（高斯过程），这个东西不属于DBN。 从图中可以看出，DBN由多层神经元构成，每层神经元之间用RBM进行训练，从 \( (v,h_1) \) 到 \((h_{n-1},h_n)\)一层层构建起来（先用所有样本训练\( (v,h_1) \)，然后用训练出的结果\( h_1 \)作为样本训练\( (h_1,h_2) \),一直到\((h_{n-1},h_n)\)）。

没错，原理就是辣么简单。

但这还不够，因为单纯地用RBM只是无监督网络，但这样的网络不具备分类的能力（输出没有规律），所以要做到半监督，而要做到半监督，必须要进行监督学习，而上述的DBN架构并不能进行监督学习（没有输出层），于是我们再在\(h_n\)上方加上一个输出层\( y \),把\(v\)看作输入层，然后对整个神经网络使用梯度下降法进行优化，对于普通的结构，直接用BP算法即可。

这种半监督训练方法中，样本分为无标签和有标签两种，无标签样本指的是没有输出层数据，只有输入层数据的样本，有标签样本则是具有输入层和输出层的数据的样本，在训练时，无标签样本只参加无监督训练，有标签样本参加无监督训练（不需要输出层数据）和监督训练。这种训练的好处在于，无监督训练可以以一种较快的训练速度训练权值以适应输入数据，而监督训练则可以优化输出，减小输出误差。这种模型相对于普通的BP神经网络来说，它不再依赖超级大量的数据（在BP神经网络中，我们通常要用到连接权值总数的 5~10 倍的训练数据，而RBM则可以很快地逼近一个分类能力较好的权值，并且减小模型走向局部最优的几率），而且可以以一种更快的速度进行学习（RBM的构建会比BP快很多）。

于是乎，DBN成为2006年以来很火很火的神经网络架构，成为了神经网络的一个标杆。