图中的深层卷积神经网络是一种较深层级的卷积神经网络,使用两台NVIDIA GTX 580 3GB GPU进行计算和训练(上下的层分别代表两显卡中不同的层),它验证了卷积神经网络在高层数方面的适用性及其优越性,在ILSVRC-2012 数据集中获得了37.5% 17.0%的Top-1 Top-5误差,可以说它运算速度快、分类能力好,具有极强的发展潜力。
图中的神经网络类型按照名字来说应该是深度神经网络(Multi-column Deep Neural Networks),但是
XXXXXXXXXXXXXXXXXXXXX/exdb/mnist/上却将其分类为卷积神经网络,故在此处介绍。
输入图像被分成多个小块(Pn)然后这些图像块被输入深度神经网络,然后再对深度神经网络的输出进行处理,成为最终输出结果。
该神经网络可以说是非常优秀的,0.23的MINST数据集错误率(最低),以及NIST SD 19、CASIA 、GTSRB、CIFAR 10、NORB数据集的优秀成绩。
这是一个具有残差项的神经网络,某个层的输出会被当作残差项传递到几层后参与运算,残差项的优点是可以较好地减少梯度消失(当神经网络层数过多时,由于其输出函数的特性,输入数据对输出数据的影响会过小,造成误差增大)带来的影响,可以做到152层左右,误差如下图所示(虚线是训练误差,实线是测试误差),可见深层级可以带来较好的效果,但过深层还是会受到梯度下降的影响。
该神经网络在ILSVRC2015比赛中取得第一名。