前言

本人，黄涛，男，深圳市福田外国语高级中学学生。从小学开始接触C++，初中开始使用VB进行编程，两年前因为通用控制算法接触神经网络，自学完成BPNN,CNN的实现，在科创论坛上发表过综述帖。 卷积神经网络是一种针对图像识别等应用的神经网络，现广泛应用于识别等方面。

1、选题背景及研究现状

稀疏这一特征被广泛应用于机器学习领域，从现在来看，卷积操作本身也是一种稀疏编码，《Sparse Convolutional Neural Networks》这篇文章中所阐述的是将稀疏编码应用于卷积神经网络卷积层的输出过程中。《Convolution in Convolution for Network in Network》使用带有稀疏特征的MLP（可以看成是某种意义上的卷积）替换《Network In Network》中的普通MLP层。 而同时《Multi-column deep neural networks for image classification》这篇文章体现出的是将输入数据进行不同变换后，使用多个卷积神经网络识别时的优异性能。 图1 Dilated Convolutions

感受野是衡量一个卷积神经网络性能，而人们为了提高感受野的数量，提出了《Multi-Scale Context Aggregation by Dilated Convolutions》,使用其他类型的卷积，以提高其性能。

2、研究意义

卷积神经网络发展到今天，结构可以说是非常完善，但是人们在使用更深层的卷积神经网络时所体现出的梯度消失问题（《Supervised Sequence Labelling with Recurrent Neural Networks》）将人们挡在了更深结构的面前，《Deep Residual Learning for Image Recognition》提出了解决这一问题的方式，但是更深的同时，感受野的的数量并没有显著提高。 为了提高感受野的数量，同时建立更加深层的卷积神经网络，我提出了Sparse Convolution of Small CNN的相法。

3、主要研究内容

• 使用一个更小的卷积神经网络替换传统卷积核中的基于GLM的输出函数，目的是利用卷积神经网络的深度和其替换后的多重卷积特性，提高卷积神经网络的感受野的数量和卷积神经网络的深度。同时这样的替换使得在较小输入数据中使用较大的卷积核成为可能。
• 对输入数据使用稀疏的卷积，即给一个输入进行卷积的时候，每一次卷积时跳过一个或多个像素，以替代原有的池化层，减少梯度下降带来的影响的同时又不损失感受野。
• 卷积层的一个输入输出对的各卷积核之间的权值是不共享的，即在权值变化时只使用本一卷积核的改变量，得益于特殊的卷积核和稀疏的卷积，这种改变能对性能有所提升。

4、研究方法

我计划购买显卡进行测试，可能是GTX980，使用tensorflow实现并测试新的结构。 测试的数据集主要有MNIST、SVHN、CIFAR。 预计本项目持续五个月或更长，在两个月内完成实现和初期成果报道。 如果本方法经测试并不可行，将会转为进行其它结构的测试。

5、资金

主要开销是显卡，没有台式机的问题我会尽量解决，一个库存GTX980的价格在2000元左右。

6、参考文献(bibtex格式)

<code>@article{liu2015sparse,
title={Sparse Convolutional Neural Networks},
author={Liu, Baoyuan and Wang, Min and Foroosh, Hassan and Tappen, Marshall F and Penksy, Marianna},
pages={806--814},
year={2015}}

@article{Pang2017Convolution,
 title={Convolution in Convolution for Network in Network.},
 author={Pang, Y. and Sun, M. and Jiang, X. and Li, X.},
 journal={IEEE Transactions on Neural Networks & Learning Systems},
 volume={PP},
 number={99},
 pages={1-11},
 year={2017},
}

@article{Lin2013Network,
 title={Network In Network},
 author={Lin, Min and Chen, Qiang and Yan, Shuicheng},
 journal={Computer Science},
 year={2013},
}

@article{Schmidhuber2012Multi,
 title={Multi-column deep neural networks for image classification},
 author={Schmidhuber, Jurgen},
 volume={157},
 number={10},
 pages={3642-3649},
 year={2012},
}

@book{Graves2012Supervised,
 title={Supervised Sequence Labelling with Recurrent Neural Networks},
 author={Graves, Alex},
 publisher={Springer Berlin Heidelberg},
 year={2012},
}

@article{He2015Deep,
 title={Deep Residual Learning for Image Recognition},
 author={He, Kaiming and Zhang, Xiangyu and Ren, Shaoqing and Sun, Jian},
 pages={770-778},
 year={2015},
}

@article{Yu2015Multi,
 title={Multi-Scale Context Aggregation by Dilated Convolutions},
 author={Yu, Fisher and Koltun, Vladlen},
 year={2015},
}

</code>

个人照片

很少照相，手机拍的，电脑不在身边。