申请科创A基金|Sparse Convolution of Small CNN
randomized2017/07/02科创基金 IP:日本

前言

本人,黄涛,男,深圳市福田外国语高级中学学生。从小学开始接触C++,初中开始使用VB进行编程,两年前因为通用控制算法接触神经网络,自学完成BPNN,CNN的实现,在科创论坛上发表过综述帖。 卷积神经网络是一种针对图像识别等应用的神经网络,现广泛应用于识别等方面。

1、选题背景及研究现状

稀疏这一特征被广泛应用于机器学习领域,从现在来看,卷积操作本身也是一种稀疏编码,《Sparse Convolutional Neural Networks》这篇文章中所阐述的是将稀疏编码应用于卷积神经网络卷积层的输出过程中。《Convolution in Convolution for Network in Network》使用带有稀疏特征的MLP(可以看成是某种意义上的卷积)替换《Network In Network》中的普通MLP层。 而同时《Multi-column deep neural networks for image classification》这篇文章体现出的是将输入数据进行不同变换后,使用多个卷积神经网络识别时的优异性能。 blob.png 图1 Dilated Convolutions

感受野是衡量一个卷积神经网络性能,而人们为了提高感受野的数量,提出了《Multi-Scale Context Aggregation by Dilated Convolutions》,使用其他类型的卷积,以提高其性能。

2、研究意义

卷积神经网络发展到今天,结构可以说是非常完善,但是人们在使用更深层的卷积神经网络时所体现出的梯度消失问题(《Supervised Sequence Labelling with Recurrent Neural Networks》)将人们挡在了更深结构的面前,《Deep Residual Learning for Image Recognition》提出了解决这一问题的方式,但是更深的同时,感受野的的数量并没有显著提高。 为了提高感受野的数量,同时建立更加深层的卷积神经网络,我提出了Sparse Convolution of Small CNN的相法。

3、主要研究内容

  • 使用一个更小的卷积神经网络替换传统卷积核中的基于GLM的输出函数,目的是利用卷积神经网络的深度和其替换后的多重卷积特性,提高卷积神经网络的感受野的数量和卷积神经网络的深度。同时这样的替换使得在较小输入数据中使用较大的卷积核成为可能。
  • 对输入数据使用稀疏的卷积,即给一个输入进行卷积的时候,每一次卷积时跳过一个或多个像素,以替代原有的池化层,减少梯度下降带来的影响的同时又不损失感受野。
  • 卷积层的一个输入输出对的各卷积核之间的权值是不共享的,即在权值变化时只使用本一卷积核的改变量,得益于特殊的卷积核和稀疏的卷积,这种改变能对性能有所提升。

4、研究方法

我计划购买显卡进行测试,可能是GTX980,使用tensorflow实现并测试新的结构。 测试的数据集主要有MNIST、SVHN、CIFAR。 预计本项目持续五个月或更长,在两个月内完成实现和初期成果报道。 如果本方法经测试并不可行,将会转为进行其它结构的测试。

5、资金

主要开销是显卡,没有台式机的问题我会尽量解决,一个库存GTX980的价格在2000元左右。

6、参考文献(bibtex格式)

<code>@article{liu2015sparse,
title={Sparse Convolutional Neural Networks},
author={Liu, Baoyuan and Wang, Min and Foroosh, Hassan and Tappen, Marshall F and Penksy, Marianna},
pages={806--814},
year={2015}}

@article{Pang2017Convolution,
 title={Convolution in Convolution for Network in Network.},
 author={Pang, Y. and Sun, M. and Jiang, X. and Li, X.},
 journal={IEEE Transactions on Neural Networks & Learning Systems},
 volume={PP},
 number={99},
 pages={1-11},
 year={2017},
}

@article{Lin2013Network,
 title={Network In Network},
 author={Lin, Min and Chen, Qiang and Yan, Shuicheng},
 journal={Computer Science},
 year={2013},
}

@article{Schmidhuber2012Multi,
 title={Multi-column deep neural networks for image classification},
 author={Schmidhuber, Jurgen},
 volume={157},
 number={10},
 pages={3642-3649},
 year={2012},
}

@book{Graves2012Supervised,
 title={Supervised Sequence Labelling with Recurrent Neural Networks},
 author={Graves, Alex},
 publisher={Springer Berlin Heidelberg},
 year={2012},
}

@article{He2015Deep,
 title={Deep Residual Learning for Image Recognition},
 author={He, Kaiming and Zhang, Xiangyu and Ren, Shaoqing and Sun, Jian},
 pages={770-778},
 year={2015},
}

@article{Yu2015Multi,
 title={Multi-Scale Context Aggregation by Dilated Convolutions},
 author={Yu, Fisher and Koltun, Vladlen},
 year={2015},
}

</code>

个人照片

很少照相,手机拍的,电脑不在身边。 IMG_20170617_175540.jpg

[修改于 6年6个月前 - 2017/10/02 19:44:27]

来自:自助服务区 / 科创基金
19
已屏蔽 原因:{{ notice.reason }}已屏蔽
{{notice.noticeContent}}
~~空空如也
zx-16533
6年10个月前 修改于 6年10个月前 IP:广东
835611
现在买显卡略困难。。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
虎哥
6年10个月前 IP:四川
835614
这是还没写完吗?
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
randomized作者
6年10个月前 IP:广东
835637
引用 虎哥:
这是还没写完吗?
有点事,刚写完。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
虎哥
6年10个月前 修改于 6年10个月前 IP:四川
835638
引用 1160599678:
有点事,刚写完。
我看得云里雾里的,不明白楼主的文章与科创基金之间是什么关系。请照申报指南补充必要的信息。该申请案和前一申请是相互独立的,前一申请不能代替任何必要的内容;由于前一申请并未批准,未被批准的申请不能作为依据被引用,尤其不能出现“参考前一申请”这样的措辞。你不写清楚,我怎么知道该参考哪一句,申报材料是特殊的契约,基金要对捐款人负责,每句话的意义都要准确界定。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
异极
6年10个月前 IP:上海
835678
应该再等一段时间,现在显卡价格太高。说不定过一段时间矿难,显卡就便宜了。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
randomized作者
6年10个月前 IP:广东
835762
引用 虎哥:
我看得云里雾里的,不明白楼主的文章与科创基金之间是什么关系。请照申报指南补充必要的信息。该申请案和前一申请是相互独立的,前一申请不能代替任何必要的内容;由于前一申请并未批准,未被批准的申请不能作为依据……
对不起,我以为只要对开题报告进行补正,大意了,见谅。
现已修正。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
虎哥
6年10个月前 IP:四川
835771
引用 1160599678:
对不起,我以为只要对开题报告进行补正,大意了,见谅。
现已修正。
请把您的照片补到顶楼适当位置,不用像上次那么大尺寸,稍微缩小一点。其它资料请给科创论坛再发一次,因为您上次指定了上次的申请帖和项目名称,无法挪用。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
randomized作者
6年9个月前 IP:广东
835842
引用 虎哥:
请把您的照片补到顶楼适当位置,不用像上次那么大尺寸,稍微缩小一点。其它资料请给科创论坛再发一次,因为您上次指定了上次的申请帖和项目名称,无法挪用。
我用手机,照片的问题有点无奈,资料已经发出。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
虎哥
6年9个月前 IP:四川
835843
资料已收悉。经审查,申报材料必要件齐全,符合科创基金A的有关规范。从即日起至2017年7月7日为公示期间,欢迎广大爱好者和专业人士提出意见建议。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
马小甲
6年9个月前 IP:上海
835848
根据科创A基金的要求,6个月内要回帖发布过程。然后还要发布账目和结项。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
phpskycn
6年9个月前 IP:浙江
836085
库存显卡买不得。
首先中高档的显卡本身工作环境恶劣,GPU和VRAM温度都很高,长期使用容易脱焊。
其次上一代的GM2XX系列BIOS可以完全解锁,运行频率、频率-电压策略可以自行设定,更容易损坏。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
虎哥
6年9个月前 IP:四川
836086
公示期已截止。
根据科创基金A的有关规定,经过专家审查,申报项目的研究路线基本合理,符合资助条件。但是预算用于采购一个退市的产品,且很难买到“非矿机”,不尽合理。综上,我决定批准申请,批准经费用途为技术设施费,具体采购什么由申请人根据自有资金情况、研究所需及市场行情灵活安排,并在论坛公布。

项目编号:2017A002
项目名称:使用稀疏卷积的CNN研究
资助金额:1800元
申请人:黄涛
批准人:刘虎
批准日期:2017年7月8日
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
randomized作者
6年9个月前 IP:广东
836097
引用 虎哥:
公示期已截止。
根据科创基金A的有关规定,经过专家审查,申报项目的研究路线基本合理,符合资助条件。但是预算用于采购一个退市的产品,且很难买到“非矿机”,不尽合理。综上,我决定批准申请,批准经费用途为技……
已收到,于一月内公布账目。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
randomized作者
6年9个月前 修改于 6年9个月前 IP:江西
836533
资金去向
保修备用卡,未上机
IMG_20170715_140643.jpg
750元
IMG_20170715_140559.jpg
750元
单据:
2017_7_15 13_09 Office Lens.jpg
结余300元
下一步资金用途拟定为
测试平台运行成本(电费)
该项用途公示至2017年7月22日,如有异议,请在公示截止日前提出
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
虎哥
6年9个月前 IP:四川
836576
楼上无权限制异议时间,有什么新闻如实报导就好了,不要节外生枝。
该项资金是技术设施费,不得用于支付电费。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
randomized作者
6年9个月前 IP:江西
836593
引用 虎哥:
楼上无权限制异议时间,有什么新闻如实报导就好了,不要节外生枝。
该项资金是技术设施费,不得用于支付电费。
那么剩下的钱是退回基金吗?
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
虎哥
6年9个月前 IP:四川
836598
如果申报项目没有其它合理用途,应当退回基金;否则,可以用于采购其它必要的技术设施。科创基金的性质是“资助”,并不是有多少钱办多少事,应以研究需要为原则。
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
义气登堂
6年9个月前 IP:广东
836971
你所发表的内容    跟显卡有什么   早知道我也搞个申请   一两千做新能源研究补贴   现在研究的 LWJPW1 可以用在单车发电 阻力是0.2  没电池   25公里速度踩 10分钟  停车  测试LDE电灯   能2小时不关闭  !
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论

想参与大家的讨论?现在就 登录 或者 注册

文件下载
加载中...
{{errorInfo}}
{{downloadWarning}}
你在 {{downloadTime}} 下载过当前文件。
文件名称:{{resource.defaultFile.name}}
下载次数:{{resource.hits}}
上传用户:{{uploader.username}}
所需积分:{{costScores}},{{holdScores}}下载当前附件免费{{description}}
积分不足,去充值
文件已丢失

当前账号的附件下载数量限制如下:
时段 个数
{{f.startingTime}}点 - {{f.endTime}}点 {{f.fileCount}}
视频暂不能访问,请登录试试
仅供内部学术交流或培训使用,请先保存到本地。本内容不代表科创观点,未经原作者同意,请勿转载。
音频暂不能访问,请登录试试
支持的图片格式:jpg, jpeg, png
插入公式
评论控制
加载中...
文号:{{pid}}
投诉或举报
加载中...
{{tip}}
请选择违规类型:
{{reason.type}}

空空如也

加载中...
详情
详情
推送到专栏从专栏移除
设为匿名取消匿名
查看作者
回复
只看作者
加入收藏取消收藏
收藏
取消收藏
折叠回复
置顶取消置顶
评学术分
鼓励
设为精选取消精选
管理提醒
编辑
通过审核
评论控制
退修或删除
历史版本
违规记录
投诉或举报
加入黑名单移除黑名单
查看IP
{{format('YYYY/MM/DD HH:mm:ss', toc)}}