现代神经网络发展
randomized2017/04/30软件综合 IP:广东

ReLU[1]与softplus[2]

blob.png

图15ReLU与softplus的函数图像

ReLU可表示为

\( f(x)=max(0,x) \)

而softmax可表示为:

\( f(x)=ln(1+e^x ) \)

其导数为:

\( f^{'}(x)=e^x/(e^x+1)=1/(1+e^{-x} ) \)

这一类的激活函数主要是为了拟合神经元的单侧抑制输出,它们可以加快神经网络的训练速度,更早地得到最终结果。

blob.png

图16 ReLU对深度卷积神经网络错误率收敛的加速效果[3]

Dropout[4]

blob.png

图16 Dropout模式图

Dropout 技术在于训练部分神经元去拟合识别模型,而使用全部的神经元来进行测试,可以有效地防止过拟合问题(对训练数据集的识别效果过好,以至于无法较好地识别测试数据)。在训练的过程中,随机以一定概率(1-r)忽视部分神经元,进行计算和训练,而在测试(或应用于生产环境)的时候,通过将权值乘以r来计算所有神经元的输出。

Maxout [5]

Maxout技术所作的改进主要将神经元的输出改变为(在激活函数前):

\( h_i(x) =max_{j∈[1,k]}z_{ij} \)

其中:

\( z_{ij}=x^T W_{...ij}+b_{ij} \)

这种使用多个权值计算最后输出最大值的方法改进能够极好地拟合凹函数,对于图像识别等神经网络的非凸模型识别任务拥有极好的提升效果。 blob.png

图17maxout对非线性性函数的拟合

Network In Network[6]

如图所示,普通的卷积神经网络的输出是直接传递到下一层: blob.png

图18普通卷积层

而该论文中的卷积层在传递过程中经过了一个两层的MLP(多层感知器),从而增强卷积层的分类能力。

blob.png

图19多层感知器卷积层

blob.png

图20Network In Network结构简图

使用图示结构的神经网络,配合dropout、maxout,它做到了0.45的MNIST错误率。

Reference:

[1] Nair V, Hinton G E. Rectified Linear Units Improve Restricted Boltzmann Machines[C]International Conference on Machine Learning. DBLP, 2010:807-814.

[2]Dugas C, Bengio Y, Belisle F, et al. Incorporating Second-Order Functional Knowledge for Better Option Pricing[C]. neural information processing systems, 2001: 472-478.

[3]KrizhevskyA,SutskeverI,Hinton G XXXXageNet Classification with Deep Convolutional Neural Networks[J].Advances in Neural Information Processing Systems,2012,25(2):2012.

[4] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1):1929-1958.

[5]Goodfellow I J, Wardefarley D, Mirza M, et al. MaxoutNetworks[J]. Computer Science, 2013:1319-1327.

[6] Lin M, Chen Q, Yan S. Network In Network[J]. Computer Science, 2014.

来自:计算机科学 / 软件综合
1
已屏蔽 原因:{{ notice.reason }}已屏蔽
{{notice.noticeContent}}
~~空空如也
云中子3529
6年10个月前 IP:安徽
835063
感觉应该再说一下vgg的那几个模型的
最近看cnn的时候发现这两个模型很好用的说
用vgg的模型魔改照片简直一绝
引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论

想参与大家的讨论?现在就 登录 或者 注册

所属专业
所属分类
上级专业
同级专业
randomized
进士 学者 机友 笔友
文章
13
回复
84
学术分
1
2015/02/04注册,3年8个月前活动
暂无简介
主体类型:个人
所属领域:无
认证方式:手机号
IP归属地:江西
文件下载
加载中...
{{errorInfo}}
{{downloadWarning}}
你在 {{downloadTime}} 下载过当前文件。
文件名称:{{resource.defaultFile.name}}
下载次数:{{resource.hits}}
上传用户:{{uploader.username}}
所需积分:{{costScores}},{{holdScores}}下载当前附件免费{{description}}
积分不足,去充值
文件已丢失

当前账号的附件下载数量限制如下:
时段 个数
{{f.startingTime}}点 - {{f.endTime}}点 {{f.fileCount}}
视频暂不能访问,请登录试试
仅供内部学术交流或培训使用,请先保存到本地。本内容不代表科创观点,未经原作者同意,请勿转载。
音频暂不能访问,请登录试试
支持的图片格式:jpg, jpeg, png
插入公式
评论控制
加载中...
文号:{{pid}}
投诉或举报
加载中...
{{tip}}
请选择违规类型:
{{reason.type}}

空空如也

加载中...
详情
详情
推送到专栏从专栏移除
设为匿名取消匿名
查看作者
回复
只看作者
加入收藏取消收藏
收藏
取消收藏
折叠回复
置顶取消置顶
评学术分
鼓励
设为精选取消精选
管理提醒
编辑
通过审核
评论控制
退修或删除
历史版本
违规记录
投诉或举报
加入黑名单移除黑名单
查看IP
{{format('YYYY/MM/DD HH:mm:ss', toc)}}