深度学习框架TensorFlow深入学习、TensorBoard可视化-07|AI资源分享
作者:YZCAI / 2016-08-14 11:55 / 浏览次数:
不饱和激活函数
深度神经网络
tensorflow
卷积神经网络算法
深度神经网络
RReLU,Random,a是一个在给定范
tensorflow
围内随机取值的数在

深度学习框架TensorFlow深入学习、TensorBoard可视化-07|AI资源分享-图1
tensorflow
练时,固定的平均值
卷积神经网络算法
深度神经网络
测试时,过拟合可以试试
PReLU,Parametric,a是一个在训练过
卷积神经网络算法
深度神经网络
程中需要学习的超
参数,它会被修改在反向传播中,适合
深度神经网络
卷积神经网络算法
tensorflow
大数据集
ELU,exponential,计算
tensorflow
深度学习框架TensorFlow深入学习、TensorBoard可视化-07|AI资源分享-图2
梯度
深度神经网络
tensorflow
卷积神经网络算法
深度神经网络
的速度会慢一些,但是整体
因为没有死的神经元,整体收敛快,超参数0.01
卷积神经网络算法
tensorflow
ELU > leaky
深度神经网络
卷积神经网络算法
tensorflow
ReLU > ReLU > tanh > logistic
不饱和激活函数
ELU直接使用
Leaky_relu需要自
tensorflow
己实现
卷积神经网络算法
hiddenl = fully
tensorflow
深度神经网络
connectedCX,, n
tensorflow
卷积神经网络算法
htddenlacti.vati.on_fn=tf.nn.elu)
def
深度神经网络
leaky_relu(z,
卷积神经网络算法
name=None):
return
tensorflow
深度神经网络
卷积神经网络算法
tensorflow
tf.maximum(0.01 * z, z, nane^name)
hiddenl
深度神经网络
tensorflow
= fullyconnected(X,
深度神经网络
tensorflow
卷积神经网络算法
深度神经网络
卷积神经网络算法
nhiddenl,
深度神经网络
act!vation_fn=leaky_relu)
)
不饱和激活函数
尽管使用He
卷积神经网络算法
initialization和ELU可以很大程度减少梯度弥散
问题在一开始训练,但是不保证在训练
tensorflow
的后面不会发生
Batch
卷积神经网络算法
深度神经网络
tensorflow
Normalization可以更好解决问题
它应用于每层激活函数之前,就是做均值和
tensorflow
方差归一化,
对于每一批次数据
并且还做放大缩小,
卷积神经网络算法
平移
Batch
深度神经网络
Normalization
在测试时,使用全部训练集的均值、方差,在Batch
卷积神经网络算法
Normalization
层,总共4个超参数被学习,scale,offset,mean,standard
deviation
利用Batch
tensorflow
卷积神经网络算法
tensorflow
深度神经网络
深度学习框架TensorFlow深入学习、TensorBoard可视化-07|AI资源分享-图3
tensorflow
Normalization即使是用饱和的激活函数,梯度弥散问题
也可以很好减轻
利用Batch Normalization对权重初始化就不那么敏感了
利用Batch
深度学习框架TensorFlow深入学习、TensorBoard可视化-07|AI资源分享-图4
深度神经网络
卷积神经网络算法
Normalization可以使用大
tensorflow
一点的学习
深度神经网络
卷积神经网络算法
卷积神经网络算法
tensorflow
率来提速了
利用Batch Normalization同样的准
深度神经网络
确率,
卷积神经网络算法
深度神经网络
tensorflow
深度神经网络
4.9% top-5错误率,速度
深度神经网络
卷积神经网络算法
少14倍
利用Batch
深度学习框架TensorFlow深入学习、TensorBoard可视化-07|AI资源分享-图5
Normalization也是一种正则化,就必要使用dropout了或
其他技术了
Batch
卷积神经网络算法
tensorflow
Normalization
【AI网站】人工智能、机器学习、深度学习、神经网络、大数据、培训课程、各大框架、视频学习、学习路线
热门资讯
右侧公益栏目

AI学习

备案号:个人网站备案号