A.梯度消失
B.梯度爆炸
C.eLU函数作为激活函数g(.),在计算g(z)时,z的数值过大了
D.Sigmoid函数作为激活函数g(.),在计算g(z)时,z的数值过大了
A.激活函数需要具有线性可微的特点
B.Sigmoid函数的导数是非零的,很容易计算
C.Sigmoid函数的输出值域是对称的
D.ReLU函数主要缺点是相比于Sigmoid、Tanh函数其计算低效
A.ReLU的单侧抑制提供了网络的稀疏表达能力。
B.ReLU在其训练过程中会导致神经元死亡的问题。
C.从计算的角度上,Sigmoid和Tanh激活函数均需要计算指数,复杂度高,而ReLU只需要一个阈值即可得到激活值。
A.使用sigmod函数容易出现梯度消失
B.sigmod的导数形式较为复杂
C.双曲正切更简单
D.sigmoid函数实现较为复杂
A.梯度减少问题
B.XOR问题
C.梯度消失问题
D.过拟合问题