假设我们有一个使用ReLU激活函数(ReLU activation function)的神经网络,假如我们把ReLU激活替换为线性激活,那么这个神经网络能够模拟出同或函数(XNOR function)吗?()
A.可以
B.不好说
C.不一定
D.不能
A.可以
B.不好说
C.不一定
D.不能
假设我们有一个使用ReLU激活函数(ReLU activation function)的神经网络,假如我们把ReLU激活替换为线性激活,那么这个神经网络能够模拟出同或函数(XNOR function)吗?()
A.能
B.依情况而定
C.不一定
D.不能
A.常用的激活函数有Sigmoid函数、Relu函数
B.Sigmoid函数可以将负无穷到正无穷的范围转换为0~1之间
C.Sigmoid函数的表达式为
D.逻辑回归中使用激活函数的目的是减少误差
A.ReLU的单侧抑制提供了网络的稀疏表达能力。
B.ReLU在其训练过程中会导致神经元死亡的问题。
C.从计算的角度上,Sigmoid和Tanh激活函数均需要计算指数,复杂度高,而ReLU只需要一个阈值即可得到激活值。
假定在神经网络中的隐藏层中使用激活函数x。在特定神经元给定任意输入,得到输出「-0.0001」。x可能是以下哪一个激活函数?()
A.ReLU
B.tanh
C.SIGMOID
D.以上都不是
A.ReLU
B.tanh
C.Sigmoid
D.以上都有可能
A.梯度消失
B.梯度爆炸
C.ReLU函数作为激活函数g(.),在计算g(z)时,z的数值过大了
D.Sigmoid函数作为激活函数g(.),在计算g(z)时,z的数值过大了
A.对激活函数的输出结果进行范围限定,有助于梯度平稳下降,而ReLU输出范围无限的函数会导致梯度消失问题
B.ReLU函数中所有负值均被截断为结果0,从而导致特征丢失,可适当调高学习率避免此类情况
C.RMSProp学习率调整策略引入累积梯度的概念,从而解决学习率过早趋向于0而结束训练
D.随机梯度下降(SGD)每次更新只随机取一个样本,按照固定学习率计算梯度,所以速度较快