训练一个RNN网络,如果权重与激活值都是NaN,下列选项中,哪一个是导致这个问题的最有可能的原因()。
A.梯度消失
B.梯度爆炸
C.ReLU函数作为激活函数g(.),在计算g(z)时,z的数值过大了
D.Sigmoid函数作为激活函数g(.),在计算g(z)时,z的数值过大了
A.梯度消失
B.梯度爆炸
C.ReLU函数作为激活函数g(.),在计算g(z)时,z的数值过大了
D.Sigmoid函数作为激活函数g(.),在计算g(z)时,z的数值过大了
A.梯度消失
B.梯度爆炸
C.eLU函数作为激活函数g(.),在计算g(z)时,z的数值过大了
D.Sigmoid函数作为激活函数g(.),在计算g(z)时,z的数值过大了
A.CNN和RNN都属于神经网络,因此二者的训练方式完全一致,均采用BP算法。
B.CNN和RNN都采用了权值共享机制以减少网络中的参数量。
C.在同一个网络中,CNN结构和RNN结构不能同时使用。
D.CNN适用于图像处理,而RNN适用于序列数据处理。
A.1
B.100
C.300
D.10000
A.ReLU的单侧抑制提供了网络的稀疏表达能力。
B.ReLU在其训练过程中会导致神经元死亡的问题。
C.从计算的角度上,Sigmoid和Tanh激活函数均需要计算指数,复杂度高,而ReLU只需要一个阈值即可得到激活值。
A.使用sigmod函数容易出现梯度消失
B.sigmod的导数形式较为复杂
C.双曲正切更简单
D.sigmoid函数实现较为复杂
A.LSTM在一定程度上解决了传统RNN梯度消失或梯度爆炸的问题
B.CNN相比于全连接的优势之一是模型复杂度低,缓解过拟合
C.只要参数设置合理,深度学习的效果至少应优于随机算法
D.随机梯度下降法可以缓解网络训练过程中陷入鞍点的问题
A.根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话,那么即使这个结果是0.99,在经过足够多层传播之后,误差对输入层的偏导会趋于0
B.可以采用ReLU激活函数有效的解决梯度消失的情况
C.根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话,在经过足够多层传播之后,误差对输入层的偏导会趋于无穷大
D.可以通过减小初始权重矩阵的值来缓解梯度爆炸
A.尝试使用Adam算法
B.尝试对权重进行更好的随机初始化
C.尝试调整学习率α
D.尝试mini-batch梯度下降
A.在VRP备份组中用来通告主备发生变换
B.用于通告一个新的现AC地址:发送方更换网卡,AC地址发生改变,为了能够在AP表项老化前通告所有主机,发送方可以发送一个免费ARP
C.用于检查重复的IP地址:正常情况下不会收到ARP回应,如果收到,则表明本网络中存在与自身P地址重复的地址
D.免费ARP报文用来在主机空闲时与网关设备保持激活