对激活函数的输出结果进行范围限定，有助于梯度平稳下降，而ReLU输出范围无限的函数会导致梯度消失问题

ReLU函数中所有负值均被截断为结果0，从而导致特征丢失，可适当调高学习率避免此类情况

RMSProp学习率调整策略引入累积梯度概念，从而解决学习率过早趋向于0而结束训练

随机梯度下降(SGD)每次更新权重时只随机选择一个样本，所以速度较快