用Sigmoid激活函数时，如果权重出时化较大或者较小时，容易出现梯度饱和和梯度消失，可选用Tanh函数改进

批规范化（batch normalization)是在不引入新参数的情况下保证每一层网络的输入具有相同的分布

LSTM中使用Sigmoid函数实现门限控制，而用tanh函数实现数据处理，两者目的不同

梯度下降法实现简单，当目标函数是凸函数时，可基于二阶收敛快速到达目标值