Bagging可起到神经网络中与Dropout类似的效果

激活函数f(x)≈x会使输出的幅值随着深度的增加而发生显著增大，从而使网络训练变得不稳定

使用梯度截断可简单有效的解决梯度爆炸问题

Maxout是一种分段线性函数，理论上可以拟合任意凸函数，模型训练过程较快