在下图中,我们可以观察到误差出现了许多小的"涨落"。这种情况我们应该担心吗?( )
需要,这也许意味着神经网络的学习速率存在问题
不需要,只要在训练集和交叉验证集上有累积的下降就可以了
不知道
不好说
不需要,为了减少这些“起伏”,可以尝试增加批尺寸(batch size)。具体来说,在曲线整体趋势为下降时, 为了减少这些“起伏”,可以尝试增加批尺寸(batch size)以缩小batch综合梯度方向摆动范围. 当整体曲线趋势为平缓时出现可观的“起伏”, 可以尝试降低学习率以进一步收敛. “起伏”不可观时应该提前终止训练以免过拟合。