课程「改善深层神经网络」笔记

吴恩达《深度学习工程师》课程 02.改善深层神经网络:超参数调试、正则化以及优化

实用层面

数据集

对于样本,可将其分类为训练集/验证集/测试集(train:development:test)。

在数据量小于10000时,可分配比例 train/test = 70/30 or train/development/test = 60/20/20

在数据量大于10000时,dev和test的比例将减小,100w时,train/development/test = 98/1/1

有些时候数据来源不单一,训练神经网络时要保证数据dev 和 test 来自同一分布!

偏差/方差

偏差:模型训练完后对于trian set 的误差

方差:模型训练完之后对于test set 的误差

通常对于模型训练,先解决偏差过高问题,后解决方差过高问题。

正则化

L2 正则化

为了防止过拟合,引入正则化。正则化会使W的权重变小,从而使得网络变得“简单”。正则化参数 $\lambda \rightarrow \infin$ 时,网络趋向于一个线性回归。

image-20181106192612026

Dropout (随机失活)

随机删除一些节点,得到一个节点、规模更小的网络

image-20181106193133141