吴恩达《深度学习工程师》课程 02.改善深层神经网络：超参数调试、正则化以及优化
实用层面
数据集
对于样本，可将其分类为训练集/验证集/测试集（train:development:test）。
在数据量小于10000时，可分配比例 train/test = 70/30 or train/development/test = 60/20/20
在数据量大于10000时，dev和test的比例将减小，100w时，train/development/test = 98/1/1
有些时候数据来源不单一，训练神经网络时要保证数据dev 和 test 来自同一分布！
偏差/方差
偏差：模型训练完后对于trian set 的误差
方差：模型训练完之后对于test set 的误差
通常对于模型训练，先解决偏差过高问题，后解决方差过高问题。
正则化
L2 正则化
为了防止过拟合，引入正则化。正则化会使W的权重变小，从而使得网络变得“简单”。正则化参数 $\lambda \rightarrow \infin$ 时，网络趋向于一个线性回归。
Dropout （随机失活）
随机删除一些节点，得到一个节点、规模更小的网络
