来源如此
过拟合的表现：在训练集上loss很小，但在验证集和测试集上精度不高
原因：参数量和数据量的极度不平衡，没有学习到数据通用特征，学习到些数据的特殊特征，导致泛化能力弱。如白天鹅和黑天鹅，仅用白天鹅训练，是否能识别黑天鹅，颜色是特殊特征，不应该作为显著特征。
方法1：丰富数据集，增大数据集，适当减少模型大小数据增强，预处理，保持训练集和测试集的同分布，无限接近现实世界的数据添加先验知识，增加特征的稀疏性：如L1,L2正则，relu，稀疏训练等网络结构上使用BN，保持网络每层数据的同分布，减少信息丢失集成学习思想：多个不同结构的模型组合学习，增强模型的鲁棒性。使用dropout类似算子。
attention机制：加权，突出重要通用特征。
方法2：
- 1 加正则项
- 2 从设计上降低模型的复杂度
- 3 减少训练次数
- 4 加大学习步幅
- 5 连续特征分箱
- 6 特征降维
- 7 正负样本调整均衡
- 8 采用多个弱分类器做集成学习
- 9 数据清洗
- 10剔除离群值
- 11交叉训练和验证
2、增加数据量；
3、dropout；
4、early stopping