假定一个模型在训练样本集上面的准确率可达98%，但是在测试样本集上准确率只有70%，我们称这现象是？原因是？如何改进呢？
答：
模型发生了过拟合。原因是数据太少或存在噪声，模型过于复杂。改进方法：增加训练样本；采用正则化技术来控制模型复杂度。
什么是正则化？
答：
为了防止过拟合，在损失函数后增加的一项，来控制模型的复杂度。
模型的偏差和方差如何定义？
答：
偏差（拟合能力，真实与靶心的距离）：欠拟合，模型太简单
方差（泛化能力，与真实的距离）：过拟合，模型太复杂了
无监督学习的目标函数如何构造：
答：
使得重构误差最小
半监督学习
有一小部分标记了的样本，大部分没有标记
强化学习
做好的序列决策，不断和环境交互，通过行为作用于环境，并获得反馈。（回报延后，从汇报中学策略）
结构学习
输出为向量或其他包含多个值的数据结构，并输出他们之间的关系。
机器学习的单个基本要素：模型、学习准则、优化算法
没有免费午餐定理：若考虑所有问题，则所有学习算法都一样好
深度学习：是机器学习的一个子领域，它主要基于学习数据的表示
什么是好的数据？
1、有很强的表示能力
2、是后续的学习任务变得简单
3、具有一般性，是任务或领域独立的
线性损失函数的求解方法：梯度下降法，最小二乘法