第三章 线性模型
1.基本形式
线性模型试图学得一个通过属性的线性组合来进行预测的函数，即：f(x)=w1x1+w2x2+......+wdxd+b，一般用向量形式写成：f(x)=Wx+b(W=(w1,w2,,,,,wd))。w和b学得之后模型就得以确定。
2.线性回归
“线性回归”试图学得一个模型以尽可能准确地预测实值输出标记。
均方误差对应了常用的欧几里得距离或简称“欧氏距离”。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。
3.对数几率回归--用线性回归模型的预测结果去逼近真实标记的对数几率。
对数几率函数--是在一定程度上近似单位阶跃函数的“替代函数”，并且单调可微。
4.线性判别分析（LDA、Flsher判别分析）--典型的线性学习方法
LDA思想：给定训练样例集，设法将样例投影到一条直线上，使得同样样例的投影点尽可能接近、异类样例的投影点尽可能远离。在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。
5.多分类学习
利用二分类学习器来解决多分类问题。拆解法：将多分类任务拆分为若干个二分类任务求解。具体来说，先对问题进行拆分，人后为拆出的每个二分类任务训练一个分类器，在测试时对这些分类器的预测结果进行集成以获得最终的多分类结果。
最经典的拆分策略：
a）一对一（OvO）：将N个类别两两配对，从而产生N（N-1）/2个二分类任务，最终结果可通过投票产生：即把被预测得最多得类别作为最终分类结果。
b）一对其余（OvR）：每次将一个类的样例作为正例，所有其他类的样例作为反例来训练N个分类器。在测试时，若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果。
c）多对多（MvM）：每次将若干类作为正类，若干个其他类作为反类。MvM的正、反类构造必须有特殊的设计，不能随意选取。最常用的MvM技术：纠错输出码（ECOC），该方法将编码的思想引入类别拆分，并尽可能在解码过程中具有容错性。主要步骤有两步，分别为编码与解码。
在类别很多时，OvO的训练时间开销通常比OvR更小。
6.类别不平衡问题--分类任务中不同类别的训练样例数目差别很大的情况。
处理类别不平衡问题的基本方法--再缩放：欠采样、过采样、阈值移动