一、简介

机器学习（Machine Learning）是人工智能的一个分支，在近三十多年已经发展成为一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计机器学习。

机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人等领域。

二、定义

赫尔伯特·西蒙（Herbert A. Simon）曾对学习给出以下定义：“如果一个系统能够通过执行某个过程改进它的性能，这就是学习”。但何谓 “机器学习”，学界尚未有统一的定义。一种经常引用的英文定义是：“A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.”。

三、步骤

• 得到一个有限的训练数据集合
• 确定包含所有可能的模型的假设空间，即学习模型的集合
• 确定模型选择的准则，即学习的策略
• 实现求解最优模型的算法，即学习的算法
• 通过学习方法选择最优模型
• 利用学习的最优模型对新数据进行预测和分析

四、分类

1、监督学习

监督学习（Supervised Learning）是从训练数据集中学到或建立一个学习模型（Learning Model），并依此对新的实例进行预测。其本质是学习输入到输出的映射的统计规律。

对于监督学习，若预测的结果是连续型数据，称为回归问题；若预测的结果是离散型数据，则称为分类问题。

2、无监督学习

无监督学习（Unsupervised Learning）是指在没有任何标识的情况下对输入数据进行分类或分群。其本质是学习数据中的统计规律或潜在结构，一般用于实现对数据进行聚类、降维和密度估计。

3、强化学习

强化学习是智能体（Agent）以“试错”的方式进行学习，通过与环境进行交互获得奖赏指导行为，使智能体获得最大的奖赏。其本质是学习最优的序贯决策。智能系统的目标不是短期奖励的最大化，而是长期累积奖励的最大化。

参考资料： 

中文维基百科

知乎

统计学习方法（第二版 李航）