三要素

模型、策略和算法。

三大范式（三大分类）

监督学习

训练数据既有输入特征，也有标签。

无监督学习

只有输入特征，人工标签。模型需要自己去寻找数据中的潜在规律。

强化学习

过拟合与欠拟合

泛化能力：指模型对没见过的新数据的预测能力。机器学习的终极目标是提高泛化能力。

	欠拟合	过拟合
概念	模型太简单，没有学到数据的规律。	模型太复杂，把数据中的噪声和细节也学到了。
训练集表现	差	极好
测试集表现	差	差

函数

损失函数

将模型的预测值与真实值映射为一个非负实数，量化模型的误差程度。

符号

	含义
$x$	输入数据（特征）
$y$	真实标签
$\overset{y}{^}$	模型预测值
$N$ / $m$ / $B$	样本数量
$i$	样本编号， $x^{(i)}$ 表示第 $i$ 个样本
$w$	权重
$b$	偏置
$θ$	参数集合，