分类问题

逻辑回归

---

逻辑回归虽然名字叫回归，但属于分类算法。

Sigmoid函数

线性回归预测的y的范围是$(-\infty ,+\infty )$，但二分类需要的概率值只能在 $[0,1]$ 之间，因此引入Sigmoid函数：
$\sigma (z)=\frac{1}{1+e^{-z}}$

• 当 $z\to +\infty$ 时，$\sigma (z)\to 1$
• 当 $z\to -\infty$ 时，$\sigma (z)\to 0$
• 当 $z=0$ 时，$\sigma (z)=0.5$（通常以 0.5 为决策边界，$\sigma (z)>0.5$ 预测为正，$\sigma (z)<0.5$ 预测为负）
• 导数：${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$

模型性能量度

---

混淆矩阵

实际\预测	正	负
正	TP	FN
负	FP	TN

• TP (True Positive)：预测为正，实际为负
• FP (False Positive)：预测为正，实际是为负
• FN (False Negative)：预测为负，实际为正
• TN (True Negative)：预测为负，实际为正

准确率

$\text{Accuracy}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{TN}+\text{FP}+\text{FN}}$
总样本中预测正确的占比。

精确率

$\text{Precision}=\frac{\text{TP}}{\text{TP}+\text{FP}}$
预测为正的样本中真正为正的占比。

召回率

$\text{Recall}=\frac{\text{TP}}{\text{TP}+\text{FN}}$
实际为正的样本中模型预测为正的占比。

F1-Score

$\text{F1}=2\times \frac{\text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}}$