机器学习笔记3

1.线性模型

线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思 想。

一般用向量形式写成

f(x) = (ωT)x+b

其中ω=(ω1;ω2;... ;ωd)，T矩阵为转置

1.1 最小二乘法

均方误差有非常好的几何意义?它对应了常用的欧几里得距离或简称”欧氏距离” (Euclidean distance). 基于均方误差最小化来进行模型求解的方法称 为”最小二乘法” (least square method).

(w,b) = ∑(f(x)-yi)2

参考：

1. my coding.net
2. 机器学习(周志华西瓜书) 目录+参考答案
3. 【机器学习】支持向量机SVM原理及推导
4. 极大似然估计详解
5. 协方差
6. 马氏距离