线 性 回 归 总 结
01. 线性回归综述
02.用线性回归拟合直线
03.局部加权线性回归
04.缩减系数“理解”数据
05.多项式回归
1
2
3
4
5
目
录
S
T
N
E
T
N
O
C
PART 01
线性回归综述
线性回归的概念
什么是线性回归?
首先举个例子,我们去市场买牛肉,一斤牛肉52块钱,两斤牛肉
104块钱,三斤牛肉156块钱,以此类推。也是说牛肉的价格随着牛肉
斤数的增加而有规律地增加,这种规律可以右图表示:
可以看到上述规律可以用一条直线来表述,这就是一个线性模型。
用 表示牛肉斤数,用 表示价格,就得到方程:
=52。
程叫做回归。
这个方程就叫做回归方程,52叫做回归系数,求解回归系数的过
线性回归首先假设自变量和因变量是线性关系,然后通过对现有
样本进行回归,进而计算出回归系数以确定线性模型,最后使用这个模
型对未知样本进行预测。
线性回归的优缺点
优点
结果易于理解,计算上不复杂。
缺点
对于非线性的数据拟合不好。
PART 02
用线性回归拟合直线
用线性回归拟合直线
怎样求解回归系数?
有这样一个数据集,很容易看出,这些数据是线性的,因此可
以使用线性回归来拟合。由于每个样本点只有一个自变量和一个因
变量,因此可以用如下回归方程来表示模型:
=+
线有无数条,每一条都由 和 确定。我们的任务就是找到那条最
符合数据集的直线,也就是求得最优的 和 。
如何计算最优的 和 ?最常用的方法:最小二乘法。
在图中画出几条通过样本集的直线,可以看到通过样本集的直
用线性回归拟合直线
最小二乘法求回归系数
对于数据集中不同的点,我们试图学到:
称为线性回归模型的最小二乘“参数估计”。
别。最小二乘法就是试图找到一条直线,使所有样本到直线的欧式
距离之和最小。欧式距离与均方误差相对应,即:
=+,使得 i ≈( 为真实值)
如何计算最优的 和 ,关键在于如何衡量 与y之间的差
∗,∗ = arg
= arg
求解 和 使 , = =1 −− 2 最小化的过程,
, =1 − 2
, =1 −− 2