阅读本文需要的知识储备：
- 高等数学
- 概率论与数理统计
- Python基础
线性回归，其实生活中有很多这样的例子，比如：票价与行车距离、服务质量之间的关系，买房时房价与面积、地域等的关系。给我们一组这样的数据，我们想找出一个数学关系来描述这个问题，从而得到自己想要的结论。那么，怎么样才能使得你确定出的关系是一个好的线性关系呢。最著名的当数最小二乘法了。
最小二乘法原理
众所周知，最小二乘法原理就是利用，拟合直线上面的因变量值与实际值的残差平方和最小作为优化目标。从而确定出我们需要找出的的系数。给定一组数据X = (X1,X2,...,Xn)，Y = (Y1,Y2,...,Yn)，一般方法通过画散点图观察我们发现，X、Y之间有可能存在很强的线性关系，当然也可能有其它关系（更高次也是有可能的）。我们的任务就是，通过线性拟合找到合适的线性系数，能最好反应X、Y之间的相关关系。
假设线性方程为：
这里的eps就是指的实际值与直线拟合值的残差，它们肯定会有差值的，一般而言。
目标函数就是因变量值与实际值的残差平方和，定义如下：
其中，红色Yi表示实际给定的数据，蓝色表达式表示根据拟合直线表达式计算的近似代替值，我们的目标是使其达到最小。
数学分析（工科会学高等数学）告诉我们：这是一个二元函数，我们需要找到其极小值点（alpha,beta）；可以对目标函数关于alpha,beta分别求偏导数，偏导数如果有零点，这个零点两边函数值为正负，必然存在一个驻点对应目标函数值先下降后增长）。那么，这个点就是我们要求的最优极小值点对应线性拟合系数alpha,beta。
求偏导函数如下：
求偏导数函数零点，理论上可以求出，alpha，beta的值。大家不喜欢公式，我也不喜欢编辑公式（编辑好麻烦），虽然我比较喜欢公式。我觉得实际问题被抽象成数学模型去刻画才是最美的。
经过细心的计算，大家可以算出：
只要算出了beta，利用回归直线过点（x_bar,y_bar），X，Y平均值点，算出alpha即可。
编程实现
Win10环境下用Python3.写的实现程序。
（1）、用的数据：由于暂时没有数据生成线性数据，然后加的噪声；
（2）、用到的函数：
向量内积（点乘）函数、平均值、协方差
（3）、代码如下：
import random
# 向量内积函数
def dot(m, n):
return (sum(m_i * n_i for m_i, n_i in zip(m, n)))
# 平均值函数
def mean(x):
return (sum(x) / len(x))
# 计算协方差
####-----要计算一个序列方差只需covariance(x,x)即可---####
def de_mean(x):
x_bar = mean(x)
return ([x_i - x_bar for x_i in x])
def covariance(x, y):
return (dot(de_mean(x), de_mean(y)) / (len(x) - 1))
# 计算相关系数
import math
def correlation(x, y):
s_x = math.sqrt(covariance(x, x))
s_y = math.sqrt(covariance(y, y))
return (covariance(x, y) / (s_x * s_y))
# -----------------【最小二乘法】线性回归系数求法--------------
def line_coef(x, y):
s1 = covariance(x, x) * (len(x) - 1)
s2 = dot(y, de_mean(x))
beta = s2 / s1
alpha = mean(y) - beta * mean(x)
return (alpha, beta)
# *********实验************
# 由于暂时没有实验数据，这里生成【随机干扰】数据
import random as rdm
# from numpy import *
def ran(a1, a2, x):
return [a1 + a2 * x_i + 2.5 * random.random() for x_i in x]
a1 = 1.5
a2 = 2.5
x = range(20)
y = ran(a1, a2, x)
# 线性拟合
alpha, beta = line_coef(x, y)
print('*------------最小二乘法-------------*')
print('系数为：', alpha, beta)
# 可视化
import matplotlib.pyplot as plt
# 开一个【2x2】的图像窗口
# plt.subplot(221)
plt.figure(1)
plt.scatter(x, y, marker='*', color='b')
plt.xlabel('x label')
plt.ylabel('y label')
plt.title('Linear Fit')
# 拟合直线
plt.plot(x, [alpha + beta * x_i for x_i in x], color='orange')
# plt.subplot(222)
plt.show()
# 误差分析
# -----主要考察:(1)误差平方和;(2)R方（越大拟合得越好）
def err(alpha, beta, x, y): # 返回每个实际y值与拟合值差向量
return ([y_i - (alpha + beta * x_i) for x_i, y_i in zip(x, y)])
def error_total(alpha, beta, x, y):
y1 = err(alpha, beta, x, y)
return (dot(y1, y1))
print('误差为：', error_total(alpha, beta, x, y))
# 计算R方
def r_square(alpha, beta, x, y):
return (1 - error_total(alpha, beta, x, y) / covariance(y, y))
R_square = r_square(alpha, beta, x, y)
print('R方：', R_square)
if (R_square > 0.95):
print('在0.05置信水平下，该线性拟合不错!')
else:
print('在0.05置信水平下，该线性拟合效果不佳!')
（4）、结果
*------最小二乘法---------* 系数为： 2.6786542252575067 2.538861110659364 误差为： 6.8591175428159215 R方： 0.9696451619135048 在0.05置信水平下，该线性拟合不错!
拟合图如下
结果分析
可以看出我定义的线性方程系数a1 = 1.5，a2 = 2.5，大约就是Y = 1.5+2.5X，最终结果是Y = 2.6786542252575067+2.538861110659364X，因为中间增加了2.5倍的噪声，使得alpha从1.5—>2.68。当然了，这只是我们的感觉，线性拟合效果怎么样，还得看官方标准。
这里用R方（值越大拟合得越好）。
R方： 0.9696451619135048 在0.05置信水平下，该线性拟合不错!
