等待下一个秋

  • Spark
  • Flink
  • Hive
  • 数据仓库
  • ClickHouse
  • 收徒弟
  • Java
    • Spring
    • Mybatis
    • SpringBoot
    • 面试题
  • Python
    • Python基础
    • 爬虫
    • Numpy
    • matplotlib
    • Flask
  • 技术杂谈
    • Linux知识
    • Docker
    • Git教程
    • Redis教程
    • mysql
    • 前端
    • R语言
    • 机器学习
  • 关于我
  • 其它
    • 副业挣钱
    • 资料下载
    • 资料文档
专注于Hadoop/Spark/Flink/Hive/数据仓库等
关注公众号:大数据技术派,获取更多学习资料。
  1. 首页
  2. Python
  3. 正文

基于最小二乘法的线性回归拟合

2019年4月22日 9741点热度 0人点赞 0条评论

阅读本文需要的知识储备:

  • 高等数学
  • 概率论与数理统计
  • Python基础

线性回归,其实生活中有很多这样的例子,比如:票价与行车距离、服务质量之间的关系,买房时房价与面积、地域等的关系。给我们一组这样的数据,我们想找出一个数学关系来描述这个问题,从而得到自己想要的结论。那么,怎么样才能使得你确定出的关系是一个好的线性关系呢。最著名的当数最小二乘法了。

最小二乘法原理

众所周知,最小二乘法原理就是利用,拟合直线上面的因变量值与实际值的残差平方和最小作为优化目标。从而确定出我们需要找出的的系数。给定一组数据X = (X1,X2,...,Xn),Y = (Y1,Y2,...,Yn),一般方法通过画散点图观察我们发现,X、Y之间有可能存在很强的线性关系,当然也可能有其它关系(更高次也是有可能的)。我们的任务就是,通过线性拟合找到合适的线性系数,能最好反应X、Y之间的相关关系。

假设线性方程为:

这里的eps就是指的实际值与直线拟合值的残差,它们肯定会有差值的,一般而言。

目标函数就是因变量值与实际值的残差平方和,定义如下:

其中,红色Yi表示实际给定的数据,蓝色表达式表示根据拟合直线表达式计算的近似代替值,我们的目标是使其达到最小。

数学分析(工科会学高等数学)告诉我们:这是一个二元函数,我们需要找到其极小值点(alpha,beta);可以对目标函数关于alpha,beta分别求偏导数,偏导数如果有零点,这个零点两边函数值为正负,必然存在一个驻点对应目标函数值先下降后增长)。那么,这个点就是我们要求的最优极小值点对应线性拟合系数alpha,beta。

求偏导函数如下:

求偏导数函数零点,理论上可以求出,alpha,beta的值。大家不喜欢公式,我也不喜欢编辑公式(编辑好麻烦),虽然我比较喜欢公式。我觉得实际问题被抽象成数学模型去刻画才是最美的。

经过细心的计算,大家可以算出:

只要算出了beta,利用回归直线过点(x_bar,y_bar),X,Y平均值点,算出alpha即可。

编程实现

Win10环境下用Python3.写的实现程序。
(1)、用的数据:由于暂时没有数据生成线性数据,然后加的噪声;
(2)、用到的函数:
向量内积(点乘)函数、平均值、协方差
(3)、代码如下:

import random


# 向量内积函数
def dot(m, n):
    return (sum(m_i * n_i for m_i, n_i in zip(m, n)))


# 平均值函数
def mean(x):
    return (sum(x) / len(x))


# 计算协方差
####-----要计算一个序列方差只需covariance(x,x)即可---####
def de_mean(x):
    x_bar = mean(x)

    return ([x_i - x_bar for x_i in x])


def covariance(x, y):
    return (dot(de_mean(x), de_mean(y)) / (len(x) - 1))


# 计算相关系数
import math

def correlation(x, y):
    s_x = math.sqrt(covariance(x, x))
    s_y = math.sqrt(covariance(y, y))

    return (covariance(x, y) / (s_x * s_y))

# -----------------【最小二乘法】线性回归系数求法--------------
def line_coef(x, y):
    s1 = covariance(x, x) * (len(x) - 1)
    s2 = dot(y, de_mean(x))
    beta = s2 / s1
    alpha = mean(y) - beta * mean(x)

    return (alpha, beta)

# *********实验************
# 由于暂时没有实验数据,这里生成【随机干扰】数据
import random as rdm

# from numpy import *
def ran(a1, a2, x):
    return [a1 + a2 * x_i + 2.5 * random.random() for x_i in x]

a1 = 1.5
a2 = 2.5
x = range(20)
y = ran(a1, a2, x)
# 线性拟合
alpha, beta = line_coef(x, y)
print('*------------最小二乘法-------------*')
print('系数为:', alpha, beta)

# 可视化
import matplotlib.pyplot as plt

# 开一个【2x2】的图像窗口
# plt.subplot(221)
plt.figure(1)
plt.scatter(x, y, marker='*', color='b')
plt.xlabel('x label')
plt.ylabel('y label')
plt.title('Linear Fit')
# 拟合直线
plt.plot(x, [alpha + beta * x_i for x_i in x], color='orange')
# plt.subplot(222)
plt.show()

# 误差分析
# -----主要考察:(1)误差平方和;(2)R方(越大拟合得越好)
def err(alpha, beta, x, y):  # 返回每个实际y值与拟合值差向量
    return ([y_i - (alpha + beta * x_i) for x_i, y_i in zip(x, y)])


def error_total(alpha, beta, x, y):
    y1 = err(alpha, beta, x, y)

    return (dot(y1, y1))

print('误差为:', error_total(alpha, beta, x, y))


# 计算R方

def r_square(alpha, beta, x, y):
    return (1 - error_total(alpha, beta, x, y) / covariance(y, y))

R_square = r_square(alpha, beta, x, y)
print('R方:', R_square)
if (R_square > 0.95):
    print('在0.05置信水平下,该线性拟合不错!')
else:
    print('在0.05置信水平下,该线性拟合效果不佳!')

(4)、结果

*------最小二乘法---------*
系数为: 2.6786542252575067 2.538861110659364
误差为: 6.8591175428159215
R方: 0.9696451619135048

在0.05置信水平下,该线性拟合不错!

拟合图如下

结果分析

可以看出我定义的线性方程系数a1 = 1.5,a2 = 2.5,大约就是Y = 1.5+2.5X,最终结果是Y = 2.6786542252575067+2.538861110659364X,因为中间增加了2.5倍的噪声,使得alpha从1.5—>2.68。当然了,这只是我们的感觉,线性拟合效果怎么样,还得看官方标准。

这里用R方(值越大拟合得越好)。

R方: 0.9696451619135048

在0.05置信水平下,该线性拟合不错!

 

标签: Python 算法
最后更新:2021年6月9日

等待下一个秋

待我代码写成,便娶你为妻!专注于Hadoop/Spark/Flink/Hive/数据仓库等,关注公众号:大数据技术派,获取更多学习资料。

打赏 点赞
< 上一篇
下一篇 >

文章评论

取消回复

等待下一个秋

待我代码写成,便娶你为妻!专注于Hadoop/Spark/Flink/Hive/数据仓库等,关注公众号:大数据技术派,获取更多学习资料。

搜一搜
微信
最新 热点 随机
最新 热点 随机
ClickHouse 自定义分区键 ClickHouse数据副本引擎 ClickHouse ReplacingMergeTree引擎 ClickHouse MergeTree引擎 clickhouse简介 Flink SQL管理平台flink-streaming-platform-web安装搭建
mysql表数据装满了怎么办?自增id引发的bug。 数仓建模—OneID 副业刚需——做哪些自媒体确实可以挣到钱? 十大经典排序算法——计数排序 第11讲:Flink CEP 复杂事件处理 介绍一单小生意——以及我的思考
标签聚合
Flink 数据仓库 挣钱 算法 大数据 R语言 Hive Redis 书籍 Python mysql Java
文章归档
  • 2022年12月
  • 2022年11月
  • 2022年9月
  • 2022年7月
  • 2022年6月
  • 2022年5月
  • 2022年4月
  • 2022年3月
  • 2022年2月
  • 2022年1月
  • 2021年12月
  • 2021年11月
  • 2021年10月
  • 2021年9月
  • 2021年8月
  • 2021年6月
  • 2021年5月
  • 2021年4月
  • 2021年3月
  • 2021年2月
  • 2021年1月
  • 2020年12月
  • 2020年11月
  • 2020年10月
  • 2020年9月
  • 2020年8月
  • 2020年7月
  • 2020年5月
  • 2020年4月
  • 2020年1月
  • 2019年9月
  • 2019年8月
  • 2019年7月
  • 2019年6月
  • 2019年5月
  • 2019年4月
  • 2019年3月
  • 2019年1月
  • 2018年12月
  • 2017年5月

©2022 ikeguang.com. 保留所有权利。

鄂ICP备2020019097号-1

鄂公网安备 42032202000160号