数据挖掘与机器学习-第五章 回归分析

---

第五章 回归分析

回归预测

回归分析

回归分析案例

线性回归

预备知识

一元线性回归

一元线性回归举例

两种拟合方法

最小二乘法

矩阵法

一元线性回归实现

多元线性回归

多元线性回归实现

线性回归的优缺点

多项式回归

简介

一元高阶多项式回归模型

多元高阶多项式回归

线性回归问题

Ridge回归(岭回归)和Lasso回归

参考链接

逻辑回归

逻辑回归的优点

逻辑回归的缺点

决策树(ID3+C4.5+CART)

支持向量机(SVM)

实验5 回归算法

题目一 Boston房价(线性回归和多项式回归)

本实验中我们将对波士顿房价的数据集进行回归算法训练：在机器学习章节中我们已经创建过最简单的回归模型，我们在此回顾一下：
LinearRegression 会调用 fit 方法来拟合数组 X， y，并且将线性模型的系数存储在其成员变量 coef_ 中：
from sklearn import linear_model
reg = linear_model.LinearRegression()
print(reg.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2]))
print(reg.coef_)
print(reg.predict([[1, 2]]))

题目一：使用线性和多项式回归算法进行房价预测

STEP1：加载波士顿房价数据集，并且将数据集分割为训练集和测试集。


STEP2：创建线性回归模型和多项式回归模型并进行训练，创建多项式回归模型并进行训练，在这里我们已经对线性回归模型比较熟悉了，但是多项式回归模型如何创建？在此我们可以将原始数据转换其多项式特征值后再使用线性回归训练构成多项式回归模型。提示：使用PolynomialFeatures方法将数据进行转换

STEP3：使用模型进行预测并计算其mse。

boston房价数据集：data一共有506组样本，每个样本14个属性；target一共有506组

###STEP 1###
import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
data, target = datasets.load_boston(return_X_y=True)
x_train,x_test,y_train,y_test=train_test_split(data,target,random_state=1)

###STEP 2###
linear_model = LinearRegression()
linear_model.fit(x_train,y_train)

model=PolynomialFeatures(degree=2)
x_transformed=model.fit_transform(x_train)
poly_linear_model = LinearRegression()
poly_linear_model.fit(x_transformed,y_train)

###STEP 3###
y_predict=linear_model.predict(x_test)
x_test1=model.fit_transform(x_test)
y_hat=poly_linear_model.predict(x_test1)
linear_mse=np.average((y_predict-np.array(y_test))**2)
poly_mse = np.average((y_hat-np.array(y_test))**2)
print(linear_mse, poly_mse)

参考链接

题目二 Boston房价(Ridge回归算法)

题目二：使用Ridge回归算法进行房价预测
线性回归的主要问题是对异常值敏感，在真实世界的数据收集过程中，经常会遇到错误的度量结果，而线性回归使用的普通最小二乘法，其目标是使平方误差最小化，这时，由于异常值误差的绝对值很大，会引起问题，破坏模型。
Ridge 回归通过对系数的大小施加惩罚来解决普通最小二乘法的一些问题，请自行了解Ridge 回归算法，以及与线性算法的区别。
STEP1：加载数据集，并且将数据集分割为训练集和测试集。


STEP2：创建Ridge回归模型，请了解sklearn中Ridge模型的alpha参数，参考：http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.linear_model.Ridge.html#sklearn.linear_model.Ridge。


STEP3：寻找Ridge最优参数alpha，创建参数优化器GridSearchCV，将参数model，param_grid传入，GridSearchCV是为了寻找出model的alpha最优参数，请了解sklearn中GridSearchCV的model，param_grid参数，参考：http://sklearn.apachecn.org/cn/0.19.0/modules/generated/sklearn.model_selection.GridSearchCV.html#sklearn.model_selection.GridSearchCV。


STEP4：使用最优参数的Ridge模型进行预测，计算其MSE，并从图像中观察预测值是

### STEP 1 ###
import matplotlib.pyplot as plt
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV
data,target=datasets.load_boston(return_X_y=True)
x_train,x_test,y_train,y_test=train_test_split(data,target,random_state=1)

### STEP 2###
model = Ridge()
alpha_can=np.logspace(-3, 1, 10)

### STEP 3###
ridge_model=GridSearchCV(model, param_grid={'alpha':alpha_can})
ridge_model.fit(data,target)
print('证参数: \n', ridge_model.best_params_)

###STEP 4###
y_hat=ridge_model.predict(x_test)
mse=np.average((y_hat-np.array(y_test))**2)
rmse=np.sqrt(mse)
t=np.arange(len(x_test))
plt.plot(t,y_test,'r-',linewidth=2,label='Test')
plt.plot(t,y_hat,'g-',linewidth=2,label='Predict')
plt.legend(loc='upper right')
plt.grid()
plt.show()

---