【机器学习】机器学习实验一：线性回归（详细代码展示）

落日映苍穹つ 2023-09-27 15:07 112阅读 0赞

#### 文章目录 ####

*  一、前言
 *  二、梯度下降理解算法
 *   *  2.1 单变量线性回归
     *  2.2 多变量线性回归
     *  2.3 正则化
     *   *  2.3.1 L2正则化（Ridge回归）
         *  2.3.2 L1正则化（Lasso回归）
 *  三、实验一详细代码案例

## 一、前言 ##

本次实验我将分为两个部分进行讲解，第一部分用Numpy进行从零实现，对于算法公式尝试从零定义，深入理解线性回归的知识。

代码+数据集地址：

https://mbd.pub/o/bread/ZJWal5dx

![在这里插入图片描述][855bae90b58d4e30828cc6deb4c50aaa.png]

## 二、梯度下降理解算法 ##

### 2.1 单变量线性回归 ###

数据集展示：

![在这里插入图片描述][88bdf5665b39475d995e4233eb890c01.png]

![在这里插入图片描述][3a832e5f2dc94b729705aab9ae2fd592.png]  
![在这里插入图片描述][59c6820f623d48df93680a0be77b232a.png]

批量梯度下降的公式如下：

![在这里插入图片描述][97b399f833de4c23ab9c2bd21bc41692.png]  
![在这里插入图片描述][fcef2ba307df4f5995cbc3a0325dda37.png]

随机梯度下降函数也在每个训练迭代中输出一个代价，最后转换成向量，我们可以绘制，来直观的展现变化情况

需要注意的是，代价总是降低的，这是凸优化问题的一个例子

![在这里插入图片描述][8501176e147c4910b28a289ae59e1239.png]

预测情况如下：

![在这里插入图片描述][76c47039fc6142c6baca0452ca6ed5e4.png]  
使用正规方程：

![在这里插入图片描述][692786e67ecb4d33a36d7615d486e74d.png]

正规方程的推导过程：

![在这里插入图片描述][330e6ce82bae426b9c19c153ea8a02ed.png]  
![在这里插入图片描述][9cce7501fd414baca80cef5f60e2b778.png]

### 2.2 多变量线性回归 ###

![在这里插入图片描述][d655165cf7ed4710870a121b99299ade.png]  
![在这里插入图片描述][ab3d00ca5c304b05ad0c377c86e41f9b.png]  
![在这里插入图片描述][b4e2ea432a48487fadbf95afa2202408.png]  
![在这里插入图片描述][e1a73ebb08804dac93b649e465eeb9f8.png]  
数据拟合情况：

![在这里插入图片描述][56965e3759094f92a2331f0c7e104497.png]  
![在这里插入图片描述][5b2fd5ab2b2245d58882a9d5e833cea4.png]  
查看一下训练过程：

![在这里插入图片描述][1b826245356a47f18ffb7987875255af.png]

### 2.3 正则化 ###

#### 2.3.1 L2正则化（Ridge回归） ####

![在这里插入图片描述][bbcba4e7f64f4bc19fdff5a876c8b4aa.png]  
![在这里插入图片描述][2b2b65682ddd4e52878409217f481060.png]  
![在这里插入图片描述][9b205d617d7a4ff2a4e3d2b846fd70df.png]

#### 2.3.2 L1正则化（Lasso回归） ####

![在这里插入图片描述][ee77f8ad907d4030a95fa3c3f75de8ec.png]  
![在这里插入图片描述][cf7e191e9c354342a846177ceae2deb2.png]  
![在这里插入图片描述][1c7cb7e385f54a11906525af8fbde323.png]

## 三、实验一详细代码案例 ##

![在这里插入图片描述][a25cc0dfd0e04ae99150a6bdfee2678a.png]  
![在这里插入图片描述][d877a042a0ae4f98829f134ac3edd6ab.png]  
![在这里插入图片描述][8b8a83551d4b44be954b7f81317b98bf.png]  
![在这里插入图片描述][baedaf2c7f74480490b3f26ac1ca53ca.png]  
![在这里插入图片描述][9ffb2d8e4c854ca3a4ee85be1598ea2a.png]  
![在这里插入图片描述][0b92472e0c88425c8088e30af114195b.png]  
![在这里插入图片描述][cbdf2125c6ba4de6b57841c5a59494b5.png]  
![在这里插入图片描述][95e4e878b98c4cc9890113caf9d2a4fc.png]  
![在这里插入图片描述][8408beae4f124e9f96450bc19ba53edc.png]

![在这里插入图片描述][9d7d6bcdc31b4c15944e4b1c13df474e.png]  
![在这里插入图片描述][5303471ea14148f8af4ea63238f28783.png]  
![在这里插入图片描述][f85d0c31089448cc814495ba38f01ed6.png]  
![在这里插入图片描述][a154324252f9489d983c397ba880bd2c.png]  
![在这里插入图片描述][6964c4bb0d7d4738b6dffeb3d3337383.png]  
![在这里插入图片描述][4d7e6df05c634a709f4a78a3ddd8f3e7.png]  
![在这里插入图片描述][05b76e3b940047b1bb718ed3790bf74a.png]  
![在这里插入图片描述][6f85c044b53c4f62a17ec7192597d79c.png]

[855bae90b58d4e30828cc6deb4c50aaa.png]: https://img-blog.csdnimg.cn/855bae90b58d4e30828cc6deb4c50aaa.png
[88bdf5665b39475d995e4233eb890c01.png]: https://img-blog.csdnimg.cn/88bdf5665b39475d995e4233eb890c01.png
[3a832e5f2dc94b729705aab9ae2fd592.png]: https://img-blog.csdnimg.cn/3a832e5f2dc94b729705aab9ae2fd592.png
[59c6820f623d48df93680a0be77b232a.png]: https://img-blog.csdnimg.cn/59c6820f623d48df93680a0be77b232a.png
[97b399f833de4c23ab9c2bd21bc41692.png]: https://img-blog.csdnimg.cn/97b399f833de4c23ab9c2bd21bc41692.png
[fcef2ba307df4f5995cbc3a0325dda37.png]: https://img-blog.csdnimg.cn/fcef2ba307df4f5995cbc3a0325dda37.png
[8501176e147c4910b28a289ae59e1239.png]: https://img-blog.csdnimg.cn/8501176e147c4910b28a289ae59e1239.png
[76c47039fc6142c6baca0452ca6ed5e4.png]: https://img-blog.csdnimg.cn/76c47039fc6142c6baca0452ca6ed5e4.png
[692786e67ecb4d33a36d7615d486e74d.png]: https://img-blog.csdnimg.cn/692786e67ecb4d33a36d7615d486e74d.png
[330e6ce82bae426b9c19c153ea8a02ed.png]: https://img-blog.csdnimg.cn/330e6ce82bae426b9c19c153ea8a02ed.png
[9cce7501fd414baca80cef5f60e2b778.png]: https://img-blog.csdnimg.cn/9cce7501fd414baca80cef5f60e2b778.png
[d655165cf7ed4710870a121b99299ade.png]: https://img-blog.csdnimg.cn/d655165cf7ed4710870a121b99299ade.png
[ab3d00ca5c304b05ad0c377c86e41f9b.png]: https://img-blog.csdnimg.cn/ab3d00ca5c304b05ad0c377c86e41f9b.png
[b4e2ea432a48487fadbf95afa2202408.png]: https://img-blog.csdnimg.cn/b4e2ea432a48487fadbf95afa2202408.png
[e1a73ebb08804dac93b649e465eeb9f8.png]: https://img-blog.csdnimg.cn/e1a73ebb08804dac93b649e465eeb9f8.png
[56965e3759094f92a2331f0c7e104497.png]: https://img-blog.csdnimg.cn/56965e3759094f92a2331f0c7e104497.png
[5b2fd5ab2b2245d58882a9d5e833cea4.png]: https://img-blog.csdnimg.cn/5b2fd5ab2b2245d58882a9d5e833cea4.png
[1b826245356a47f18ffb7987875255af.png]: https://img-blog.csdnimg.cn/1b826245356a47f18ffb7987875255af.png
[bbcba4e7f64f4bc19fdff5a876c8b4aa.png]: https://img-blog.csdnimg.cn/bbcba4e7f64f4bc19fdff5a876c8b4aa.png
[2b2b65682ddd4e52878409217f481060.png]: https://img-blog.csdnimg.cn/2b2b65682ddd4e52878409217f481060.png
[9b205d617d7a4ff2a4e3d2b846fd70df.png]: https://img-blog.csdnimg.cn/9b205d617d7a4ff2a4e3d2b846fd70df.png
[ee77f8ad907d4030a95fa3c3f75de8ec.png]: https://img-blog.csdnimg.cn/ee77f8ad907d4030a95fa3c3f75de8ec.png
[cf7e191e9c354342a846177ceae2deb2.png]: https://img-blog.csdnimg.cn/cf7e191e9c354342a846177ceae2deb2.png
[1c7cb7e385f54a11906525af8fbde323.png]: https://img-blog.csdnimg.cn/1c7cb7e385f54a11906525af8fbde323.png
[a25cc0dfd0e04ae99150a6bdfee2678a.png]: https://img-blog.csdnimg.cn/a25cc0dfd0e04ae99150a6bdfee2678a.png
[d877a042a0ae4f98829f134ac3edd6ab.png]: https://img-blog.csdnimg.cn/d877a042a0ae4f98829f134ac3edd6ab.png
[8b8a83551d4b44be954b7f81317b98bf.png]: https://img-blog.csdnimg.cn/8b8a83551d4b44be954b7f81317b98bf.png
[baedaf2c7f74480490b3f26ac1ca53ca.png]: https://img-blog.csdnimg.cn/baedaf2c7f74480490b3f26ac1ca53ca.png
[9ffb2d8e4c854ca3a4ee85be1598ea2a.png]: https://img-blog.csdnimg.cn/9ffb2d8e4c854ca3a4ee85be1598ea2a.png
[0b92472e0c88425c8088e30af114195b.png]: https://img-blog.csdnimg.cn/0b92472e0c88425c8088e30af114195b.png
[cbdf2125c6ba4de6b57841c5a59494b5.png]: https://img-blog.csdnimg.cn/cbdf2125c6ba4de6b57841c5a59494b5.png
[95e4e878b98c4cc9890113caf9d2a4fc.png]: https://img-blog.csdnimg.cn/95e4e878b98c4cc9890113caf9d2a4fc.png
[8408beae4f124e9f96450bc19ba53edc.png]: https://img-blog.csdnimg.cn/8408beae4f124e9f96450bc19ba53edc.png
[9d7d6bcdc31b4c15944e4b1c13df474e.png]: https://img-blog.csdnimg.cn/9d7d6bcdc31b4c15944e4b1c13df474e.png
[5303471ea14148f8af4ea63238f28783.png]: https://img-blog.csdnimg.cn/5303471ea14148f8af4ea63238f28783.png
[f85d0c31089448cc814495ba38f01ed6.png]: https://img-blog.csdnimg.cn/f85d0c31089448cc814495ba38f01ed6.png
[a154324252f9489d983c397ba880bd2c.png]: https://img-blog.csdnimg.cn/a154324252f9489d983c397ba880bd2c.png
[6964c4bb0d7d4738b6dffeb3d3337383.png]: https://img-blog.csdnimg.cn/6964c4bb0d7d4738b6dffeb3d3337383.png
[4d7e6df05c634a709f4a78a3ddd8f3e7.png]: https://img-blog.csdnimg.cn/4d7e6df05c634a709f4a78a3ddd8f3e7.png
[05b76e3b940047b1bb718ed3790bf74a.png]: https://img-blog.csdnimg.cn/05b76e3b940047b1bb718ed3790bf74a.png
[6f85c044b53c4f62a17ec7192597d79c.png]: https://img-blog.csdnimg.cn/6f85c044b53c4f62a17ec7192597d79c.png