如何用MLflow做机器学习实验效果比对

r囧r小猫 2022-10-28 03:57 76阅读 0赞

# 背景介绍 #

最近看了很多MLflow相关的内容，做一个简单的分享。MLFlow是一款管理机器学习工作流程的工具，核心由以下4个模块组成：

1.  MLflow Tracking：如何通过API的形式管理实验的参数、代码、结果，并且通过UI的形式做对比。
2.  MLflow Projects：代码打包的一套方案
3.  MLflow Models：一套模型部署的方案
4.  MLflow Model Registry：一套管理模型和注册模型的方案

今天重点讲讲MLflow Tracking，也就是如何做机器学习不同模型下的实验的管理以及效果的比对。

# 详细流程 #

## （1）安装环境 ##

肯定要首先安装mlflow，可以通过pip install mlflow的方式进行安装。

## （2）训练代码 ##

可以使用mlflow的官方demo做模型的训练，具体代码如下：

重点看下最后几行：

> mlflow.log\_param("alpha", alpha)
> 
> mlflow.log\_param("l1\_ratio", l1\_ratio)
> 
> mlflow.log\_metric("rmse", rmse)
> 
> mlflow.log\_metric("r2", r2)
> 
> mlflow.log\_metric("mae", mae)

在这几行代码中，demo通过mlflow sdk注册了参与训练的参数，分别是alpha和l1\_ratio，另外也注册了metric（参与评估的指标）为rmse、r2、mae

## （3）执行训练任务 ##

> import os
> 
> import warnings
> 
> import sys
> 
> import pandas as pd
> 
> import numpy as np
> 
> from sklearn.metrics import mean\_squared\_error, mean\_absolute\_error, r2\_score
> 
> from sklearn.model\_selection import train\_test\_split
> 
> from sklearn.linear\_model import ElasticNet
> 
> import mlflow
> 
> import mlflow.sklearn
> 
> import logging
> 
> logging.basicConfig(level=logging.WARN)
> 
> logger = logging.getLogger(\_\_name\_\_)
> 
> def eval\_metrics(actual, pred):
> 
> rmse = np.sqrt(mean\_squared\_error(actual, pred))
> 
> mae = mean\_absolute\_error(actual, pred)
> 
> r2 = r2\_score(actual, pred)
> 
> return rmse, mae, r2
> 
> if \_\_name\_\_ == "\_\_main\_\_":
> 
> warnings.filterwarnings("ignore")
> 
> np.random.seed(40)
> 
> \# Read the wine-quality csv file from the URL
> 
> csv\_url =\\
> 
> 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv'
> 
> try:
> 
> data = pd.read\_csv(csv\_url, sep=';')
> 
> except Exception as e:
> 
> logger.exception(
> 
> "Unable to download training & test CSV, check your internet connection. Error: %s", e)
> 
> \# Split the data into training and test sets. (0.75, 0.25) split.
> 
> train, test = train\_test\_split(data)
> 
> \# The predicted column is "quality" which is a scalar from \[3, 9\]
> 
> train\_x = train.drop(\["quality"\], axis=1)
> 
> test\_x = test.drop(\["quality"\], axis=1)
> 
> train\_y = train\[\["quality"\]\]
> 
> test\_y = test\[\["quality"\]\]
> 
> alpha = float(sys.argv\[1\]) if len(sys.argv) > 1 else 0.5
> 
> l1\_ratio = float(sys.argv\[2\]) if len(sys.argv) > 2 else 0.5
> 
> with mlflow.start\_run():
> 
> lr = ElasticNet(alpha=alpha, l1\_ratio=l1\_ratio, random\_state=42)
> 
> lr.fit(train\_x, train\_y)
> 
> predicted\_qualities = lr.predict(test\_x)
> 
> (rmse, mae, r2) = eval\_metrics(test\_y, predicted\_qualities)
> 
> print("Elasticnet model (alpha=%f, l1\_ratio=%f):" % (alpha, l1\_ratio))
> 
> print(" RMSE: %s" % rmse)
> 
> print(" MAE: %s" % mae)
> 
> print(" R2: %s" % r2)
> 
> mlflow.log\_param("alpha", alpha)
> 
> mlflow.log\_param("l1\_ratio", l1\_ratio)
> 
> mlflow.log\_metric("rmse", rmse)
> 
> mlflow.log\_metric("r2", r2)
> 
> mlflow.log\_metric("mae", mae)
> 
> mlflow.sklearn.log\_model(lr, "model")

接下来就可以执行训练任务，每次执行需要传两个参数，分别对应代码里的alpha和l1\_ratio这两个取值。

> python train.py 0.4 0.4
> 
> python train.py 0.5 0.5
> 
> python train.py 0.6 0.6

训练完后数据会在本地做一个存储，以每次任务的实例名称为文件夹名

![image.png][]

每个任务下面有四个内容，分别是params、metrics、artifacts、tags

*  Artifacts：存储输出的model
 *  Metrics：存储了模型的评估指标，比如mae、r2、rmse
 *  Params：存储的是一些参数
 *  Tags：存储的是一些任务的meta，就是用户、日志等等

## （4）可视化管理 ##

在terminal中运行命令：mlflow run

然后在浏览器输入localhost:5000，可以打开mlflow的UI

![image.png][image.png 1]

experiments是实验对照组，在选择对照组后可以选择不同的任务进行比较。

![image.png][image.png 2]

可以看到不同任务的效果比对：

![image.png][image.png 3]

也可以图形化的展示：

![image.png][image.png 4]

[image.png]: /images/20221024/76c7fd2163d54623b6e18ddd2d605f22.png
[image.png 1]: /images/20221024/e391680f42c548ff95e2fd61d7443204.png
[image.png 2]: /images/20221024/fd2584732bdb4ae0b4f1a72da6c3b0c6.png
[image.png 3]: /images/20221024/38cb13e16e5a418bb0b7d5f218b60e2a.png
[image.png 4]: /images/20221024/4086c83e468e4c23b085c3dae773ef13.png