转载：手把手教你如何开发一个NLP机器学习模型,并将它部署在Flask的Web平台上(译)

深碍√TFBOYSˉ_ 2023-07-10 05:04 16阅读 0赞

### 转载：手把手教你如何开发一个NLP机器学习模型,并将它部署在Flask的Web平台上(译) ###

此博客可操作性较强，可以让想要将自己开发的机器学习模型，应用Flask（web轻量级框架）在网页进行简单部署。但是存在问题：每次预测都要加载一次模型，对于简单的模型还好，但是当模型很大时，预测会很耗时。而且预测后的结果不能存入数据库，进而对模型进行优化。  
（下面代码我修改了部分，使css可以显示样式。运行代码即可执行，但是需要确认电脑有装Python、Pycharm等，会用Pycharm添加模块、包）  
原博客链接：[https://blog.csdn.net/weixin\_42608414/article/details/87460705?utm\_source=app][https_blog.csdn.net_weixin_42608414_article_details_87460705_utm_source_app]  
如果不知道怎么在Pycharm上创建一个Flask项目，请看我的博客：[https://blog.csdn.net/qq\_37486501/article/details/104574882][https_blog.csdn.net_qq_37486501_article_details_104574882]  
最后项目部署好，会显示如下界面：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 1]  
今天我们要开发一个用来识别垃圾短信(邮件)的NLP机器学习模型,并将其部署在Flask的Web平台上，我们的NLP机器学习系统的开发过程是这样的:1.线下训练模型–>2.将模型部署成一个web服务–>3.线上实现预测。

开发一个NLP模型，并在线下完成训练  
将训练好的模型部署成一个web服务在线供用户使用  
当我们开发好一个机器学习模型后,如何来部署这模型,如何让其他用户方便的使用它呢？

目前有很多机器学习/深度学习的线上线下课程,它们的主要任务是在教会大家如何构建和优化机器学习/深度学习模型，但它们很少会教会工程师们当模型开发好以后,下一步该如何做?成功的开发一个模型与让模型能够为实际用户提供服务之间还是有很大的差异。

在本文中，我们将重点在于：构建垃圾短信分类的机器学习模型，然后使用Flask(Python的轻量级web框架)为模型创建API。用户可以通过HTTP请求来调用API,并实现对用户的文本信息进行识别, 好了让我们开始吧！

### 构建模型 ###

我们的数据来自于Kaggle,可以在这里下载,数据已经被标注了垃圾和非垃圾的两类标签。我们将使用此数据集构建预测模型，然后用模型准确识别出哪些文本是垃圾邮件。

朴素贝叶斯分类器是一种非常著名的电子邮件过滤统计技术。 它通常使用词袋方法来识别垃圾邮件。因此我们将根据朴素贝叶斯定理构建一个简单的消息分类器。

import pandas as pd
    import numpy as np
    from sklearn.feature_extraction.text import CountVectorizer
    from sklearn.model_selection import train_test_split
    from sklearn.naive_bayes import MultinomialNB
    from sklearn.metrics import classification_report
    from sklearn.externals import joblib
     
    #整理数据,查看数据
    df = pd.read_csv('./data/spam.csv', encoding="latin-1")
    df=df[['v1','v2']]
    df.rename(columns={ 'v2':'message'}, inplace = True)
    df['label'] = df['v1'].map({ 'ham': 0, 'spam': 1})
    df.head()

#构造训练集和测试集
    X = df['message']
    y = df['label']
    cv = CountVectorizer()
    X = cv.fit_transform(X) 
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)
     
    #朴素贝叶斯分类器
    clf = MultinomialNB()
    clf.fit(X_train,y_train)
    clf.score(X_test,y_test)
    y_pred = clf.predict(X_test)
    print(classification_report(y_test, y_pred))

朴素贝叶斯分类器不但使用起来非常方便而且预测精度非常高

模型训练好以后，我们可以使用持久化的方法将模型保存起来,这样下次使用模型时就不需要重新训练模型,而直接加载模型就可以了，为实现此目的，我们可以将模型保存为.pkl文件以供以后使用。

#将模型持久化,以便以后使用
    joblib.dump(clf, 'NB_spam_model.pkl')

我们可以再次加载模型,而不需要重新训练模型

#加载模型
    NB_spam_model = open('NB_spam_model.pkl','rb')
    clf = joblib.load(NB_spam_model)

接下来我们要将该模型部署到Flask微服务中,并提供一个接口来接受客户端的请求。

### 将垃圾邮件分类器转变成Web应用程序（利用Flask） ###

前面我们已经完成了垃圾邮件分类器的所有代码,是不是很简单?接下来,我们将开发一个Web应用程序，该应用程序由两个简单的Web页面组成，第一个页面包含了用户输入消息的表单字段。 在将消息提交给Web应用程序后，预测结果将显示在另外一个页面上.(是垃圾邮件或不是垃圾邮件)

首先，我们为这个项目创建一个名为Spam-Detector的文件夹，下面是该文件夹中的目录树。 我们将解释其中的每个文件。

spam.csv
    app.py
    templates/
            home.html
            result.html
    static/
            style.css

templates是模板文件夹,里面存放了两个静态文件home.html和result.html,Flask会从模板文件夹中查找静态页面并将其展示在web浏览器中。

### app.py ###

app.py文件包含将由Python解释器执行以运行Flask Web应用程序的主要代码，它包含用于对消息进行分类的机器学习代码：

from flask import Flask,render_template,url_for,request
    import pandas as pd 
    import pickle
    from sklearn.feature_extraction.text import CountVectorizer
    from sklearn.naive_bayes import MultinomialNB
    from sklearn.externals import joblib
     
     
    app = Flask(__name__)
     
    @app.route('/')
    def home():
    	return render_template('home.html')
     
    @app.route('/predict',methods=['POST'])
    def predict():
        df = pd.read_csv('spam.csv', encoding="latin-1")
        df=df[['v1','v2']]
        df.rename(columns={ 'v2':'message'}, inplace = True)
        df['label'] = df['v1'].map({ 'ham': 0, 'spam': 1})
     
        X = df['message']
        y = df['label']
        
        cv = CountVectorizer()
        X = cv.fit_transform(X) 
        from sklearn.model_selection import train_test_split
        X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)
     
        clf = MultinomialNB()
        clf.fit(X_train,y_train)
        clf.score(X_test,y_test)
     
        #Alternative Usage of Saved Model
        # joblib.dump(clf, 'NB_spam_model.pkl')
        # NB_spam_model = open('NB_spam_model.pkl','rb')
        # clf = joblib.load(NB_spam_model)
     
        if request.method == 'POST':
            message = request.form['message']
            data = [message]
            vect = cv.transform(data).toarray()
            my_prediction = clf.predict(vect)
        return render_template('result.html',prediction = my_prediction)
     
     
     
    if __name__ == '__main__':
    	app.run(debug=True)

*  我们把web应用程序作为单个模块运行; 因此我们使用参数\_\_name\_\_初始化了一个新的Flask实例，让Flask知道它可以在它所在的同一目录中找到HTML模板文件夹。
 *  接下来，我们使用route decorator(@ app.route（’/’）)来指定应该触发home函数执行的URL。
 *  我们的home函数只是呈现home.html HTML文件，该文件位于templates文件夹中。
 *  在预测函数(predict)中，我们访问垃圾邮件数据集，预处理文本，进行预测，然后存储模型。 我们接收用户输入的新消息，并使用我们的模型对其标签进行预测。
 *  我们使用POST方法将表单数据中的用户输入信息传输给服务器。 最后，通过在app.run方法中设置debug = True进而激活了Flask的调试器。
 *  最后，我们使用run函数仅在Python解释器直接执行此脚本时在服务器上运行应用程序

### home.html ###

以下是home.html文件的内容，该文件将呈现用户可以输入消息的文本框:

<!DOCTYPE html>
    <html>
    <head>
    	<title>Home</title>
    	
    	<link rel="stylesheet" type="text/css" href="{ { url_for('static', filename='css/styles.css') }}">
    </head>
    <body>
     
    	<header>
    		<div class="container">
    		<div id="brandname">
    			Machine Learning App with Flask
    		</div>
    		<h2>Spam Detector For SMS Messages</h2>
    		
    	</div>
    	</header>
     
    	<div class="ml-container">
     
    		<form action="{ { url_for('predict')}}" method="POST">
    		<p>Enter Your Message Here</p>
    		
    		<textarea name="message" rows="4" cols="50"></textarea>
    		<br/>
     
    		<input type="submit" class="btn-info" value="predict">
    		
    	</form>
    		
    	</div>
     
    	
    	
     
    </body>
    </html>

### style.css ###

系统在加载home.html的title部分时,会同时加载了styles.css样式文件。 CSS文件定义了HTML文件的外观和样式。 styles.css必须保存在一个名为static的子目录中，这是Flask查找静态文件（如CSS）的默认目录。

body{ 
    	font:15px/1.5 Arial, Helvetica,sans-serif;
    	padding: 0px;
    	background-color:#f4f3f3;
    }
     
    .container{ 
    	width:100%;
    	margin: auto;
    	overflow: hidden;
    }
     
    header{ 
    	background:#03A9F4;#35434a;
    	border-bottom:#448AFF 3px solid;
    	height:120px;
    	width:100%;
    	padding-top:30px;
     
    }
     
    .main-header{ 
    			text-align:center;
    			background-color: blue;
    			height:100px;
    			width:100%;
    			margin:0px;
    		}
    #brandname{ 
    	float:left;
    	font-size:30px;
    	color: #fff;
    	margin: 10px;
    }
     
    header h2{ 
    	text-align:center;
    	color:#fff;
     
    }
     
     
     
    .btn-info { background-color: #2196F3;
    	height:40px;
    	width:100px;} /* Blue */
    .btn-info:hover { background: #0b7dda;}
     
     
    .resultss{ 
    	border-radius: 15px 50px;
        background: #345fe4;
        padding: 20px; 
        width: 200px;
        height: 150px;
    }

### result.html ###

我们创建一个result.html文件，用来显示机器学习模型预测结果，它是通过我们在app.py脚本中定义的predict函数中的render\_template将预测结果返回给result.html, result.html文件包含以下内容：

<!DOCTYPE html>
    <html>
    <head>
    	<title></title>
        <link rel="stylesheet" type="text/css" href="{ { url_for('static', filename='css/styles.css') }}">
    </head>
    <body>
     
    	<header>
    		<div class="container">
    		<div id="brandname">
    			ML App
    		</div>
    		<h2>Spam Detector For SMS Messages</h2>
    		
    	</div>
    	</header>
    	<p style="color:blue;font-size:20;text-align: center;"><b>Results for Comment</b></p>
    	<div class="results">
     
     
    		
    	{ % if prediction == 1%}
    	<h2 style="color:red;">Spam</h2>
    	{ % elif prediction == 0%}
    	<h2 style="color:blue;">Not a Spam (It is a Ham)</h2>
    	{ % endif %}
     
    	</div>
     
    </body>
    </html>

完成上述所有操作后，您可以通过双击appy.py文件,或从终端执行如下命令来运行我们的web app：

cd Spam-Detector
    python app.py

现在您可以打开Web浏览器并导航到http://127.0.0.1:5000/，我们应该看到一个简单的网页，界面如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 2]  
输入后，点击“predict”, 会跳转界面，显示预测结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 3]

demo项目资源链接:https://pan.baidu.com/s/1KJyr3LFUOQ\_WwjEgvRycxA 密码:sizw

[https_blog.csdn.net_weixin_42608414_article_details_87460705_utm_source_app]: https://blog.csdn.net/weixin_42608414/article/details/87460705?utm_source=app
[https_blog.csdn.net_qq_37486501_article_details_104574882]: https://blog.csdn.net/qq_37486501/article/details/104574882
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200229151052380.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200229151059433.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200229150407160.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200229150455313.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx,size_16,color_FFFFFF,t_70