Flask+Gunicorn部署深度学习Rest接口

朴灿烈づ我的快乐病毒、 2023-01-14 04:56 141阅读 0赞

使用Flask框架部署pytorch模型Rest接口是最简答快捷的方式，但如果服务要求服务具有更高的处理性能，比如高并发、低时延等，使用Flask部署可能就不太合适了。

比如直接使用Flask框架提供的web服务启动Rest接口时，会有如下提示：

![20210420085702462.png][]

提示说这个web服务可以用来开发测试，不要用来进行生产部署，生产部署可以使用WSGI服务进行替代。实际压测中也会发现，如果用Flask自带的web服务，性能极不稳定。

对于上述问题，可以使用TorchScript对模型进行转换，然后使用C++进行调用，可以提升服务处理性能。但是C++调用有一定技术门槛，我一般采用一种折中的方法，使用gunicorn框架提供的WSGI服务来部署Flask框架的Rest接口，也就是将Flask代码部署在gunicorn框架提供的WSGI服务上，可以显著提升Rest接口的并发处理能力和稳定性，但是并不能提升模型的推理速度，提升推理速度还是进行模型的量化压缩、转换成C++调用这些方法靠谱。

1、创建app.py

import io
    import json
    import os
    
    from torchvision import models
    import torchvision.transforms as transforms
    from PIL import Image
    from flask import Flask, jsonify, request
    
    os.environ["TORCH_HOME"] = "./models"
    
    app = Flask(__name__)
    imagenet_class_index = json.load(open('imagenet_class_index.json'))
    model = models.densenet121(pretrained=True)
    model.eval()
    
    
    def transform_image(image_bytes):
        my_transforms = transforms.Compose([transforms.Resize(255),
                                            transforms.CenterCrop(224),
                                            transforms.ToTensor(),
                                            transforms.Normalize(
                                                [0.485, 0.456, 0.406],
                                                [0.229, 0.224, 0.225])])
        image = Image.open(io.BytesIO(image_bytes))
        return my_transforms(image).unsqueeze(0)
    
    
    def get_prediction(image_bytes):
        tensor = transform_image(image_bytes=image_bytes)
        outputs = model.forward(tensor)
        _, y_hat = outputs.max(1)
        predicted_idx = str(y_hat.item())
        return imagenet_class_index[predicted_idx]
    
    
    @app.route('/predict', methods=['POST'])
    def predict():
        if request.method == 'POST':
            file = request.files['file']
            img_bytes = file.read()
            class_id, class_name = get_prediction(image_bytes=img_bytes)
            return jsonify({'class_id': class_id, 'class_name': class_name})
    
    
    if __name__ == '__main__':
        app.run()

2、创建Gunicorn配置文件gunicorn.conf

bind = '127.0.0.1:8088'
    
    workers = 2
    threads = 8
    backlog = 16
    worker_class = 'gevent'
    debug = False
    # chdir为项目完整的绝对路径
    chdir = 'XXX'
    accesslog = "./gunicorn_access.log"
    errorlog = "./gunicorn_error.log"

3、使用Gunicorn提供的WSGI服务启动Flask代码

gunicorn -c ./gunicorn.conf app:app

**注意：gunicorn与args命令行参数共用会报错 **

**解决办法：**

args = parser.parse\_args()改为args = parser.parse\_args(args=\[\])

[使用Flask部署模型][Flask]

[使用Flask部署生产模型][Flask 1]

[其他部署模型方法（如gunicorn、uWSGI）][gunicorn_uWSGI]

[Flask部署实例代码][Flask 2]

[20210420085702462.png]: /images/20221022/8e845078ee8a4cc2af4e8709a0876eb5.png
[Flask]: https://pytorch.org/tutorials/intermediate/flask_rest_api_tutorial.html
[Flask 1]: https://flask.palletsprojects.com/en/1.1.x/tutorial/deploy/
[gunicorn_uWSGI]: https://flask.palletsprojects.com/en/1.1.x/deploying/
[Flask 2]: https://github.com/avinassh/pytorch-flask-api