TensorFlow Serving安装配置

我就是我 2021-09-28 18:28 339阅读 0赞

TensorFlow Serving 是一个用于机器学习模型 serving 的高性能开源库。它可以将训练好的机器学习模型部署到线上，使用 gRPC 作为接口接受外部调用。更加让人眼前一亮的是，它支持模型热更新与自动模型版本管理。这意味着一旦部署 TensorFlow Serving 后，你再也不需要为线上服务操心，只需要关心你的线下模型训练。

## 1、安装Bazel  ##

把下面的文件放到/etc/yum.repos.d/vbatts-bazel-epel-7.repo

[vbatts-bazel]
    name=Copr repo for bazel owned by vbatts
    baseurl=https://copr-be.cloud.fedoraproject.org/results/vbatts/bazel/epel-7-$basearch/
    type=rpm-md
    skip_if_unavailable=True
    gpgcheck=1
    gpgkey=https://copr-be.cloud.fedoraproject.org/results/vbatts/bazel/pubkey.gpg
    repo_gpgcheck=0
    enabled=1
    enabled_metadata=1

执行命令：

yum install bazel
    yum install patch

## 2、安装gRPC 等包 ##

pip install grpcio
    pip install patch
    pip install tensorflow
    pip install tensorflow-serving-api

## 3、下载TensorFlow serving 源码 ##

git clone --recurse-submodules https://github.com/tensorflow/serving
    cd serving
    cd tensorflow
    ./configure
    cd ..
    #构建
    bazel build -c opt tensorflow_serving/...
    #测试
    bazel test -c opt tensorflow_serving/...

## 4、测试案例 ##

### 导出模型 ###

bazel方式

bazel-bin/tensorflow_serving/example/mnist_saved_model /tmp/mnist_model

python方式

需要先pip安装好tensorflow-serving-api

python tensorflow_serving/example/mnist_saved_model.py /tmp/mnist_model

### 部署模型 ###

bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9000 --model_name=mnist --model_base_path=/tmp/mnist_model/

### 测试模型 ###

也有两种方式，bazel和python，同样bazel方式用不了

python tensorflow_serving/example/mnist_client.py --num_tests=1000 --server=localhost:9000

## 5、自定义模型导出代码实现过程 ##

1、通过定义tf.app.flags标记接收命令行传递的参数

2、在main函数中编写模型训练代码和模型导出代码即可

3、在BUILD文件中添加代码的定义，格式如下

4、执行编译和导出命令、部署模型、使用客户端连接服务即可

### 存在问题 ###

tensorflow serving 模型发布与代码耦合太紧；官方给出的例子只有mnist和inception两个模型；要把普通的模型发布需要写较多代码，并且文档说明也很欠缺。
    附：一个lstm模型代码lstm.py和 将lstm模型导出的代码 lstm_saved_model.py ;以及调用模型服务预测的代码 lstm_client1.py