基于TDH大数据平台安装并上架Sophon可拖拽式人工智能平台

逃离我推掉我的手 2022-05-12 20:14 224阅读 0赞

> [大数据核心原理与实践专栏][Link 1]

## 先决条件 ##

首先说明一下，Sophon人工智能平台有单独的安装包SophonWeb，可独立部署，部署方式同社区版TDH安装方式一样，极为简单。即当TDH平台部署即可，过程参考先前博文。

但是现在，如果我们生产环境中已经部署好TDH大数据平台，现在又想用Sophon人工智能平台，这时就需要手动上架Sophon应用了。因为SophonWeb收费，我们可以先安装TDH社区版，再手动上架Sophon即可。部署TDH（Transwarp Data Hub）商业大数据平台教程可参考如下博文：

[搭建TDH商业大数据平台社区版（附其他主流商业大数据平台下载汇总）][TDH]

## 环境配置 ##

# 查看CPU、内存、硬盘
    cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id"
    cat /proc/meminfo |grep MemTotal
    fdisk -l |grep Disk

*  TDH 5.1.2 final
 *  8个Intel Xeon E5-2620 v4 @ 2.10GHz（8核16线程，支持超线程，公司有矿）
 *  65G内存
 *  500G硬盘

![这里写图片描述][70]  
![这里写图片描述][70 1]

## 准备安装介质 ##

*  sophon-1.3-transwarp-5.1.img （镜像）
 *  sophon-redis-transwarp-5.1.img （镜像）
 *  sophon-1.3-transwarp-5.1.tar.gz （配置文件）

## 上架Sophon操作 ##

#### 1、解压Sophon配置文件至相应目录 ####

tar zxvf sophon-1.3-transwarp-5.1.tar.gz -C /var/lib/transwarp-manager/master/content/meta/services/SOPHON/

#### 2、加载、修改镜像Tag、并上传镜像 ####

# 加载需要的镜像
    docker load -i sophon-1.3-transwarp-5.1.img
    sophon-redis-transwarp-5.1.img
    # 查看已有镜像
    docker images

![这里写图片描述][70 2]

可以看到我们需要的两个镜像已被加载，这时我们需要将镜像的Tag改为当前TDH版本，（这里改为transwarp-5.1.2-final），以方便TDH平台对Sophon进行统一管理。

我们记下需要更改 Tag 的镜像ID，IMAGE ID，以上为 72de04cd4fe0、4fa67bc655ef。

# 修改tag
    docker tag 72de04cd4fe0 {
       $yourIP}:5000/transwarp/sophon-web:transwarp-5.1.2-final 
    docker tag 4fa67bc655ef {
       $yourIP}:5000/transwarp/sophon-redis:transwarp-5.1.2-final

![这里写图片描述][70 3]

可以看到 Tag 已经改好，下面直接 push 上传镜像即可：

docker push {
       $yourIP}:5000/transwarp/sophon-web:transwarp-5.1.2-final
    docker push {
       $yourIP}:5000/transwarp/sophon-redis:transwarp-5.1.2-final

#### 3、修改配置文件 ####

如果在第一步解压出的配置文件目录与当前TDH平台的 Tag 一致，那么可以直接跳过这一步，如果不一致，直接将配置文件目录改为当前 Tag ，再将里面所有的版本信息都更正过来即可。

# 键入配置文件目录
    cd /var/lib/transwarp-manager/master/content/meta/services/SOPHON/
    # 更改配置文件目录
    mv transwarp-x.x.x-final  transwarp-y.y.y-final 
    cd transwarp-y.y.y-final
    # 替换操作
    sed -i "s/transwarp-x.x.x-final/transwarp-y.y.y-final/g" conf1.yaml
    sed -i "s/transwarp-x.x.x-final/transwarp-y.y.y-final/g" conf2.yaml
    ...
    sed -i "s/transwarp-x.x.x-final/transwarp-y.y.y-final/g" confn.yaml

#### 4、重启Transwarp Manager ####

上架好后，在 Master 主节点重启 Manager （可视化集群管理8180界面） 即可：

/etc/init.d/transwarp-manager restart

至此，Sophon应用上架完成，我们便可以在 TDH 大数据平台中使用可拖拽式人工智能平台 Sophon 了。

但是如果我们需要对之后 Sophon 训练出来的模型进行 API 部署，我们还需要上架 Kong 服务，如果需要对训练模型工作流部署，我们还需要上架 WorkFlow。一般情况用不上，我们可以就此结束。

## 添加 Sophon 依赖包 ##

在 yarn image 中添加 Sophon 依赖包：

*  numpy-1.14.2-cp35-cp35m-linux\_x86\_64.whl
 *  pandas-0.23.0-cp35-cp35m-linux\_x86\_64.whl
 *  python\_dateutil-2.7.0-py2.py3-none-any.whl
 *  pytz-2018.3-py2.py3-none-any.whl
 *  six-1.11.0-py2.py3-none-any.whl

执行 pip3 install ，之后 commit 并 push image：

pip3 install numpy-1.14.2-cp35-cp35m-linux_x86_64.whl
    ...

## 上架Kong服务（可选） ##

需要的镜像、配置文件：

*  kong-transwarp-5.1.img
 *  kong-transwarp-5.1.tar.gz

配置文件解压路径：

/var/lib/transwarp-manager/master/content/meta/services/KONG/

加载镜像、更改 Tag 、push 镜像、更改配置文件版本信息、重启 Manager 等操作同上。

## 上架WorkFlow服务（可选） ##

需要的镜像：

*  workflow-transwarp-5.1.img

无需配置文件，加载镜像、更改 Tag 、push 镜像，重启 Manager ，登录即可安装 WorkFlow 服务。

至此便完成了基于 TDH 大数据平台安装 Sophon 人工智能平台操作。后面直接在 Manager 上安装 Sophon 即可：

![这里写图片描述][70 4]

[Link 1]: https://blog.csdn.net/column/details/24979.html
[TDH]: https://blog.csdn.net/whdxjbw/article/details/81198655
[70]: /images/20220513/3c9d320cbe9248c4824743e05ecb6384.png
[70 1]: /images/20220513/df48da231dc54bb38aeaaac48062d310.png
[70 2]: /images/20220513/9740114a27be43438897507c02c4f592.png
[70 3]: /images/20220513/68a00f6e8e9c4fc0acd9b4451f482c5e.png
[70 4]: /images/20220513/b1f7860739c4428f9a37a0426c4613d6.png