Jenkins+Rancher+Harbor+Gitlab部署应用到生产环境

旧城等待， 2023-07-21 11:05 2阅读 0赞

Jenkins结合rancher进行项目的持续集成，这个流程其实跟之前的java项目、React项目、安卓项目的持续集成都差不多。但是相较之前的项目部署来说，在流程上多了很多的步骤，需要注意的地方比较多，所以在这里以部署一个java的demo项目进行演示和记录。

## 一、环境准备 ##

本次实验的主机系统全部为`CentOS Linux release 7.6.1810 (Core)`。

#### 1、需要用到的服务 ####

<table> 
 <thead> 
  <tr> 
   <th>应用</th> 
   <th>版本</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Jenkins</td> 
   <td>2.213</td> 
  </tr> 
  <tr> 
   <td>Gitlab</td> 
   <td>11.9.9</td> 
  </tr> 
  <tr> 
   <td>Rancher</td> 
   <td>2.3.5</td> 
  </tr> 
  <tr> 
   <td>Harbor</td> 
   <td>1.10.0</td> 
  </tr> 
 </tbody> 
</table>

#### 2、准备rancher-cli ####

要想Jenkins能远程控制rancher，需要借助rancher-cli这个工具来实现。具体的配置方法可以参考：[rancher-cli的使用][rancher-cli]。

#### 3、准备rancher存储类(StrongClass) ####

在k8s中，关于存储的概念有3个：PV、PVC、StrongClass，在规划存储之前，最好想了解下这三个概念，可以参考下这篇文章：[Kubernetes PV与PVC][Kubernetes PV_PVC]

前面已经搭建了一个3个节点的rancher集群，因为考虑应用的日志问题，所以这里准备一个存储类用于应用日志目录的挂载。

首先进入到将要部署应用的集群中，点击`应用商店`，选择`启动`，搜索`nfs`，点击进去并拉到页面最下方点击`启动`进行安装，操作流程如下图：  
![在这里插入图片描述][20200403142852877.gif]

部署完成后，可以在集群的`工作负载`中看到对应的服务。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70]  
在这里做一个小小的规划：后续所有应用的日志都通过这个nfs服务进行汇总到一台主机这个nfs共享目录中，这样开发人员在点击jenkins进行部署完成之后，不需要知道这中间复杂的过程，直接去一个统一的位置查看日志就行了。

所以我打算将rancher集群中的`node2（192.168.0.52）`的`/data`目录共享出来（当然比较好的做法是单独的挂载一块容量较大的硬盘到`/data`目录）

注意：这个nfs共享的分区需要使用`xfs`格式，否则后期可能会出现pod挂载失败的报错。报错的内容如下：

Unable to mount volumes for pod "isj-eureka-57fb65b885-wf77q_isj(b0b0594f-715e-11e9-884a-0050568fa4d0)": timeout expired waiting for volumes to attach or mount for pod "isj"/"isj-eureka-57fb65b885-wf77q". list of unmounted volumes=[eureka]. list of unattached volumes=[eureka default-token-9wmpb]

接着来对刚才在应用商店部署的nfs服务进行一些调整，来满足上面的这个小小规划的需求。点击右边三个小点，选择`升级`，然后更改一些配置信息。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 1]

这里修改了两个地方：

1）主机调度：让pod绑定在`node2(192.168.0.52)`上。

2）数据卷：卷名可以自定义，主机路径改成我们预设的`/data`目录。

调整之后，点击最下方的`升级`就生效了，这样一个nfs的存储类就创建完成了。后续需要用到存储的时候，可以直接从这个存储类中划分，非常方便。

#### 4、添加持久卷声明(PVC) ####

上面的存储类配置之后不能直接应用，还需要添加持久卷声明(PVC)才能用。

来到集群的`PVC`栏目中，点击`添加PVC`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 2]  
配置如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 3]  
`名称`：可以自定义。  
`命名空间`：我这里是根据项目来规划命名空间的，所以选择demo。如果没有项目的命名空间，可以新建一个。  
`来源`：选择`使用存储类创建新的持久卷(PV)`  
`存储类`：选择刚才创建的`nfs-provisioner`。  
`容量`：因为这里上面nfs共享的分区的空间不大，我这里就限制为20G。

点击创建，就能在PVC列表中看到一个20G大小的PVC了，后面的应用部署将会用到这个PVC。

## 二、相关服务安装 ##

需要用到的各个服务的详细安装这里就不讲了，有需要的可以直接点击参考一下：

*  [Jenkins][]
 *  [Gitlab][]
 *  [Rancher][]
 *  [Harbor][]

## 三、正式配置 ##

先来整理下思路：首先在Jenkins上将代码克隆下来，进行编译打包，然后编写Dockerfile来构建镜像并将镜像推送到私服，接着就可以在rancher中部署项目了。

按照上面的思路，就可以一步步的把一个应用给部署好了。

#### 1、克隆代码，构建镜像 ####

Jenkins想必都是很熟悉的了，我这里选择了一个`自由风格`的项目进行配置（我个人比较爱用自由风格的）。废话不多说，直接上Jenkins的配置。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 4]  
其实这就是一般Jenkins的配置，这里就不讲了。

我这里要说的是在`构建`中的`执行shell`中要写的脚本，将需求具体化成步骤：

1）到项目的`$WORKSPACE`目录中去执行打包命令。  
2）进入到`target`目录编写Dockerfile。  
3）打镜像，并推送到Harbor上。

`注意`：如果不是用的Harbor的默认自带项目`library`的话，需要先在的Harbor上创建项目，我这里是在Harbor新建一个`demo`项目。

先暂时到这里吧，上面步骤的shell脚本如下：

好了，Jenkins执行下构建，构建完成之后去Harbor上看一眼。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 5]  
最下面这个镜像就是刚才推送到Harbor上的。

#### 2、部署应用 ####

好了，镜像已经打好了，下面的步骤就是要在rancher中进行应用的部署了，因为rancher集成了很友好的UI界面，所以常规应用的部署直接在UI中操作就可以了。

进入到集群中，在`工作负载`中点击`部署服务`，配置见下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 6]  
`1`:定义将要部署应用的名称，这里最好与上面脚本中`$project`的值相等，便于脚本上下文的调用。

`2`：填入刚才生成的镜像的地址。

`3`：选择应用要用的命名空间，如果没有想要的，可以新建一个。

`4`：端口名称，自定义即可。

`5`：填入容器中应用的端口。

`6`：填入将要映射出来的端口，建议合理规划一下映射的端口。

`7`：通过端口检查来做健康检查，后面的时间可以根据应用初始化情况进行合理调整。

`8`：在`添加卷`中选择`使用现有PVC`，卷名自定义即可。

`9`：选择之前创建的PVC。

`10`：根据自己的需求挂载容器目录，我这里把应用的日志目录挂载出来。

`11`：定义挂载在持久卷中的目录名称。

然后点击`启动`，就完成应用的部署了。稍等一会，就可以在`工作负载`中看到这个刚部署的应用了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 7]  
部署完成之后，可以访问下试试，点击应用名称下边的端口，就可以直接跳转访问。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 8]  
再来看看应用的日志情况：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 9]

接着去我们一开始配置的存储类对应的节点(192.168.0.52)上看看是否有日志文件。

[root@node2 demo]# pwd
    /data/pvc-33ac32cb-ff71-412b-98e5-bd4b5e16751f/demo
    [root@node2 demo]# ls
    demo.log

可以看到日志和一开始预期的一样出现了，其中`pvc-33ac32cb-ff71-412b-98e5-bd4b5e16751f`就是上面创建的持久卷声明(PVC)的名称，`demo`是刚才在rancher上部署应用时定义的。

#### 3、完善脚本 ####

OK，上面的都没问题。这样就完成了一个应用的部署，剩下的事情就是把刚才的shell脚本补充完整(刚才的shll脚本只写到推送镜像到Harbor为止)，达到一键部署的效果。

这里之后的shell脚本的完整内容如下：

#!/bin/bash
    source /etc/profile
    
    ##set color##
    echoRed() {  echo $'\e[0;31m'"$1"$'\e[0m'; }
    echoGreen() {  echo $'\e[0;32m'"$1"$'\e[0m'; }
    echoYellow() {  echo $'\e[0;33m'"$1"$'\e[0m'; }
    ##set color##
    
    # 设置变量
    project="demo"
    version=`date +%Y%m%d%H%M%S`
    port=9001
    harbor_user="admin"
    harbor_pwd="Harbor12345"
    harbor_host="192.168.0.153"
    echo ----------------------------------------------
    
    # mvn打包
    cd $WORKSPACE
    mvn clean install -DskipTests=true
    if [ $? -eq 0 ];then
        echoGreen "mvn package is success!"
    else
        echoRed "mvn package is Failed!" && exit 1
    fi    
    sleep 2
    
    # 进入target目录
    cd  $WORKSPACE/target/ && mv $project-0.0.1-SNAPSHOT.jar app.jar
    
    # 创建docker镜像
    cat > run.sh << EOF #!/bin/bash source /etc/profile java -jar /opt/app.jar --server.port=${port} EOF
    chmod +x run.sh
    cat >Dockerfile << EOF FROM 192.168.0.153/public/jdk:1.8 MAINTAINER wc <123@qq.com> ENV LANG en_US.UTF-8 ADD app.jar /opt ADD run.sh / EXPOSE 9001 ENTRYPOINT [ "sh", "-c", "/run.sh" ] EOF
    
    # 编译镜像
    echoGreen "开始构建本次镜像！"
    docker build -t $harbor_host/demo/$project:$version .
    [ $? != 0 ] && echoRed "请注意，打镜像时出错，故而退出！" && exit 1
    
    # 登录远程Harbor仓库
    echoGreen "开始登录远程Harbor仓库！"
    docker login -u $harbor_user -p $harbor_pwd $harbor_host
    [ $? != 0 ] && echoRed "请注意，登录Harbor时出错，故而退出！" && exit 1
    
    # 上传到docker私服
    echoGreen "开始push新镜像到私服！"
    docker push $harbor_host/demo/$project:$version
    [ $? != 0 ] && echoRed "请注意，在执行push上传时出错，故而退出！" && exit 1
    docker rmi $harbor_host/demo/$project:$version
    
    # 更新镜像
    echoGreen "开始将新镜像部署到远端！"
    rancher kubectl set image deployment/$project $project=192.168.0.153/demo/$project:$version -n demo
    [ $? != 0 ] && echoRed "请注意，在执行镜像更新时出错，故而退出！" && exit 1
    echoGreen "部署完成！"

这里先说一下，因为应用时放在单独的容器中执行的，所以jar包的名称无关紧要，我这里直接把jar包的名称改为`app.jar`，这样在写dockerfile和运行的时候都是用的`app.jar`这个名称，以后即使不同的项目，都不需要对shell脚本中的jar包名称进行更改了。

把上面这个shell脚本放到Jenkins的`执行shell`中，然后再点击一下构建，看看是不是能把新构建的镜像部署到rancher中去。

查看Jenkins的控制台输出，可以看到流程一切顺利。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 10]  
然后来看rancher这边，可以看到新的应用已经开始部署了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 11]

因为之前在rancher中配置应用时使用的`缩放/升级策略`是`滚动: 先启动新Pod，再停止旧Pod`，所以整个部署过程是不会影响到业务的正常访问的。

再来谈谈规范化的问题，整个过程中都在考虑规范化的问题，以后再新增应用的时候，直接Jenkins复制Job，仅仅需要更改一些git仓库的地址，以及shell脚本中的一些变量的值，然后rancher上复制应用，对应的更改一些地方，一个新的应用的部署就这么完成了， 其实并不复杂。

**参考文章：**  
[http://www.eryajf.net/2746.html][http_www.eryajf.net_2746.html]  
[https://i4t.com/4467.html][Kubernetes PV_PVC]

[rancher-cli]: https://blog.csdn.net/wc1695040842/article/details/105254306
[Kubernetes PV_PVC]: https://i4t.com/4467.html
[20200403142852877.gif]: /images/20230528/0811538a16044e48af362ff8bb5a951b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70]: /images/20230528/b4e37f37ea9b40c8a9a7aef8e6fcbe09.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 1]: /images/20230528/752419cbadbe4e1f862e36ba6496ec0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 2]: /images/20230528/0554ccb42b0547f4a875e38682ec4bc9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 3]: /images/20230528/dd0eb45a6dea4a6ca63bfa50cb4b7a5f.png
[Jenkins]: https://blog.csdn.net/wc1695040842/article/details/95217850
[Gitlab]: https://blog.csdn.net/wc1695040842/article/details/86541446
[Rancher]: https://blog.csdn.net/wc1695040842/article/details/105253706
[Harbor]: https://blog.csdn.net/wc1695040842/article/details/103985538
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 4]: /images/20230528/807e74f0a4284ed2b70502c82d250cab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 5]: /images/20230528/edcaa10733a14112b6ef8be1d3485894.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 6]: /images/20230528/51257f785a4b4dffb1fdb8ade2bad65d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 7]: /images/20230528/d933487884c34bf38e41e10c0900011b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 8]: /images/20230528/29d15e493ac6450abacb7f4efe224fde.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 9]: /images/20230528/459fbc6038b14a96946c8401f103b39d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 10]: /images/20230528/869f5c959857431583da70353d97540e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3djMTY5NTA0MDg0Mg_size_16_color_FFFFFF_t_70 11]: /images/20230528/3ba56e32a19d4a7d81ece695a2570e05.png
[http_www.eryajf.net_2746.html]: http://www.eryajf.net/2746.html