基于 KubeSphere CI/CD 将 Spring Boot 项目发布至 Kubernetes

我会带着你远行 2023-06-04 02:50 13阅读 0赞

# [基于 KubeSphere CI/CD 将 Spring Boot 项目发布至 Kubernetes][KubeSphere CI_CD _ Spring Boot _ Kubernetes] #

本示例基于开源的 [KubeSphere 容器平台][KubeSphere] 演示如何通过 GitHub 仓库中的 Jenkinsfile 来创建流水线，流水线共包括 8 个阶段，最终将一个 Hello World 页面部署到 Kubernetes 集群中的不同 namespace。

## 流水线概览 ##

下面的流程图简单说明了流水线完整的工作过程：

![1776090-20190908143320270-1040507917.png][]

> 流程说明：
> 
>  *  **阶段一. Checkout SCM**: 拉取 GitHub 仓库代码
>  *  **阶段二. Unit test**: 单元测试，如果测试通过了才继续下面的任务
>  *  **阶段三. sonarQube analysis**：sonarQube 代码质量检测
>  *  **阶段四. Build & push snapshot image**: 根据行为策略中所选择分支来构建镜像，并将 tag 为 `SNAPSHOT-$BRANCH_NAME-$BUILD_NUMBER`推送至 Harbor (其中 `$BUILD_NUMBER` 为 pipeline 活动列表的运行序号)。
>  *  **阶段五. Push latest image**: 将 master 分支打上 tag 为 latest，并推送至 DockerHub。
>  *  **阶段六. Deploy to dev**: 将 master 分支部署到 Dev 环境，此阶段需要审核。
>  *  **阶段七. Push with tag**: 生成 tag 并 release 到 GitHub，并推送到 DockerHub。
>  *  **阶段八. Deploy to production**: 将发布的 tag 部署到 Production 环境。

## 创建凭证 ##

使用 project-regular 登录 KubeSphere，进入已创建的 devops-demo 工程，开始创建凭证。

1、本示例代码仓库中的 Jenkinsfile 需要用到 **DockerHub、GitHub** 和 **kubeconfig** (kubeconfig 用于访问接入正在运行的 Kubernetes 集群) 等一共 3 个凭证 (credentials) 。  
2、然后创建一个 Java 的 Token 并复制。

3、最后在 KubeSphere 中进入 `devops-demo` 的 DevOps 工程中，与上面步骤类似，在 **凭证** 下点击 **创建**，创建一个类型为 `秘密文本` 的凭证，凭证 ID 命名为 **sonar-token**，密钥为上一步复制的 token 信息，完成后点击 **确定**。

![1776090-20190908143321949-2054671026.png][]

至此，4 个凭证已经创建完成，下一步需要在示例仓库中的 jenkinsfile 修改对应的四个凭证 ID 为用户自己创建的凭证 ID。

![1776090-20190908143325042-1167271890.png][]

## 修改 Jenkinsfile ##

### 第一步：Fork项目 ###

![1776090-20190908143329511-254253491.png][]

### 第二步：修改 Jenkinsfile ###

1、Fork 至您个人的 GitHub 后，在 **根目录** 进入 **Jenkinsfile-online**。

![jenkins-online][]

2、在 GitHub UI 点击编辑图标，需要修改如下环境变量 (environment) 的值。

![image-20190409121802459][]

<table> 
 <thead> 
  <tr> 
   <th>修改项</th> 
   <th>值</th> 
   <th>含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DOCKER_CREDENTIAL_ID</td> 
   <td>dockerhub-id</td> 
   <td>填写创建凭证步骤中的 DockerHub 凭证 ID，用于登录您的 DockerHub</td> 
  </tr> 
  <tr> 
   <td>GITHUB_CREDENTIAL_ID</td> 
   <td>github-id</td> 
   <td>填写创建凭证步骤中的 GitHub 凭证 ID，用于推送 tag 到 GitHub 仓库</td> 
  </tr> 
  <tr> 
   <td>KUBECONFIG_CREDENTIAL_ID</td> 
   <td>demo-kubeconfig</td> 
   <td>kubeconfig 凭证 ID，用于访问接入正在运行的 Kubernetes 集群</td> 
  </tr> 
  <tr> 
   <td>REGISTRY</td> 
   <td>docker.io</td> 
   <td>默认为 docker.io 域名，用于镜像的推送</td> 
  </tr> 
  <tr> 
   <td>DOCKERHUB_NAMESPACE</td> 
   <td>your-dockerhub-account</td> 
   <td>替换为您的 DockerHub 账号名&nbsp;<br>(它也可以是账户下的 Organization 名称)</td> 
  </tr> 
  <tr> 
   <td>GITHUB_ACCOUNT</td> 
   <td>your-github-account</td> 
   <td>替换为您的 GitHub 账号名，例如&nbsp;<code>https://github.com/kubesphere/</code>&nbsp;则填写&nbsp;<code>kubesphere</code>(它也可以是账户下的 Organization 名称)</td> 
  </tr> 
  <tr> 
   <td>APP_NAME</td> 
   <td>devops-java-sample</td> 
   <td>应用名称</td> 
  </tr> 
  <tr> 
   <td>SONAR_CREDENTIAL_ID</td> 
   <td>sonar-token</td> 
   <td>填写创建凭证步骤中的 SonarQube token凭证 ID，用于代码质量检测</td> 
  </tr> 
 </tbody> 
</table>

**注： Jenkinsfile 中 `mvn` 命令的参数 `-o`，表示开启离线模式。本示例为适应某些环境下网络的干扰，以及避免在下载依赖时耗时太长，已事先完成相关依赖的下载，默认开启离线模式。**

3、修改以上的环境变量后，点击 **Commit changes**，将更新提交到当前的 master 分支。

![提交更新][1776090-20190908143340768-262781558.png]

## 创建项目 ##

CI/CD 流水线会根据示例项目的 [yaml 模板文件][yaml]，最终将示例分别部署到 Dev 和 Production 这两个项目 (Namespace) 环境中，即 `kubesphere-sample-dev` 和 `kubesphere-sample-prod`，这两个项目需要预先在控制台依次创建，参考如下步骤创建该项目。

### 第一步：创建第一个项目 ###

1、使用项目管理员 `project-admin` 账号登录 KubeSphere，在之前创建的企业空间 (demo-workspace) 下，点击 **项目 → 创建**，创建一个 **资源型项目**，作为本示例的开发环境，填写该项目的基本信息，完成后点击 **下一步**。

*  名称：固定为 `kubesphere-sample-dev`，若需要修改项目名称则需在 [yaml 模板文件][yaml] 中修改 namespace
 *  别名：可自定义，比如 **开发环境**
 *  描述信息：可简单介绍该项目，方便用户进一步了解

2、本示例暂无资源请求和限制，因此高级设置中无需修改默认值，点击 **创建**，项目可创建成功。

### 第二步：邀请成员 ###

第一个项目创建完后，还需要项目管理员 `project-admin` 邀请当前的项目普通用户 `project-regular` 进入 `kubesphere-sample-dev` 项目，进入「项目设置」→「项目成员」，点击「邀请成员」选择邀请 `project-regular` 并授予 `operator` 角色。

### 第三步：创建第二个项目 ###

同上，参考以上两步创建一个名称为 `kubesphere-sample-prod` 的项目作为生产环境，并邀请普通用户 `project-regular` 进入 `kubesphere-sample-prod` 项目并授予 `operator` 角色。

> 说明：当 CI/CD 流水线后续执行成功后，在 `kubesphere-sample-dev` 和 `kubesphere-sample-prod` 项目中将看到流水线创建的部署 (Deployment) 和服务 (Service)。

![project][]

## 创建流水线 ##

### 第一步：填写基本信息 ###

1、进入已创建的 DevOps 工程，选择左侧菜单栏的 **流水线**，然后点击 **创建**。

![create-pipeline][]

2、在弹出的窗口中，输入流水线的基本信息。

*  名称：为创建的流水线起一个简洁明了的名称，便于理解和搜索
 *  描述信息：简单介绍流水线的主要特性，帮助进一步了解流水线的作用
 *  代码仓库：点击选择代码仓库，代码仓库需已存在 Jenkinsfile

![basic\_info][basic_info]

### 第二步：添加仓库 ###

1、点击代码仓库，以添加 Github 仓库为例。

2、点击弹窗中的 [获取 Token][Token]。

![git\_input][git_input]

3、在 GitHub 的 access token 页面填写 Token description，简单描述该 token，如 DevOps demo，在 Select scopes 中无需任何修改，点击 `Generate token`，GitHub 将生成一串字母和数字组成的 token 用于访问当前账户下的 GitHub repo。

![access-token][]

4、复制生成的 token，在 KubeSphere Token 框中输入该 token 然后点击保存。

5、验证通过后，右侧会列出此 Token 关联用户的所有代码库，选择其中一个带有 Jenkinsfile 的仓库。比如此处选择准备好的示例仓库 [devops-java-sample][]，点击 **选择此仓库**，完成后点击 **下一步**。

![image-20190409122653070][]

### 第三步：高级设置 ###

完成代码仓库相关设置后，进入高级设置页面，高级设置支持对流水线的构建记录、行为策略、定期扫描等设置的定制化，以下对用到的相关配置作简单释义。

1、构建设置中，勾选 `丢弃旧的构建`，此处的 **保留分支的天数** 和 **保留分支的最大个数** 默认为 -1。

![丢弃旧的分支][1776090-20190908143356858-1287435143.png]

> 说明：
> 
> 分支设置的保留分支的天数和保持分支的最大个数两个选项可以同时对分支进行作用，只要某个分支的保留天数和个数不满足任何一个设置的条件，则将丢弃该分支。假设设置的保留天数和个数为 2 和 3，则分支的保留天数一旦超过 2 或者保留个数超过 3，则将丢弃该分支。默认两个值为 -1，表示不自动删除分支。
> 
> 丢弃旧的分支将确定何时应丢弃项目的分支记录。分支记录包括控制台输出，存档工件以及与特定分支相关的其他元数据。保持较少的分支可以节省 Jenkins 所使用的磁盘空间，我们提供了两个选项来确定应何时丢弃旧的分支：
> 
>  *  保留分支的天数：如果分支达到一定的天数，则丢弃分支。
>  *  保留分支的个数：如果已经存在一定数量的分支，则丢弃最旧的分支。

2、行为策略中，KubeSphere 默认添加了三种策略。由于本示例还未用到 **从 Fork 仓库中发现 PR** 这条策略，此处可以删除该策略，点击右侧删除按钮。

![advance][]

> 说明：
> 
> 支持添加三种类型的发现策略。需要说明的是，在 Jenkins 流水线被触发时，开发者提交的 PR (Pull Request) 也被视为一个单独的分支。
> 
> 发现分支：
> 
>  *  排除也作为 PR 提交的分支：选择此项表示 CI 将不会扫描源分支 (比如 Origin 的 master branch)，也就是需要被 merge 的分支
>  *  只有被提交为 PR 的分支：仅扫描 PR 分支
>  *  所有分支：拉取的仓库 (origin) 中所有的分支
> 
> 从原仓库中发现 PR：
> 
>  *  PR 与目标分支合并后的源代码版本：一次发现操作，基于 PR 与目标分支合并后的源代码版本创建并运行流水线
>  *  PR 本身的源代码版本：一次发现操作，基于 PR 本身的源代码版本创建并运行流水线
>  *  当 PR 被发现时会创建两个流水线，一个流水线使用 PR 本身的源代码版本，一个流水线使用 PR 与目标分支合并后的源代码版本：两次发现操作，将分别创建两条流水线，第一条流水线使用 PR 本身的源代码版本，第二条流水线使用 PR 与目标分支合并后的源代码版本

3、默认的 **脚本路径** 为 **Jenkinsfile**，请将其修改为 [**Jenkinsfile-online**][Jenkinsfile-online]。

> 注：路径是 Jenkinsfile 在代码仓库的路径，表示它在示例仓库的根目录，若文件位置变动则需修改其脚本路径。

![1776090-20190908143359358-150244844.png][]

4、在 **扫描 Repo Trigger** 勾选 `如果没有扫描触发，则定期扫描`，扫描时间间隔可根据团队习惯设定，本示例设置为 `5 minutes`。

> 说明：定期扫描是设定一个周期让流水线周期性地扫描远程仓库，根据 **行为策略** 查看仓库有没有代码更新或新的 PR。
> 
> Webhook 推送：
> 
> Webhook 是一种高效的方式可以让流水线发现远程仓库的变化并自动触发新的运行，GitHub 和 Git (如 Gitlab) 触发 Jenkins 自动扫描应该以 Webhook 为主，以上一步在 KubeSphere 设置定期扫描为辅。在本示例中，可以通过手动运行流水线，如需设置自动扫描远端分支并触发运行，详见 [设置自动触发扫描 - GitHub SCM][- GitHub SCM]。

完成高级设置后点击 **创建**。

![1776090-20190908143401115-1431233438.png][]

### 第四步：运行流水线 ###

流水线创建后，点击浏览器的 **刷新** 按钮，可见一条自动触发远程分支后的运行记录。

1、点击右侧 **运行**，将根据上一步的 **行为策略** 自动扫描代码仓库中的分支，在弹窗选择需要构建流水线的 `master`分支，系统将根据输入的分支加载 Jenkinsfile-online (默认是根目录下的 Jenkinsfile)。

2、由于仓库的 Jenkinsfile-online 中 `TAG_NAME: defaultValue` 没有设置默认值，因此在这里的 `TAG_NAME` 可以输入一个 tag 编号，比如输入 v0.0.1。

3、点击 **确定**，将新生成一条流水线活动开始运行。

> 说明: tag 用于在 Github 和DockerHub 中分别生成带有 tag 的 release 和镜像。 注意: 在主动运行流水线以发布 release 时，`TAG_NAME` 不应与之前代码仓库中所存在的 `tag` 名称重复，如果重复会导致流水线的运行失败。

![运行流水线][1776090-20190908143401780-1073946050.png]

至此，流水线 已完成创建并开始运行。

> 注：点击 **分支** 切换到分支列表，查看流水线具体是基于哪些分支运行，这里的分支则取决于上一步 **行为策略** 的发现分支策略。

![查看流水线][1776090-20190908143403443-1700480734.png]

### 第五步：审核流水线 ###

为方便演示，此处默认用当前账户来审核，当流水线执行至 `input` 步骤时状态将暂停，需要手动点击 **继续**，流水线才能继续运行。注意，在 Jenkinsfile-online 中分别定义了三个阶段 (stage) 用来部署至 Dev 环境和 Production 环境以及推送 tag，因此在流水线中依次需要对 `deploy to dev, push with tag, deploy to production` 这三个阶段审核 `3` 次，若不审核或点击 **终止** 则流水线将不会继续运行。

![审核流水线][1776090-20190908143405171-1331126867.png]

> 说明：在实际的开发生产场景下，可能需要更高权限的管理员或运维人员来审核流水线和镜像，并决定是否允许将其推送至代码或镜像仓库，以及部署至开发或生产环境。Jenkinsfile 中的 `input`步骤支持指定用户审核流水线，比如要指定用户名为 project-admin 的用户来审核，可以在 Jenkinsfile 的 input 函数中追加一个字段，如果是多个用户则通过逗号分隔，如下所示：

···
    input(id: 'release-image-with-tag', message: 'release image with tag?', submitter: 'project-admin,project-admin1') ···

## 查看流水线 ##

1、点击流水线中 `活动` 列表下当前正在运行的流水线序列号，页面展现了流水线中每一步骤的运行状态，注意，流水线刚创建时处于初始化阶段，可能仅显示日志窗口，待初始化 (约一分钟) 完成后即可看到流水线。黑色框标注了流水线的步骤名称，示例中流水线共 8 个 stage，分别在 [Jenkinsfile-online][] 中被定义。

![stage][]

2、当前页面中点击右上方的 `查看日志`，查看流水线运行日志。页面展示了每一步的具体日志、运行状态及时间等信息，点击左侧某个具体的阶段可展开查看其具体的日志。日志可下载至本地，如出现错误，下载至本地更便于分析定位问题。

![log][]

## 验证运行结果 ##

1、若流水线执行成功，点击该流水线下的 `代码质量`，即可看到通过 SonarQube 的代码质量检测结果，如下图(仅供参考)。

![1776090-20190908143414650-1848454935.png][]

2、流水线最终 build 的 Docker 镜像也将被成功地 push 到 DockerHub 中，我们在 Jenkinsfile-online 中已经配置过 DockerHub，登录 DockerHub 查看镜像的 push 结果，可以看到 tag 为 snapshot、TAG\_NAME(master-1)、latest 的镜像已经被 push 到 DockerHub，并且在 GitHub 中也生成了一个新的 tag 和 release。Hello World 示例页面最终将以 deployment 和 service 分别部署到 KubeSphere 的 `kubesphere-sample-dev` 和 `kubesphere-sample-prod` 项目环境中。

<table> 
 <thead> 
  <tr> 
   <th>环境</th> 
   <th>访问地址</th> 
   <th>所在项目 (Namespace)</th> 
   <th>部署 (Deployment)</th> 
   <th>服务 (Service)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Dev</td> 
   <td><code>http://{$Virtual IP}:{$8080}</code>&nbsp;<br>或者&nbsp;<code>http://{$内网/公网 IP}:{$30861}</code></td> 
   <td>kubesphere-sample-dev</td> 
   <td>ks-sample-dev</td> 
   <td>ks-sample-dev</td> 
  </tr> 
  <tr> 
   <td>Production</td> 
   <td><code>http://{$Virtual IP}:{$8080}</code>&nbsp;<br>或者&nbsp;<code>http://{$内网/公网 IP}:{$30961}</code></td> 
   <td>kubesphere-sample-prod</td> 
   <td>ks-sample</td> 
   <td>ks-sample</td> 
  </tr> 
 </tbody> 
</table>

3、可通过 KubeSphere 回到项目列表，依次查看之前创建的两个项目中的部署和服务的状态。例如，以下查看 `kubesphere-sample-prod`项目下的部署。

进入该项目，在左侧的菜单栏点击 **工作负载 → 部署**，可以看到 ks-sample 已创建成功。正常情况下，部署的状态应该显示 **运行中**。

![sample][]

4、在菜单栏中选择 **网络与服务 → 服务** 也可以查看对应创建的服务，可以看到该服务的 Virtual IP 为 `10.233.42.3`，对外暴露的节点端口 (NodePort) 是 `30961`。

**查看服务**

![service][]

5、查看推送到您个人的 DockerHub 中的镜像，可以看到 `devops-java-sample`就是 APP\_NAME 的值，而 tag 也是在 jenkinsfile-online 中定义的 tag。

![查看 DockerHub][DockerHub]

6、点击 `release`，查看 Fork 到您个人 GitHub repo 中的 `v0.0.1` tag 和 release，它是由 jenkinsfile 中的 `push with tag` 生成的。

## 访问示例服务 ##

若在内网环境访问部署的 HelloWorld 示例服务，可通过 SSH 登陆集群节点，或使用集群管理员登陆 KubeSphere 在 web kubectl 中输入以下命令验证访问，其中 Cluster IP 和节点端口 (NodePort) 可通过对应项目下的服务中查看：

**验证 Dev 环境的示例服务**

# curl { $Virtual IP}:{ $Port} 或者 curl {$内网 IP}:{ $NodePort} curl 10.233.40.5:8080 Hello,World!

**验证 Prodcution 环境的示例服务**

# curl { $Virtual IP}:{ $Port} 或者 curl {$内网 IP}:{ $NodePort} curl 10.233.42.3:8080 Hello,World!

KubeSphere ([https://github.com/kubesphere/kubesphere][KubeSphere]) 是一个开源的以应用为中心的容器管理平台，支持部署在任何基础设施之上，并提供简单易用的 UI，极大减轻日常开发、测试、运维的复杂度，旨在解决 Kubernetes 本身存在的存储、网络、安全和易用性等痛点，帮助企业轻松应对敏捷开发与自动化监控运维、端到端应用交付、微服务治理、多租户管理、多集群管理、服务与网络管理、镜像仓库、AI 平台、边缘计算等业务场景。

转载于:https://www.cnblogs.com/think90/p/11514818.html

[KubeSphere CI_CD _ Spring Boot _ Kubernetes]: https://www.cnblogs.com/kubesphere/p/11486110.html
[KubeSphere]: https://github.com/kubesphere/kubesphere
[1776090-20190908143320270-1040507917.png]: /images/20230601/d7cf4b89f2e8484fb494fbf8bfbeec84.png
[1776090-20190908143321949-2054671026.png]: /images/20230601/10c9e13cb17d4366aac4f5754a61fa91.png
[1776090-20190908143325042-1167271890.png]: /images/20230601/1cf21fad918f4ee2939c4aa152c1c339.png
[devops-java-sample]: https://github.com/kubesphere/devops-java-sample
[1776090-20190908143329511-254253491.png]: /images/20230601/35a9c06c3b0b44caaeb09490f8ef590e.png
[jenkins-online]: /images/20230601/043a949e2a8c41c8bf57e39bf8bd30df.png
[image-20190409121802459]: /images/20230601/d8d64bbed2ca43ea941e8db13c8e4004.png
[1776090-20190908143340768-262781558.png]: /images/20230601/87d4f9da73a4460299c1561fb134dbda.png
[yaml]: https://github.com/kubesphere/devops-java-sample/tree/master/deploy
[project]: /images/20230601/384376cd828846dd91dc6d6504b4e8fd.png
[create-pipeline]: /images/20230601/7e97c1e659b849a8acf162649149a8aa.png
[basic_info]: /images/20230601/a60018ca67cd4b02bcf77262d60e8842.png
[Token]: https://github.com/settings/tokens/new?scopes=repo,read:user,user:email,write:repo_hook
[git_input]: /images/20230601/7f03e0925e49404c9d944da464c9f243.png
[access-token]: /images/20230601/4a9706255a6c4bd1941d27603b3babb3.png
[image-20190409122653070]: /images/20230601/7138cb37f62647e4b26600fb733179f3.png
[1776090-20190908143356858-1287435143.png]: /images/20230601/cd7ade95ee0f4b4b8f39958a861373c7.png
[advance]: /images/20230601/493344ab0a16419e807bf19f15de86a4.png
[Jenkinsfile-online]: https://github.com/kubesphere/devops-java-sample/blob/master/Jenkinsfile-online
[1776090-20190908143359358-150244844.png]: /images/20230601/7831e202949d4ed3a160a6fbdf96a2ec.png
[- GitHub SCM]: https://www.cnblogs.com/advanced-v2.0/zh-CN/devops/auto-trigger
[1776090-20190908143401115-1431233438.png]: /images/20230601/090390bb3bce47b79ccfdcd81e2262c8.png
[1776090-20190908143401780-1073946050.png]: /images/20230601/142516c15e6440f48939162e00c4123d.png
[1776090-20190908143403443-1700480734.png]: /images/20230601/ef9bab46f78042519f10a3a1c245b688.png
[1776090-20190908143405171-1331126867.png]: /images/20230601/abb262bb0ded420486aeded7be06347f.png
[stage]: /images/20230601/162c443372024e0d9bbb8a48b48f4cf0.png
[log]: /images/20230601/fb583e86f960462b86ef380f401bc5e4.png
[1776090-20190908143414650-1848454935.png]: /images/20230601/7d514a8e99cb40b99028a4796974d140.png
[sample]: /images/20230601/ee11957c14384378abe179e7b8f521ca.png
[service]: /images/20230601/3b946026c7874f659642e80bf4eb6f2e.png
[DockerHub]: /images/20230601/88f2749f4fdc4f7fac19014ee28ab9e7.png