Jenkins基于https的k8s配置

超、凢脫俗 2022-05-25 01:45 182阅读 0赞

# 前言 #

之前写过一篇[《基于K8s的动态Jenkins Slave构建实践》][K8s_Jenkins Slave]，当时用的k8s版本较低，最近将k8s版本升级**1.10**最新的了，并且启用了**https和角色管理**。突然就发现之前的jenkins配置有点问题了。  
这篇主要就是来记录一下新的配置。

# 环境 #

Jenkins 2.107.2  
Kubernetes plugin 1.6  
kubernetes集群 1.10.0

# k8s集群信息 #

root@e5:/data# kubectl cluster-info 
    Kubernetes master is running at https://192.168.1.2:6443
    kubernetes-dashboard is running at https://192.168.1.2:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy
    monitoring-grafana is running at https://192.168.1.2:6443/api/v1/namespaces/kube-system/services/monitoring-grafana/proxy

根据以上的配置，可以看到，已经是启用**https**了，这里就涉及到了密钥的问题。

# Jenkins配置 #

![jenkins][]

这里有以下几个关键的配置：

*  **Kubernetes URL：**这个就是我们上面集群信息看到的`kubernetes master is running at 地址`；
 *  **Kubernetes server certificate key：**这是需要https证书，可以在我们集群任意节点找到该文件`/etc/kubernetes/ssl/ca.pem` 或`/etc/kubernetes/pki/ca.pem`，这个看自己的安装部署配置吧；
 *  **Credentials：**这个是k8s集群的角色权限配置，这个就比较麻烦点了，下面再细说。

# k8s角色权限配置 #

上面说到了Credentials这个配置，如果我们不配置的话，默认连接就会报以下错误，提示没有权限：  
![k8s\_role][k8s_role]

## 安装证书工具 ##

这个应该是在部署安装集群的时候就有的，这里再多啰嗦2句：

安装cfssl
    此工具生成证书非常方便, pem证书与crt证书,编码一致可直接使用
    
    wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
    chmod +x cfssl_linux-amd64
    mv cfssl_linux-amd64 /usr/local/bin/cfssl
    
    wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
    chmod +x cfssljson_linux-amd64
    mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
    
    wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
    chmod +x cfssl-certinfo_linux-amd64
    mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

## 创建admin证书 ##

### 准备证书签名请求 ###

admin-csr.json

{
      "CN": "admin",
      "hosts": [],
      "key": { "algo": "rsa", "size": 2048 },
      "names": [ { "C": "CN", "ST": "HangZhou", "L": "XS", "O": "system:masters", "OU": "System" } ] }

证书请求中的**O** 指定该证书的 Group 为 `system:masters`，而 RBAC 预定义的 ClusterRoleBinding 将 Group `system:masters` 与 ClusterRole cluster-admin 绑定，这就赋予了该证书具有**所有集群权限** 。

### 创建证书和私钥 ###

`cfssl gencert \ -ca=/etc/kubernetes/ssl/ca.pem \ -ca-key=/etc/kubernetes/ssl/ca-key.pem \ -config=/etc/kubernetes/ssl/ca-config.json \ --profile=kubernetes admin-csr.json | cfssljson -bare admin`  
最终生成以下3个文件：

*  admin.csr
 *  admin-key.pem
 *  admin.pem

## 配置证书 ##

### 生成pkc格式证书 ###

我们可以通过openssl来转换成pkc格式：  
`openssl pkcs12 -export -out ./jenkins-admin.pfx -inkey ./admin-key.pem -in ./admin.pem -passout pass:secret`

### 配置jenkins认证 ###

得到`jenkins-admin.pfk`文件后，点击Jenkins配置**Credentials**后面的Add，配置如下：  
![jenkins\_pfk][jenkins_pfk]  
其中Kind种类需要选择**Certificate**，然后选择上传文件，上传我们刚刚生成的pfk文件，下面的密码填写为`secret`，也就是上面我们`pass:`后面的内容，最后ID和描述可以随便填下，就OK啦。

## 测试 ##

之后在Jenkins的kubernetes配置那边选择我们刚刚创建的Credentials，点击`Test Connection`即可。  
出现以下字符就表示测试连接通过啦  
![conn\_test][conn_test]

再测试下动态Slave：  
![dynamic\_slave][dynamic_slave]  
如图，就表示已经OK了。

# 通过kubeconfig认证 #

有时候会出现一种情况，只有kubeconfig文件，无法直接ssh登陆服务器。这个时候我们也可以通过`config`文件来进行认证配置。  
点击Credentials 右边的Add，选择secretFile，贴上config文件即可。  
测试如下：  
![config][]

> 参考链接：  
> [https://github.com/jenkinsci/kubernetes-plugin][https_github.com_jenkinsci_kubernetes-plugin]  
> [https://segmentfault.com/a/1190000012151075][https_segmentfault.com_a_1190000012151075]  
> [https://github.com/gjmzj/kubeasz/blob/master/docs/01-%E5%88%9B%E5%BB%BACA%E8%AF%81%E4%B9%A6%E5%92%8C%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE.md][https_github.com_gjmzj_kubeasz_blob_master_docs_01-_E5_88_9B_E5_BB_BACA_E8_AF_81_E4_B9_A6_E5_92_8C_E7_8E_AF_E5_A2_83_E9_85_8D_E7_BD_AE.md]

[K8s_Jenkins Slave]: https://blog.csdn.net/lusyoe/article/details/79684318
[jenkins]: /images/20220525/2e5404b0200c4f0b82bf19ab8d1a9eae.png
[k8s_role]: /images/20220525/070d1f29be0947109ee50e7e16062c27.png
[jenkins_pfk]: /images/20220525/fad4e0711a024aa99f31a291597a86d5.png
[conn_test]: /images/20220525/a01eca9de3fb4b4a88fe61ee6d04949b.png
[dynamic_slave]: /images/20220525/ac5f81804301437197432ef7a0cba2e0.png
[config]: /images/20220525/b76a14c80c1047d1a1efdb60e0d116f9.png
[https_github.com_jenkinsci_kubernetes-plugin]: https://github.com/jenkinsci/kubernetes-plugin
[https_segmentfault.com_a_1190000012151075]: https://segmentfault.com/a/1190000012151075
[https_github.com_gjmzj_kubeasz_blob_master_docs_01-_E5_88_9B_E5_BB_BACA_E8_AF_81_E4_B9_A6_E5_92_8C_E7_8E_AF_E5_A2_83_E9_85_8D_E7_BD_AE.md]: https://github.com/gjmzj/kubeasz/blob/master/docs/01-%E5%88%9B%E5%BB%BACA%E8%AF%81%E4%B9%A6%E5%92%8C%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE.md