容器中rc.local，login shell, systemctl微妙关系

客官°小女子只卖身不卖艺 2022-06-11 01:21 197阅读 0赞

### 背景： ###

假设有这么一个需求：

*  容器中能使用`systemctl`操作和查看服务状态
 *  容器启动时需获取运行容器时传入环境变量

### 实践出真理 ###

我们先写一个获取环境变量的简单shell脚本

# file name: env.sh
    
    #!/usr/bash 
    echo "get container envs" >> /tmp/env
    # 通过linux命令获取环境变量然后重定向到某文件
    env >> /tmp/env
    # 防止容器执行完脚本后退出
    while true; do sleep 1000; done

首先想到的是把启动容器需执行的脚本放到`ENTRYPOINT`中执行，看看我们的Dockerfile

FROM centos:base
    MAINTAINER Tab609
    # copy shell脚本到容器
    COPY env.sh /
    # env.sh增加执行权限
    RUN chmod +x /env.sh
    ENTRYPOINT ["/env.sh"]

运行容器

# 假设build出来的镜像是centos:v1
    docker run -d --name test -e PASSWORD=123456 --privileged=true centos:v1

进入容器发现是获取了环境变量`PASSWORD`，但是容器中不能运行`systemctl`，提示以下错

> Failed to get D-Bus connection: Operation not permitted

ok，我们运行容器时传入`/usr/sbin/init`给容器执行([容器中使用systemctl命令][systemctl])

docker run -d --name test -e PASSWORD=123456 --privileged=true centos:v1 /usr/sbin/init

进入容器发现`systemctl`命令是可以运行了，但是`env.sh`脚本没有执行，查看[k8s官方文档][k8s]发现是`docker run`传入的命令把Dockerfile中的ENTRYPOINT覆盖了

## ![ENTRYPOINT][] ##

看来两个需求只能二选一了？不，想想linux不是有开机启动项`/etc/rc.local`么，我们是不是可以把`env.sh`脚本放到`/etc/rc.local`

修改`env.sh`脚本

# file name: env.sh
    
    #!/usr/bash 
    echo "get container envs" >> /tmp/env
    # 通过linux命令获取环境变量然后重定向到某文件
    env >> /tmp/env

修改Dockerfile

FROM centos:base
    MAINTAINER Tab609
    # copy shell脚本到容器
    COPY env.sh /
    # env.sh增加执行权限
    RUN chmod +x /env.sh
    # 在rc.local中执行env.sh
    RUN echo "/env.sh" >> /etc/rc.local
    # 给rc.loacl增加执行权限
    RUN chmod +x /etc/rc.local
    CMD ["/bin/bash"]

运行容器

# 假设build出来的镜像是centos:v2
    docker run -d --name test -e PASSWORD=123456 --privileged=true centos:v2 /usr/sbin/init

进入容器发现shell脚本是执行了，但是并没有获取到环境变量，说明在启动执行`rc.local`时，环境变量并没有被`source`出来。

于是想到可能跟linux启动顺序有关，谷歌搜到了阮一峰老师的[Linux启动流程][Linux]，证实了在执行rc.loacl时并没有执行login shell，所以获取不到环境变量。

那docker run传入的环境变量到存在哪里呢？百思不得其解。谷歌得知linux系统中进程的环境变量都会存放在该进程的父进程id号文件夹里(`/proc/pid_num`)，我们在容器里看看`/usr/sbin/init`的父进程id号是1

$ ps aux | grep /usr/sbin/init
    root          1  0.0  0.0  43076  3424 ?        Ss   18:00   0:03 /usr/sbin/init
    root       8349  0.0  0.0  10632   972 ?        S+   19:48   0:00 grep --color=auto /usr/sbin/init
    
    $ cd /proc/1/
    $ ls
    attr         cpuset   limits      net        projid_map  statm
    autogroup    cwd      loginuid    ns         root    status
    auxv         environ  map_files   numa_maps      sched   syscall
    cgroup       exe      maps        oom_adj        sessionid   task
    clear_refs   fd   mem         oom_score      setgroups   timers
    cmdline      fdinfo   mountinfo   oom_score_adj  smaps   uid_map
    comm         gid_map  mounts      pagemap        stack   wchan
    coredump_filter  io   mountstats  personality    stat
    
    # 看到有一个environ的文件
    $ cat environ
    PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/binHOSTNAME=4365f443988bPASSWORD=123456HOME=/root
    
    # 看到我们传入的PASSWORD环境变量了吧，当我们用python读取environ文件的时候，发现环境变量之间是有分割符的:\x00
    $ python
    Python 2.7.5 (default, Nov 6 2016, 00:28:07) 
    [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2
    Type "help", "copyright", "credits" or "license" for more information.
    >>> data = open('/proc/1/environ', 'r').read()
    >>> data
    'PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin\x00HOSTNAME=4365f443988b\x00PASSWORD=123456\x00HOME=/root\x00'
    >>>

ok，现在我们不用系统命令`env`获取环境变量，我们从文件中获取，对shell不太熟悉，所以把`env.sh`换成`env.py`

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    
    # file name: env.py
    
    import sys
    
    def get_environ():
        """ 获取'/proc/1/environ'中的环境变量 """
        with open('/proc/1/environ', 'r') as fp:
            data = fp.read()
        if not data:
            print '/proc/1/environ not data!'
            sys.exit(1)
        data = data.split('\x00')
        envs = dict()
        for item in data:
            if not '=' in item:
                continue
            key, val = item.split('=')
            envs.update({key: val})
        with open('/tmp/env', 'w') as fp:
            fp.write(json.dumps(envs))
        # return envs
    
    get_envrion()

Dockerfile文件

FROM centos:base
    MAINTAINER Tab609
    # copy python脚本到容器
    COPY env.py /
    # env.py增加执行权限
    RUN chmod +x /env.py
    # 在rc.local中执行env.py
    RUN echo "python /env.py" >> /etc/rc.local
    # 给rc.loacl增加执行权限
    RUN chmod +x /etc/rc.local
    CMD ["/bin/bash"]

运行容器

# 假设build出来的镜像是centos:v3
    docker run -d --name test -e PASSWORD=123456 --privileged=true centos:v3 /usr/sbin/init

好了，这样我们就能让容器在启动时通过`rc.local`自动执行脚本获取传入容器的环境变量，同时容器又能使用`systemctl`了。

比较常见的情景是我们容器启动时启动的服务/进程需要用到传入的环境变量，容器中又必须拥有执行`systemctl`权限。

[systemctl]: http://blog.csdn.net/luckytanggu/article/details/71514798
[k8s]: https://kubernetes.io/docs/tasks/inject-data-application/define-command-argument-container/
[ENTRYPOINT]: /images/20220611/8fad29a716084072a6a59ec525c17a3a.png
[Linux]: http://www.ruanyifeng.com/blog/2013/08/linux_boot_process.html