在Docker中部署JupyterNotebook/JupyterHub

喜欢ヅ旅行 2023-02-24 03:44 14阅读 0赞

> 发现自己已经大半年没有更新博客了，主要还是忙，我觉得还是要把博客捡起来，不论是做环境搭建的整理还是技术点的记录都是好的，这个时间还是得花。不然时间一场就都忘了。

### 目录 ###

*  写在前面
 *  JupyterNotebook的搭建
 *   *  镜像的选择
     *  启动容器
     *   *  容器参数配置——密码登录
         *  容器参数配置——文件夹映射
         *  容器参数配置——Jupyer后台运行
         *  容器参数配置——SSL证书配置与反向代理
 *  JupyterHub的搭建
 *   *  什么是JupyerHub
     *  搭建JupyerHub

# 写在前面 #

从题目中可以猜到，本篇博文会分成两个部分:

*  JupyterNotebook的搭建
 *  JupyterHub的搭建

当然本次的搭建都是在**Docker**中完成的，在Docker中搭建环境个人认为与本地搭建有以下优势：

*  [DockerHub][]上有全球开发者提供的现成镜像，包括一些软件开发商提供的官方镜像，可以节省我们搭建环境的时间，因为有一些莫名其妙的BUG会困扰我们数小时甚至数天。
 *  已经搭建好的镜像可以很方便地进行迁移，也就是说，如果我们到了一个新环境，不需要再重复造轮子搭建环境了。
 *  **最重要的：正因为Docker搭建环境的便携性，我们可以把更多的精力花在技术本身，而不是各种个样的环境构建上。**

这里简单介绍以下JupyterNotebook，我习惯性的叫它为`朱比特`，对应的就是爱情之神`丘比特`，主要还是谐音的关系。以Python为例，Jupyter是一个可交互式的编程平台，它基于`iPython` ，类似`IDLE`，但是有比原生IDLE更强大的功能，例如可以支持`Markdown`、`Latex`等语法，同时，`Matplotlib`等绘图库也可以inline展示，这对数据分析、机器学习、人工神经网络的调参，编程语言教学等具有重大意义。可以发现，国内外的一些Python库的教学视频，很多都是基于Jupyter的。由于我本人是从事大数据的，因此也打算在进行数据分析时，从原来的`PyCharm`切换到Jupyter。

# JupyterNotebook的搭建 #

在Docker中搭建JupyterNotebook的过程很简单，一共分为两步

*  选取并拉取镜像
 *  容器参数设置与启动容器

## 镜像的选择 ##

在官方的[Docker镜像选择文档][Docker]中，提供了一系列镜像，它们分别对应于不同的需求。

>  *  jupyter/base-notebook
>  *  jupyter/minimal-notebook
>  *  jupyter/r-notebook
>  *  jupyter/scipy-notebook
>  *  jupyter/tensorflow-notebook
>  *  jupyter/datascience-notebook
>  *  jupyter/pyspark-notebook
>  *  jupyter/all-spark-notebook

其中`jupyter/base-notebook`是所有镜像的基础。  
根据需求选择好镜像后，就可以pull镜像了，例如选择了`jupyter/datascience-notebook`，则在终端中执行以下命令:

$ docker pull jupyter/datascience-notebook

## 启动容器 ##

你可以直接使用`docker run`来启动容器，即按照官方文档中最简单的启动方法

docker run -p 8888:8888 jupyter/scipy-notebook:latest

> 利用这种方式启动容器时，Jupyter会运行在8888端口上，同时，所有的操作都是一次性的，也就是说，不会持久化到磁盘，在容器被关闭后，都会被删除。

这里介绍一些常用的参数配置

*  密码登录
 *  文件夹映射
 *  Jupyer后台运行
 *  SSL证书配置与反向代理

### 容器参数配置——密码登录 ###

默认情况下，Jupyter是不需要密码的，自己用还行，要是想在云服务器上搭建，就会产生安全问题。

Juyter使用的是`sha1`加密算法，虽然都是`sha1`，但是我们不能将明文用python自带的`hashlib`库进行加密后直接使用，要使用Jupyer自带的命令进行生成。

具体可以参考如下做法：

> 1、 使用最朴素的方式启动一个临时Jupyer容器  
> 2、从网页打开Jupyer，并新建一个笔记本。或者以**交互模式**进入容器，打开Python的**原生**交互界面。这里以后者为例。  
> 3、依次运行以下代码：
> 
>     from notebook.auth import passwd
>     passwd()
> 
> 输入密码和确认密码后，你会得到一个以`sha1`开头的字符串，类似
> 
>     sha1:67c9e60bb8bxxxxxxaed
> 
> 将整个字符串复制，包括\`\`sha1\`这个前缀。

然后，运行容器时，加上`--NotebookApp.password`参数即可。

$ docker run -d -p 8888:8888 jupyter/base-notebook start-notebook.sh --NotebookApp.password='sha1:74ba40f8xxxxxe'

启动服务后，在浏览器端会显示这样的效果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21nc2t5MQ_size_16_color_FFFFFF_t_70_pic_center]

### 容器参数配置——文件夹映射 ###

前面我们所有的操作都是临时的，在容器被关闭后，所有的数据都会丢失，因此，在一般情况下，有必要将数据持久化。Docker自带这样的功能，也就是才启动容器时，增加参数`-v`。在Jupyer中，我们要将外部文件夹映射到`/home/jovyan/work`。

以下是命令示例：

$ docker run -p 10000:8888 -v /your/local/folder:/home/jovyan/work jupyter/r-notebook

### 容器参数配置——Jupyer后台运行 ###

直接在容器启动时加参数\`-d\`\`即可。  
以下是命令时例：

docker run -d -p 8888:8888 jupyter/scipy-notebook:latest

### 容器参数配置——SSL证书配置与反向代理 ###

默认情况下，Jupyer使用http，但是现在主流是https，Jupyer官方也建议使用https。这对本地来说无关紧要，对于部署在外网环境的，还是建议使用https。  
JupyerNotebook Docker官方镜像也提供了设置https的方法。  
我们从运营商申请到SSL证书时候，会有多种格式，这里我们选择**Apache**的就可以了。  
在部署时，我们值需要`.key`和`.crt`文件，并且将原文件重命名为`notebook.key`和`notebook.crt`。首先要先将证书所在的文件夹映射至容器中，这里是`/etc/ssl/notebook`。

> ⚠️：Docker可以支持多个文件夹的映射，即多个`-v`参数，所以这里的映射与之前持久化的映射并不冲突。

然后运行以下命令：

docker run -d -p 8888:8888 \
        -v /some/host/folder:/etc/ssl/notebook \
        jupyter/base-notebook start-notebook.sh \
        --NotebookApp.keyfile=/etc/ssl/notebook/notebook.key
        --NotebookApp.certfile=/etc/ssl/notebook/notebook.crt

容器成功运行后，8888端口就不再提供http服务，而是https服务。

最后，简单说一下反向代理问题，现在主流的服务器，例如Apache、Nginx都有反向代理功能，Apache的可以参考我的博客：

>  *  [Apache设置https反向代理][Apache_https]
>  *  [使用Apache的虚拟主机以及代理搞定多个网站的子域名(包括跨域情况)解析问题->其实这就是http反向代理][Apache_-_http]

如果不是Apache，Jupyer官方也提供了[相关指南][Link 1]  
**设置好网站的反向代理后，需要注意的是Jupyter是用Socket来与Kernel进行通信的，所以还要开启服务器软件的Socket反向代理功能。** 在这里，http情况下对应的是`ws`，https对应的是`wss`。这些在上面提及的官方指南中也有说明。

# JupyterHub的搭建 #

本节，首先介绍一下什么是JupyterHub，以及它与JupyterNotebook的关系，然后简单介绍一下搭建过程。

## 什么是JupyerHub ##

JupyerHub是一个多用户的JupyerNotebook管理器。默认情况下，JupyerNotebook是不支持多用户使用的。而JupyterHub刚好弥补了这一缺点。在Docker中，JupyterHub更像一个守卫，首先，你要通过身份验证，然后，通过一个叫**Spawn**的机制为每一个通过验证的用户生成一个新的Docker容器，这样就可以多用户使用JupyterNotebook了。

同时，JupyerHub还支持文件夹共享，这个对于多用户协作来说是刚需，而这是普通JupyerNotebook做不到的。

## 搭建JupyerHub ##

这里推荐一篇文章，讲得很仔细，我参照他说的做，一次成功，也推荐给大家。我就不赘述了，避免重复造轮子。  
[使用Docker安装多用户版的JupyterHub][Docker_JupyterHub]

[DockerHub]: https://hub.docker.com/
[Docker]: https://jupyter-docker-stacks.readthedocs.io/en/latest/using/selecting.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21nc2t5MQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20230209/5d9db79bb5b1473394ae3b0a64f9be24.png
[Apache_https]: https://blog.csdn.net/mgsky1/article/details/78692118
[Apache_-_http]: https://blog.csdn.net/mgsky1/article/details/77751442
[Link 1]: https://jupyterhub.readthedocs.io/en/stable/reference/config-proxy.html
[Docker_JupyterHub]: https://www.biaodianfu.com/docker-jupyterhub.html