Python多任务之多进程开发

妖狐艹你老母 2024-04-08 12:48 96阅读 0赞

#### 目录 ####

*  1 多任务的介绍
 *  2 多任务的执行方式
 *  3 进程介绍
 *  4 多进程的使用
 *   *  4.1 多进程的体验
     *   *  4.1.1 导入进程包
         *  4.1.2 Process进程类的说明
         *  4.1.3 多进程完成多任务的代码
         *  4.1.4 小结
     *  4.2 获取进程编号
     *   *  4.2.1 获取当前父进程编号
         *  4.2.2 小结
     *  4.3 进程执行带有参数的任务
     *   *  4.3.1 进程执行带有参数的任务的介绍
         *  4.3.2 args参数的使用
         *  4.3.3 kwargs参数的使用
         *  4.3.4 小结
     *  4.4 进程的注意点
     *   *  4.4.1 进程的注意点介绍
         *  4.4.2 进程之间不共享全局变量
         *  4.4.3 进程之间不共享全局变量的小结
         *  4.4.4 主进程会等待所有的子进程执行结束再结束
         *  4.4.5 主进程会等待所有的子进程执行结束再结束的小结

--------------------

## 1 多任务的介绍 ##

多任务是指在**同一时间内**执行**多个任务**，例如: 现在电脑安装的操作系统都是多任务操作系统，可以同时运行着多个软件。  
**多任务效果图:**  
![在这里插入图片描述][d33bac7fa8474dfab1069cd3a5f9f8ef.png]

## 2 多任务的执行方式 ##

`- 并发`  
`- 并行`

**并发:**  
在一段时间内**交替**去执行任务。  
**例如:**  
对于单核cpu处理多任务,操作系统轮流**让各个软件交替执行**，假如:软件1执行0.01秒，切换到软件2，软件2执行0.01秒，再切换到软件3，执行0.01秒……这样反复执行下去。表面上看，每个软件都是交替执行的，但是，由于CPU的执行速度实在是太快了，我们感觉就像这些软件都在同时执行一样，这里需要注意单核cpu是并发的执行多任务的。

**并行:**  
对于多核cpu处理多任务，操作系统会给cpu的每个内核安排一个执行的软件，**多个内核是真正的一起执行软件**。这里需要注意**多核cpu是并行的执行多任务，始终有多个软件一起执行**。

*  使用多任务就能充分利用CPU资源，提高程序的执行效率，让你的程序具备处理多个任务的能力。
 *  多任务执行方式有两种方式：**并发**和**并行**，这里并行才是多个任务真正意义一起执行。

## 3 进程介绍 ##

在Python程序中，想要实现多任务可以使用进程来完成，进程是实现多任务的一种方式。  
一个正在运行的程序或者软件就是一个进程，**它是操作系统进行资源分配的基本单位**，也就是说每启动一个进程，操作系统都会给其分配一定的运行资源(内存资源)保证进程的运行。  
比如:现实生活中的公司可以理解成是一个进程，公司提供办公资源(电脑、办公桌椅等)，真正干活的是员工，员工可以理解成线程。

![在这里插入图片描述][fe829c8b38f840d6b72d54800e012b3d.png]  
![在这里插入图片描述][97683761dceb4ebbb60fca9d68141ff9.png]

**注意:**  
**一个程序运行后至少有一个进程，一个进程默认有一个线程**，进程里面可以创建多个线程，**线程是依附在进程里面的，没有进程就没有线程**。

**说明:**  
多进程可以完成多任务，每个进程就好比一家独立的公司，每个公司都各自在运营，每个进程也各自在运行，执行各自的任务。

*  进程是操作系统进行资源分配的基本单位。
 *  进程是Python程序中实现多任务的一种方式

## 4 多进程的使用 ##

### 4.1 多进程的体验 ###

#### 4.1.1 导入进程包 ####

#导入进程包
    import multiprocessing

#### 4.1.2 Process进程类的说明 ####

**Process(group , target , name , args , kwargs)**

*  group：指定进程组，目前只能使用None
 *  target：执行的目标任务名
 *  name：进程名字
 *  args：以元组方式给执行任务传参
 *  kwargs：以字典方式给执行任务传参  
    **Process创建的实例对象的常用方法:**
 *  start()：启动子进程实例（创建子进程）
 *  join()：等待子进程执行结束
 *  terminate()：不管任务是否完成，立即终止子进程  
    **Process创建的实例对象的常用属性:**  
    name：当前进程的别名，默认为Process-N，N为从1开始递增的整数

#### 4.1.3 多进程完成多任务的代码 ####

import multiprocessing
    import time
    # 跳舞任务
    def dance():
        for i in range(5):
            print("跳舞中...")
            time.sleep(0.2)
    # 唱歌任务
    def sing():
        for i in range(5):
            print("唱歌中...")
            time.sleep(0.2)
    if __name__ == '__main__':
        # 创建跳舞的子进程
        # group: 表示进程组，目前只能使用None
        # target: 表示执行的目标任务名(函数名、方法名)
        # name: 进程名称, 默认是Process-1, .....
        dance_process = multiprocessing.Process(target=dance, name="myprocess1")
        sing_process = multiprocessing.Process(target=sing)
        # 启动子进程执行对应的任务
        dance_process.start()
        sing_process.start()

**执行结果:**

唱歌中...
    跳舞中...
    唱歌中...
    跳舞中...
    唱歌中...
    跳舞中...
    唱歌中...
    跳舞中...
    唱歌中...
    跳舞中...

#### 4.1.4 小结 ####

1.  导入进程包
    
     *  import multiprocessing
2.  创建子进程并指定执行的任务
    
     *  sub\_process = multiprocessing.Process (target=任务名)
3.  启动进程执行任务
    
     *  sub\_process.start()

### 4.2 获取进程编号 ###

import multiprocessing
    import time
    import os
    # 跳舞任务
    def dance():
        # 获取当前进程的编号
        print("dance:", os.getpid())
        # 获取当前进程
        print("dance:", multiprocessing.current_process())
        for i in range(5):
            print("跳舞中...")
            time.sleep(0.2)
            # 扩展:根据进程编号杀死指定进程
            os.kill(os.getpid(), 9)
    # 唱歌任务
    def sing():
        # 获取当前进程的编号
        print("sing:", os.getpid())
        # 获取当前进程
        print("sing:", multiprocessing.current_process())
        for i in range(5):
            print("唱歌中...")
            time.sleep(0.2)
    if __name__ == '__main__':
        # 获取当前进程的编号
        print("main:", os.getpid())
        # 获取当前进程
        print("main:", multiprocessing.current_process())
        # 创建跳舞的子进程
        # group: 表示进程组，目前只能使用None
        # target: 表示执行的目标任务名(函数名、方法名)
        # name: 进程名称, 默认是Process-1, .....
        dance_process = multiprocessing.Process(target=dance, name="myprocess1")
        sing_process = multiprocessing.Process(target=sing)
        # 启动子进程执行对应的任务
        dance_process.start()
        sing_process.start()

**执行结果:**

main: 70763
    main: <_MainProcess(MainProcess, started)>
    dance: 70768
    dance: <Process(myprocess1, started)>
    跳舞中...
    sing: 70769
    sing: <Process(Process-2, started)>
    唱歌中...
    唱歌中...
    唱歌中...
    唱歌中...
    唱歌中...

#### 4.2.1 获取当前父进程编号 ####

**os.getppid()** 表示获取当前父进程编号

**示例代码:**

import multiprocessing
    import time
    import os
    # 跳舞任务
    def dance():
        # 获取当前进程的编号
        print("dance:", os.getpid())
        # 获取当前进程
        print("dance:", multiprocessing.current_process())
        # 获取父进程的编号
        print("dance的父进程编号:", os.getppid())
        for i in range(5):
            print("跳舞中...")
            time.sleep(0.2)
            # 扩展:根据进程编号杀死指定进程
            os.kill(os.getpid(), 9)
    # 唱歌任务
    def sing():
        # 获取当前进程的编号
        print("sing:", os.getpid())
        # 获取当前进程
        print("sing:", multiprocessing.current_process())
        # 获取父进程的编号
        print("sing的父进程编号:", os.getppid())
        for i in range(5):
            print("唱歌中...")
            time.sleep(0.2)
    if __name__ == '__main__':
        # 获取当前进程的编号
        print("main:", os.getpid())
        # 获取当前进程
        print("main:", multiprocessing.current_process())
        # 创建跳舞的子进程
        # group: 表示进程组，目前只能使用None
        # target: 表示执行的目标任务名(函数名、方法名)
        # name: 进程名称, 默认是Process-1, .....
        dance_process = multiprocessing.Process(target=dance, name="myprocess1")
        sing_process = multiprocessing.Process(target=sing)
        # 启动子进程执行对应的任务
        dance_process.start()
        sing_process.start()
    main: 70860
    main: <_MainProcess(MainProcess, started)>
    dance: 70861
    dance: <Process(myprocess1, started)>
    dance的父进程编号: 70860
    跳舞中...
    sing: 70862
    sing: <Process(Process-2, started)>
    sing的父进程编号: 70860
    唱歌中...
    唱歌中...
    唱歌中...
    唱歌中...
    唱歌中...

#### 4.2.2 小结 ####

*  获取当前进程编号
    
     *  os.getpid()
 *  获取当前父进程编号
    
     *  os.getppid()
 *  获取进程编号可以查看父子进程的关系

### 4.3 进程执行带有参数的任务 ###

#### 4.3.1 进程执行带有参数的任务的介绍 ####

前面我们使用进程执行的任务是没有参数的，假如我们使用进程执行的任务带有参数，如何给函数传参呢?  
Process类执行任务并给任务传参数有两种方式:

*  args 表示以元组的方式给执行任务传参
 *  kwargs 表示以字典方式给执行任务传参

#### 4.3.2 args参数的使用 ####

**示例代码:**

import multiprocessing
    import time
    # 带有参数的任务
    def task(count):
        for i in range(count):
            print("任务执行中..")
            time.sleep(0.2)
        else:
            print("任务执行完成")
    if __name__ == '__main__':
        # 创建子进程
        # args: 以元组的方式给任务传入参数
        sub_process = multiprocessing.Process(target=task, args=(5,))
        sub_process.start()

**执行结果:**

任务执行中..
    任务执行中..
    任务执行中..
    任务执行中..
    任务执行中..
    任务执行完成

#### 4.3.3 kwargs参数的使用 ####

**示例代码:**

import multiprocessing
    import time
    # 带有参数的任务
    def task(count):
        for i in range(count):
            print("任务执行中..")
            time.sleep(0.2)
        else:
            print("任务执行完成")
    if __name__ == '__main__':
        # 创建子进程
        # kwargs: 表示以字典方式传入参数
        sub_process = multiprocessing.Process(target=task, kwargs={
        "count": 3})
        sub_process.start()

**执行结果:**

任务执行中..
    任务执行中..
    任务执行中..
    任务执行完成

#### 4.3.4 小结 ####

*  进程执行任务并传参有两种方式:
    
     *  **元组方式传参(args)**: 元组方式传参一定要和参数的顺序保持一致。
     *  **字典方式传参(kwargs)**: 字典方式传参字典中的key一定要和参数名保持一致。

### 4.4 进程的注意点 ###

#### 4.4.1 进程的注意点介绍 ####

1.  进程之间不共享全局变量
2.  主进程会等待所有的子进程执行结束再结束

#### 4.4.2 进程之间不共享全局变量 ####

import multiprocessing
    import time
    # 定义全局变量
    g_list = list()
    # 添加数据的任务
    def add_data():
        for i in range(5):
            g_list.append(i)
            print("add:", i)
            time.sleep(0.2)
        # 代码执行到此，说明数据添加完成
        print("add_data:", g_list)
    def read_data():
        print("read_data", g_list)
    if __name__ == '__main__':
        # 创建添加数据的子进程
        add_data_process = multiprocessing.Process(target=add_data)
        # 创建读取数据的子进程
        read_data_process = multiprocessing.Process(target=read_data)
        # 启动子进程执行对应的任务
        add_data_process.start()
        # 主进程等待添加数据的子进程执行完成以后程序再继续往下执行，读取数据
        add_data_process.join()
        read_data_process.start()
        print("main:", g_list)
        # 总结: 多进程之间不共享全局变量

**执行结果:**

add: 0
    add: 1
    add: 2
    add: 3
    add: 4
    add_data: [0, 1, 2, 3, 4]
    main: []
    read_data []

**进程之间不共享全局变量的解释效果图:**  
![在这里插入图片描述][7fb06cbc14e543be935b97b852114fe8.png]

#### 4.4.3 进程之间不共享全局变量的小结 ####

*  创建子进程会对主进程资源进行拷贝，也就是说子进程是主进程的一个副本，好比是一对双胞胎，之所以进程之间不共享全局变量，是因为操作的不是同一个进程里面的全局变量，只不过不同进程里面的全局变量名字相同而已。

#### 4.4.4 主进程会等待所有的子进程执行结束再结束 ####

假如我们现在创建一个子进程，这个子进程执行完大概需要2秒钟，现在让主进程执行0.5秒钟就退出程序，查看一下执行结果，示例代码如下:

import multiprocessing
    import time
    # 定义进程所需要执行的任务
    def task():
        for i in range(10):
            print("任务执行中...")
            time.sleep(0.2)
    if __name__ == '__main__':
        # 创建子进程
        sub_process = multiprocessing.Process(target=task)
        sub_process.start()
        # 主进程延时0.5秒钟
        time.sleep(0.5)
        print("over")
        exit()
        # 总结： 主进程会等待所有的子进程执行完成以后程序再退出

**执行结果:**

任务执行中...
    任务执行中...
    任务执行中...
    over
    任务执行中...
    任务执行中...
    任务执行中...
    任务执行中...
    任务执行中...
    任务执行中...
    任务执行中...

**说明:**  
通过上面代码的执行结果，我们可以得知: **主进程会等待所有的子进程执行结束再结束**  
假如我们就让主进程执行0.5秒钟，子进程就销毁不再执行，那怎么办呢?

*  我们可以设置**守护主进程** 或者 在主进程退出之前 **让子进程销毁**  
    **守护主进程:**
 *  守护主进程就是主进程退出子进程销毁不再执行  
    **子进程销毁:**
 *  子进程执行结束  
    **保证主进程正常退出的示例代码:**

import multiprocessing
    import time
    # 定义进程所需要执行的任务
    def task():
        for i in range(10):
            print("任务执行中...")
            time.sleep(0.2)
    if __name__ == '__main__':
        # 创建子进程
        sub_process = multiprocessing.Process(target=task)
        # 设置守护主进程，主进程退出子进程直接销毁，子进程的生命周期依赖与主进程
        # sub_process.daemon = True
        sub_process.start()
        time.sleep(0.5)
        print("over")
        # 让子进程销毁
        sub_process.terminate()
        exit()
        # 总结： 主进程会等待所有的子进程执行完成以后程序再退出
        # 如果想要主进程退出子进程销毁，可以设置守护主进程或者在主进程退出之前让子进程销毁

**执行结果:**

任务执行中...
    任务执行中...
    任务执行中...
    over

#### 4.4.5 主进程会等待所有的子进程执行结束再结束的小结 ####

*  为了保证子进程能够正常的运行，主进程会等所有的子进程执行完成以后再销毁，设置守护主进程的目的是**主进程退出子进程销毁，不让主进程再等待子进程去执行**。
 *  设置守护主进程方式： **子进程对象.daemon = True**
 *  销毁子进程方式： **子进程对象.terminate()**

[d33bac7fa8474dfab1069cd3a5f9f8ef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/b5b34eb169e04d6a9d59dffe189d000c.png
[fe829c8b38f840d6b72d54800e012b3d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/523ebc5dabc641f39cb1333617f7cdcb.png
[97683761dceb4ebbb60fca9d68141ff9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/6bf5f918bed5417d8a9f0bf08492f5e4.png
[7fb06cbc14e543be935b97b852114fe8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/0250e43342474a38a3aa216f3935ad89.png