python子进程关闭fd_如果创建了multiprocessing.Pool,Python子进程wait()将失败

柔情只为你懂 2022-10-31 14:55 37阅读 0赞

在一个使用subprocess到gzip输出的简单脚本中(使用subprocess.PIPE到外部命令的stdin),如果在创建子进程和关闭进程的stdin之间创建了multiprocessing.Pool对象,则subprocess.wait ()将永远挂起.

import multiprocessing

import subprocess

proc = subprocess.Popen(\["gzip", "-c", "-"\],

stdout=open('filename', 'w'), stdin=subprocess.PIPE)

multiprocessing.Pool()

proc.stdin.close()

proc.wait()

移动multiprocessing.Pool调用一行或一行调用可以防止出现问题.

我在Python 2.7.3(Linux)和Python 2.7.1(OS X)上遇到过这种情况.

显然,这是一个微不足道的例子 – 真正的用法要复杂得多.我也已经知道GzipFile了 – 我宁愿不使用它;使用子进程可以通过将gzipping分成单独的线程来获得更多的CPU使用率.

我看不出简单地实例化Pool应该如何产生这种影响.

最佳答案 当您调用multiprocessing.Pool时,多处理模块会创建几个新进程(使用os.fork或类似的进程).

默认情况下,在fork期间,新进程会继承所有打开的文件描述符.

当您使用subprocess.PIPE参数调用subprocess.Popen时,子流程模块会创建一些新的管道文件描述符,以便向/从新进程发送数据.在这种特殊情况下,管道用于将数据从父进程(python)发送到子进程(gzip),并且gzip将退出 – 从而使proc.wait()完成 – 当对管道的所有写访问权限进行时远. (这是在管道上生成“EOF”的原因：该管道不再存在可写入的文件描述符.)

因此,在这种情况下,如果您(所有在“原始”python进程中)按此顺序执行此操作：

>创建一个管道

>创建一些multiprocessing.Pool流程

>将数据发送到gzip

>关闭管道以gzip

然后,由于fork的行为,每个Pool进程都有一个写入gzip管道的os.dup,因此gzip继续等待更多数据,这些池进程可以(但从不这样做)发送.一旦Pool进程关闭其管道描述符,gzip进程就会退出.

将其修复为真实(更复杂)的代码可能非常重要.理想情况下,您希望多处理.Pool(知道,不知何故)应该保留哪些文件描述符,哪些不应该保留,但这并不像“只是在创建的子进程中关闭一堆描述符”那么简单：

output = open('somefile', 'a')

def somefunc(arg):

... do some computation, etc ...

output.write(result)

pool = multiprocessing.Pool()

pool.map(somefunc, iterable)

显然,output.fileno()必须由工作进程共享.

您可以尝试使用Pool的初始化程序来调用proc.stdin.close(或在fd列表中的os.close),但是您需要安排跟踪描述符到关闭.重构代码可能最简单,以避免“在错误的时间”创建池.

发表评论取消回复

表情：

评论列表（有 0 条评论，37人围观）

还没有评论，来说两句吧...

相关阅读

相关进程与子进程

进程进程（Process）是计算机中执行中的程序的实例。在操作系统中，每个进程都有自己的内存空间和系统资源，它们之间相互独立并且不会干扰彼此的运行。每个进程都由操作系统

蔚落/ 2024年03月16日 12:38/ 0 赞/ 68 阅读

相关 python：父进程、子进程、线程的原理以及创建

1、父子进程之间的关系假设是a进程创建了b进程，那么a进程就是b进程的父进程。反之，假设是b创建了a,那么b进程就是a的父进程。关于资源：子进程得到的是除了代码段是

妖狐艹你老母/ 2023年01月02日 04:21/ 0 赞/ 341 阅读

相关 Linux进程3：父进程等待（wait，waitpid）子进程退出并收集子进程退出状态，僵尸进程

父进程等待（wait，waitpid）子进程退出并收集子进程退出状态 1.父进程为什么要等待子进程退出？ > 创建子进程目的：------干活 > 我们要知道干活结

女爷i/ 2022年12月13日 01:38/ 0 赞/ 273 阅读

相关 Unix 父子进程以及创建子进程

Unix 进程 Unix系统中进程存在父子关系，父进程拥有多个子进程，子进程只能有一个父进程。pid为0的进程为调度进程，也是根进程。系统中所有的进程构成了一个以调度进程

梦里梦外;/ 2022年12月09日 15:55/ 0 赞/ 246 阅读

相关 python子进程通信_Python子进程通信

对于那些仍在努力解决这个问题的人来说，这就是我发现的。“stdin”=子流程.管道上面的方法可以在OSGeo4W64中使用一些命令行工具，但不是全部。例如，它与gdal\_tr

曾经终败给现在/ 2022年10月31日 14:55/ 0 赞/ 292 阅读

相关 python子进程关闭fd_如果创建了multiprocessing.Pool,Python子进程wait()将失败

在一个使用subprocess到gzip输出的简单脚本中(使用subprocess.PIPE到外部命令的stdin),如果在创建子进程和关闭进程的stdin之间创建了multi

柔情只为你懂/ 2022年10月31日 14:55/ 0 赞/ 38 阅读

相关 fork调用，父进程返回子进程的ＩＤ，子进程返回０，如果调用失败就返回负数

<table style="width: 90%;"> <tbody> <tr> <th><span style="color: 05006c;"></spa

待我称王封你为后i/ 2022年09月30日 00:36/ 0 赞/ 141 阅读

相关 Python 子进程与子进程池的应用

去年记录过一篇如何使用 Python 的线程，线程池的日志 [Python 多线程编程][Python], 需用到 threading.Thread, concurrent.f

今天药忘吃喽~/ 2022年09月10日 01:21/ 0 赞/ 295 阅读

相关 Linux fork创建子进程

1. pid\_t fork(void); 　　功能：创建父子进程　　参数：无　　返回值：成功：在父进程中：返回值为子进程的PID 　　　　在子进程

Myth丶恋晨/ 2021年12月20日 15:47/ 0 赞/ 422 阅读

相关 Linux-父进程wait回收子进程

1、wait工作原理（1）、子进程结束时，系统向其父进程发送SIGCHILD信号（2）、父进程调用wait函数后阻塞（3）、父进程被SIGCHILD信号唤醒然后去回

r囧r小猫/ 2021年11月10日 02:52/ 0 赞/ 409 阅读