python模块：调用系统命令模块subprocess等

水深无声 2022-08-02 12:54 383阅读 0赞

http://[blog.csdn.net/pipisorry/article/details/46972171][blog.csdn.net_pipisorry_article_details_46972171]

Python经常被称作“胶水语言”，因为它能够轻易地操作其他程序，轻易地包装使用其他语言编写的库。在Python/wxPython环境下，执行外部命令或者说在Python程序中启动另一个程序的方法。

# Python目前全力推荐subprocess #

当我们运行python的时候，我们都是在创建并运行一个进程。正如我们在Linux进程基础中介绍的那样，一个进程可以fork一个子进程，并让这个子进程exec另外一个程序。在Python中，我们通过标准库中的subprocess包来fork一个子进程，并运行一个外部的程序(fork，exec见Linux进程基础)。

subprocess包中定义有数个创建子进程的函数，这些函数分别以不同的方式创建子进程，所以我们可以根据需要来从中选取一个使用。另外subprocess还提供了一些管理[标准流(standard stream)和管道][standard stream][(pipe)][standard stream]的工具，从而在进程间使用文本通信。

使用subprocess包中的函数创建子进程的时候，要注意:

1) 在创建子进程之后，父进程是否暂停，并等待子进程运行。

2) 函数返回什么

3) 当returncode不为0时，父进程如何处理。

直接调用命令，返回值即是系统返回。

**subprocess.Popen**(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec\_fn=None, close\_fds=False, shell=False, cwd=None, env=None, universal\_newlines=False, startupinfo=None, creationflags=0)

**subprocess.call**(\["cmd", "arg1", "arg2"\],shell=True)

**subprocess.call**(\["hdfs", "dfs", "-rm", "-f", some\_path\])  \#推荐

可以通过两种方式完成\["cmd", "arg1", "arg2"\]

if subprocess.Popen(\["dir", "/b", filename\], shell=True).wait() == 0  
if subprocess.call(\["dir", "/b", filename\], shell=True) == 0

**参数shell=True：**shell命令中有一些是shell的内建命令，这些命令必须通过shell运行，如cd。shell=True允许我们运行这样一些命令，表示命令最终在shell中运行。Python文档中出于安全考虑，不建议使用shell=True。建议使用Python库来代替shell命令，或使用pipe的一些功能做一些转义。

如果command(args)不是一个可执行文件，shell=True不可省。否则如copy\\del命令可能会出现FileNotFoundError错误。

**参数args**：可以是字符串或者序列类型（如：list，元组），用于指定进程的可执行文件及其参数。

Note:

1. Popen.wait()可以得到命令的返回值，call()是直接返回命令返回值。0表示执行成功，1表示执行失败。

2. 文件名格式错误：

如果是windows下的命令，则文件路径如果用的是linux格式会报错：The syntax of the command is incorrect.    if subprocess.Popen('dir /b %s' % filename, shell=True).wait() == 0，如果filename字符串中有空格，则会出现错误：File Not Found错误。

3. 有时用subprocess.call("hdfs dfs -rm -f"+some\_path, shell=True)不能正确执行：rm: Failed to move to trash: hdfs://\*: org.apache.hadoop.ipc.RemoteException(org.apache.ranger.authorization.hadoop.exceptions.RangerAccessControlException): Permission denied: user=\*8, access=WRITE, inode="/trash/\*"，这时subprocess.call(\["hdfs", "dfs", "-rm", "-f", some\_path\])可能因为安全性高点，就能执行。

\[[Python中subprocess学习][Python_subprocess]\]

### subprocess.call调用**示例** ###

**示例1 **

success = subprocess.call("hdfs dfs -put \{\} \{\}".format(local\_file, hdfs\_file), shell=True) == 0  
    assert success

**示例2**

import subprocess  
new\_filename = '/tmp/b'  
filename = '/tmp/a'  
subprocess.call(\['mv', filename, new\_filename\])  
subprocess.call(\['ls','-a', '/tmp'\])

Note: lz这种方法调用mv指令如果加上shell=True就会出错：mv: missing file operand。

但是下面的方式加上shell=True就不会出错

>>> subprocess.call("ls -l", shell=True)  
0  
>>> subprocess.call("exit 1", shell=True)  
1

即Use shell=True if you're passing a string to subprocess.call.

\[Errno 2\] No such file or directory

\[[\[Errno 2\] No such file or directory while using python subprocess][Errno 2_ No such file or directory while using python subprocess]\]

**shell调用virtualenv执行命令示例**

1. 启动virtualenv是一个shell命令，要在shell中执行。否则出错：WindowsError: \[Error 193\] %1 is not a valid Win32 application

2.  然而virtualenv中执行的命令并不是shell命令，不是在shell中执行的，直接运行即可。否则出错：'scrapy' is not recognized as an internal or external command,operable program or batch file.

subprocess.call(r'..\\Scripts\\activate', shell=True)  
subprocess.call('scrapy crawl dmoz')

**终端输出：subprocess更简单方法返回stdout**

如果你更关注命令的终端输出，可以这样

1 subprocess.check\_output(\["echo", "Hello World!"\])  
'Hello World!\\n'

2 subprocess.check\_output("exit 1", shell=True)

Traceback (most recent call last):  
...  
subprocess.CalledProcessError: Command 'exit 1' returned non-zero exit status 1

3 s = subprocess.check\_output('ls -l', shell=True)

## python3.5最新语法及示例subprocess.run ##

subprocess.run(args, \*, stdin=None, input=None, stdout=None, stderr=None, shell=False, timeout=None, check=False)

>>> subprocess.run(\["ls", "-l"\])  \# doesn't capture output  
CompletedProcess(args=\['ls', '-l'\], returncode=0)

>>> subprocess.run("exit 1", shell=True, check=True)  
Traceback (most recent call last):  
  ...  
subprocess.CalledProcessError: Command 'exit 1' returned non-zero exit status 1

>>> subprocess.run(\["ls", "-l", "/dev/null"\], stdout=subprocess.PIPE)  
CompletedProcess(args=\['ls', '-l', '/dev/null'\], returncode=0,  
stdout=b'crw-rw-rw- 1 root root 1, 3 Jan 23 16:23 /dev/null\\n')

更复杂的命令使用，如

subprocess.run( "cat ~/files/DATASETS/tianchi/ccf\_data\_revised/ccf\_online\_stage1\_train.csv | cut -d ',' -f 1 | uniq | sort -n > /tmp/1.txt", shell=*True*)

subprocess.run(r"mv '" \+ os.path.join(CA\_DATASET\_DIR, checkin\_ca) \+ "' /tmp", shell=*True*)

### 参数使用 ###

**stdin和stdout**

import subprocess  
child1 = subprocess.Popen(\["ls", "-l"\], stdout=subprocess.PIPE, cwd='/home/pipi')  
child2 = subprocess.Popen(\["cat"\], stdin=child1.stdout, shell=True)  
相当于将child1输出保存到一个文件，再使用child2的cat命令查看

**input**

The *input* argument is passed to [`Popen.communicate()`][Popen.communicate] and thus to thesubprocess’s stdin. If used it must be a byte sequence, or a string if`universal_newlines=True`. When used, the internal [`Popen`][Popen] objectis automatically created with `stdin=PIPE`, and the *stdin* argument maynot be used as well.

input相当于一个文件中的内容，而不是命令的参数！

child2 = subprocess.run(\["cat"\], input = b'contents in a file', shell=True) \# contents in a file  
child2 = subprocess.run(\["echo"\], input = b'contents in a file', shell=True) \# 无输出

**使用代码中的变量**

好像可以通过stdin输入代码中的变量，但是更简单的也可以直接使用下面的字符串连接实现

dir = '/home/pipi/files/DATASETS/tianchi/ccf\_data\_revised'  
train\_filename = 'data\_train2.txt'  
subprocess.run("cat " + train\_filename + " | cut -d ',' -f 9 | sort| uniq -c", shell=True, cwd=dir)

**指定子进程工作路径**

Note: 上一条run修改当前路径对下一条run是没用的

dir = '/home/pipi/files/DATASETS/tianchi/ccf\_data\_revised'  
subprocess.run("cat data\_train2.txt | cut -d ',' -f 9 | sort| uniq -c", shell=True, cwd=dir)

**获取Popen的返回值及输出**

import sys,os,subprocess,commands  
from subprocess import Popen,PIPE  
p = Popen('python ' + path + '\\getCurPath.py', stdout=PIPE, stderr=PIPE)  
p.wait()  
if(p.returncode == 0):  
    print "stdout:%s" %p.stdout.read()

\[[`subprocess`][subprocess] — Subprocess management\]

\[[Python标准库06 子进程 (subprocess包)][Python_06 _ _subprocess]\]

\[Python模块整理(三)：子进程模块subprocess\]

[皮皮blog][blog]

# 其它方法 #

### **os.system(command)** ###

os.system()函数用来运行shell命令。此命令可以方便的调用或执行其他脚本和命令

*  \#打开指定的文件  
 *  >>>os.system('notepad \*.txt')

这个调用相当直接，且是同步进行的，程序需要阻塞并等待返回。返回值是依赖于系统的，直接返回系统的调用返回值，所以windows和linux是不一样的。

### wx.Execute(command, syn=wx.EXEC\_ASYNC, callback=None) ###

若置syn为wx.EXEC\_ASYNC则wx.Excute函数立即返回，若syn=wx.EXEC\_SYNC则等待调用的程序结束后再返回。

callback是一个wx.Process变量，如果callback不为None且syn=wx.EXEC\_ASYNC，则程序结束后将调用wx.Process.OnTerminate()函数。

os.system()和wx.Execute()都利用系统的shell，执行时会出现shell窗口。如在Windows下会弹出控制台窗口，不美观。

### webbrowser.open(url) ###

打开URL地址可用webbrowser模块提供的功能。

调用系统缺省浏览器打开URL地址，如 webbrowser.open('http://www.jb51.net')，也可以利用  
webbrowser.open('h:\\python.zip')来执行程序。这样可以不必区分是文件名还是URL，不知道在Linux下是否可行。  
以上在Windows2000，Python2.4a1，wxPython 2.5.1运行。  
\[[python调用shell的方法][python_shell]\]

### **os.popen(command\[,mode\[,bufsize\]\])** ###

举个栗子

>>> import os  
>>> p = os.popen("dir c:", 'r')  
>>> p.read()  
bla bla... <这里是dir正确的输出>  
>>> p.close()  
>>> p = os.popen("dir d:", 'r') \# 电脑中没有D盘  
>>> p.read()  
''  
>>> p.close()  
1

可以看出，popen方法通过p.read()获取终端输出，而且popen需要关闭close().当执行成功时，close()不返回任何值，失败时，close()返回系统返回值. 可见它获取返回值的方式和os.system不同。

### commands模块 ###

举个栗子

> >>> import commands  
> >>> commands.getstatusoutput('ls /bin/ls')  
> (0, '/bin/ls')  
> >>> commands.getstatusoutput('cat /bin/junk')  
> (256, 'cat: /bin/junk: No such file or directory')  
> >>> commands.getstatusoutput('/bin/junk')  
> (256, 'sh: /bin/junk: not found')  
> >>> commands.getoutput('ls /bin/ls')  
> '/bin/ls'  
> >>> commands.getstatus('/bin/ls')  
> '-rwxr-xr-x 1 root 13352 Oct 14 1994 /bin/ls'

根据你需要的不同，commands模块有三个方法可供选择。getstatusoutput, getoutput, getstatus。

### os.spawn\* 和 popen2.\*也可以完成同样的任务 ###

[Python和其他进程的管道通信方式--popen和popen2的比较][Python_--popen_popen2]

### **sh : Python subprocess interface** ###

lz发现了一个相当不错的库amoffat/sh，可以用 Python 函数的语法去调用 shell 命令，sh 之于 subprocess 类似 requests 之于 urllib2。

**pip3 install sh**

sh库用来将shell命令作为函数导入到Python中。在bash中使用是非常实用的，但是在Python中不容易记住怎么使用（即递归搜索文件）。

**使用示例**

from sh import find  
find("/tmp")  
/tmp/foo  
/tmp/foo/file1.json  
/tmp/foo/file2.json  
/tmp/foo/file3.json  
/tmp/foo/bar/file3.json

from sh import git  
git.clone("https://github.com/amoffat/sh")

from sh import ls, mv

new\_filename = r'/tmp/b'  
filename = r'/tmp/a'  
try:  
    mv(filename, new\_filename)  
except:  
    pass  
print(ls('/tmp'))

\[sh：[sh 1.08 — sh v1.08 documentation][sh 1.08 _ sh v1.08 documentation]\]

\[[python sh库实现分析][python sh]\]

from:[http://blog.csdn.net/pipisorry/article/details/46972171][blog.csdn.net_pipisorry_article_details_46972171]

ref:[python中执行linux命令(调用linux命令)][python_linux_linux]

[6方法，python中执行shell命令][6_python_shell]

[blog.csdn.net_pipisorry_article_details_46972171]: http://blog.csdn.net/pipisorry/article/details/46972171
[standard stream]: http://www.cnblogs.com/vamei/archive/2012/09/14/2683756.html
[Python_subprocess]: http://blog.csdn.net/imzoer/article/details/8678029
[Errno 2_ No such file or directory while using python subprocess]: https://stackoverflow.com/questions/18962785/oserror-errno-2-no-such-file-or-directory-while-using-python-subprocess-in-dj
[Popen.communicate]: https://docs.python.org/3/library/subprocess.html#subprocess.Popen.communicate
[Popen]: https://docs.python.org/3/library/subprocess.html#subprocess.Popen
[subprocess]: https://docs.python.org/3/library/subprocess.html#module-subprocess
[Python_06 _ _subprocess]: http://www.cnblogs.com/vamei/archive/2012/09/23/2698014.html
[blog]: http://blog.csdn.net/pipisorry
[python_shell]: http://www.jb51.net/article/43502.htm
[Python_--popen_popen2]: http://blog.csdn.net/amibaren/article/details/7611187
[sh 1.08 _ sh v1.08 documentation]: http://amoffat.github.io/sh/
[python sh]: http://mp.weixin.qq.com/s?__biz=MjM5NzU0MzU0Nw==&mid=212787992&idx=2&sn=d3620154730b778a11380b74c862bcb5&scene=0#rd
[python_linux_linux]: http://blog.csdn.net/shanliangliuxing/article/details/8811701
[6_python_shell]: http://mp.weixin.qq.com/s?__biz=MjM5NzU0MzU0Nw==&mid=210729241&idx=1&sn=bd856886f384df69f87f0c54627445d4&scene=0#rd