python模块系列之 - os , os.path,shutil

桃扇骨 2022-08-20 03:18 273阅读 0赞

### os ###

os模块对操作系统的特定模块进行了一个封装,包括posix, nt 和 mac, os提供的API函数在所有的平台上使用方法都是一样的,因此使用os模块提供了平台的移植性。但并不是所有的函数在所有的平台上都可以使用。

常用OS方法

![Image 1][]

<table>      
 <tbody> 
  <tr> 
   <td style="text-align:center">序号</td> 
   <td style="text-align:center">函数</td> 
   <td style="text-align:center">说明</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>os.access(path,mode)</td> 
   <td>按照mode指定的权限访问文件</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>os.chmod(path,mode)</td> 
   <td>改变文件的访问权限。Mode用UNIX系统中的权限代号表示</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>os.open(filename,flag[,mode=0777]</td> 
   <td>按照mode指定的权限打开文件。默认情况下给所有用户读、写、执行权限</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>os.remove(path)</td> 
   <td>删除path指定的文件</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>os.rename(old,new)</td> 
   <td>重命名文件或目录.&nbsp; Old表示原文件或目录, new表示新文件或目录</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>os.stat(path)</td> 
   <td>返回path指定文件的所有属性</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>os.fstat(path)</td> 
   <td>返回打开的文件的所有属性</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>os.lseek(fd,pos,how)</td> 
   <td>设置文件的当前位置，返回当前位置的字节数</td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>os.start(filepath,[,operation])</td> 
   <td>启动关联程序打开文件。例如:打开的是1个html文件，将启动IE浏览器</td> 
  </tr> 
  <tr> 
   <td>10</td> 
   <td>os.tmpfile()</td> 
   <td>创建1个临时文件,文件创建在操作系统的临时目录中</td> 
  </tr> 
  <tr> 
   <td>11</td> 
   <td>os.mkdir(path,[mode=0777])</td> 
   <td>创建path指定的一个目录</td> 
  </tr> 
  <tr> 
   <td>12</td> 
   <td>os.makedirs(name,mode=511)</td> 
   <td>创建多级目录,name表示path1/path2</td> 
  </tr> 
  <tr> 
   <td>13</td> 
   <td>os.rmdir(path)</td> 
   <td>删除path指定的目录</td> 
  </tr> 
  <tr> 
   <td>14</td> 
   <td>os.removedirs(path)</td> 
   <td>删除path指定的多级目录</td> 
  </tr> 
  <tr> 
   <td>15</td> 
   <td>os.listdir(path)</td> 
   <td>返回path指定的目录下的所有文件名</td> 
  </tr> 
  <tr> 
   <td>16</td> 
   <td>os.getcwd()</td> 
   <td>返回当前的工作目录</td> 
  </tr> 
  <tr> 
   <td>17</td> 
   <td>os.chdir(path)</td> 
   <td>将当前的目录改变为path指定的目录</td> 
  </tr> 
  <tr> 
   <td>18</td> 
   <td>os.walk(top,topdown=True,οnerrοr=None)</td> 
   <td>top:要遍历的路径</td> 
  </tr> 
 </tbody> 
</table>

官网链接: https://docs.python.org/3/library/os.html?highlight=os\#module-os

### os.path ###

使用os.path模块中包含的函数能很容易的在不同平台上进行文件的操作。

<table>      
 <tbody> 
  <tr> 
   <td>序号</td> 
   <td>函数</td> 
   <td>解释</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>os.path.abspath(path)&nbsp;</td> 
   <td>返回绝对路径</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>os.path.basename(path)&nbsp;</td> 
   <td>返回文件名</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>os.path.commonprefix(list)&nbsp;</td> 
   <td>返回list(多个路径)中，所有path共有的最长的路径。</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>os.path.dirname(path)&nbsp;</td> 
   <td>返回文件路径</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>os.path.exists(path)&nbsp;&nbsp;</td> 
   <td>路径存在则返回True,路径损坏返回False</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>os.path.lexists&nbsp;&nbsp;</td> 
   <td>路径存在则返回True,路径损坏也返回True</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>os.path.expanduser(path)&nbsp;&nbsp;</td> 
   <td>把path中包含的"~"和"~user"转换成用户目录</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>os.path.expandvars(path)&nbsp;&nbsp;</td> 
   <td>根据环境变量的值替换path中包含的”$name”和”${name}”</td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>os.path.getatime(path)&nbsp;&nbsp;</td> 
   <td>返回最后一次进入此path的时间。</td> 
  </tr> 
  <tr> 
   <td>10</td> 
   <td>os.path.getmtime(path)&nbsp;&nbsp;</td> 
   <td>返回在此path下最后一次修改的时间。</td> 
  </tr> 
  <tr> 
   <td>11</td> 
   <td>os.path.getctime(path)&nbsp;&nbsp;</td> 
   <td>返回path的大小</td> 
  </tr> 
  <tr> 
   <td>12</td> 
   <td>os.path.getsize(path)&nbsp;&nbsp;</td> 
   <td>返回文件大小，如果文件不存在就返回错误</td> 
  </tr> 
  <tr> 
   <td>13</td> 
   <td>os.path.isabs(path)&nbsp;&nbsp;</td> 
   <td>判断是否为绝对路径</td> 
  </tr> 
  <tr> 
   <td>14</td> 
   <td>os.path.isfile(path)&nbsp;&nbsp;</td> 
   <td>判断路径是否为文件</td> 
  </tr> 
  <tr> 
   <td>15</td> 
   <td>os.path.isdir(path)&nbsp;&nbsp;</td> 
   <td>判断路径是否为目录</td> 
  </tr> 
  <tr> 
   <td>16</td> 
   <td>os.path.islink(path)&nbsp;&nbsp;</td> 
   <td>判断路径是否为链接</td> 
  </tr> 
  <tr> 
   <td>17</td> 
   <td>os.path.ismount(path)&nbsp;&nbsp;</td> 
   <td>判断路径是否为挂载点（）</td> 
  </tr> 
  <tr> 
   <td>18</td> 
   <td>os.path.join(path1[, path2[, ...]])&nbsp;&nbsp;</td> 
   <td>把目录和文件名合成一个路径</td> 
  </tr> 
  <tr> 
   <td>19</td> 
   <td>os.path.normcase(path)&nbsp;&nbsp;</td> 
   <td>转换path的大小写和斜杠</td> 
  </tr> 
  <tr> 
   <td>20</td> 
   <td>os.path.normpath(path)&nbsp;&nbsp;</td> 
   <td>规范path字符串形式</td> 
  </tr> 
  <tr> 
   <td>21</td> 
   <td>os.path.realpath(path)&nbsp;&nbsp;</td> 
   <td>返回path的真实路径</td> 
  </tr> 
  <tr> 
   <td>22</td> 
   <td>os.path.relpath(path[, start])&nbsp;&nbsp;</td> 
   <td>从start开始计算相对路径</td> 
  </tr> 
  <tr> 
   <td>23</td> 
   <td>os.path.samefile(path1, path2)&nbsp;&nbsp;</td> 
   <td>判断目录或文件是否相同</td> 
  </tr> 
  <tr> 
   <td>24</td> 
   <td>os.path.sameopenfile(fp1, fp2)&nbsp;&nbsp;</td> 
   <td>判断fp1和fp2是否指向同一文件</td> 
  </tr> 
  <tr> 
   <td>25</td> 
   <td>os.path.samestat(stat1, stat2)&nbsp;&nbsp;</td> 
   <td>判断stat tuple stat1和stat2是否指向同一个文件</td> 
  </tr> 
  <tr> 
   <td>26</td> 
   <td>os.path.split(path)&nbsp;&nbsp;</td> 
   <td>把路径分割成dirname和basename，返回一个元组</td> 
  </tr> 
  <tr> 
   <td>27</td> 
   <td>os.path.splitdrive(path)&nbsp;&nbsp;&nbsp;</td> 
   <td>一般用在windows下，返回驱动器名和路径组成的元组</td> 
  </tr> 
  <tr> 
   <td>28</td> 
   <td>os.path.splitext(path)&nbsp;&nbsp;</td> 
   <td>分割路径，返回路径名和文件扩展名的元组</td> 
  </tr> 
  <tr> 
   <td>29</td> 
   <td>os.path.splitunc(path)&nbsp;&nbsp;</td> 
   <td>把路径分割为加载点与文件</td> 
  </tr> 
  <tr> 
   <td>30</td> 
   <td>os.path.walk(path, visit, arg)&nbsp;&nbsp;</td> 
   <td>遍历path，进入每个目录都调用visit函数，visit函数必须有</td> 
  </tr> 
 </tbody> 
</table>

官网链接：https://docs.python.org/3/library/os.path.html?highlight=os\#module-os.path

### sys ###

<table>     
 <tbody> 
  <tr> 
   <td>sys.argv&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</td> 
   <td>命令行参数List，第一个元素程序本身路径</td> 
  </tr> 
  <tr> 
   <td>sys.exit(n)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</td> 
   <td>退出程序，正常退出时exit(0)</td> 
  </tr> 
  <tr> 
   <td>sys.version&nbsp;&nbsp;&nbsp;&nbsp;</td> 
   <td>获取Python解释程序的版本信息</td> 
  </tr> 
  <tr> 
   <td>sys.maxint&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</td> 
   <td>最大的Int值</td> 
  </tr> 
  <tr> 
   <td>sys.path&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</td> 
   <td>返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值</td> 
  </tr> 
  <tr> 
   <td>sys.platform&nbsp;&nbsp;&nbsp;</td> 
   <td>返回操作系统平台名称</td> 
  </tr> 
  <tr> 
   <td>sys.stdout.write('please:')</td> 
  </tr> 
  <tr> 
   <td>val = sys.stdin.readline()[:-1]</td> 
  </tr> 
 </tbody> 
</table>

### shutil ###

shutil模块提供高级文件操作，包括文件的删除、拷贝等,也支持文件压缩。

#### copy() ####

copy(src,dst) 拷贝文件,不拷贝元数据，返回拷贝的目标文件地址；目标dst(可以是文件，也可以是目录),若dst存在则覆盖。 若src 不存在则报错 FileNotFoundError， 若src 与 dst 为同一个文件报错：SameFileError

shutil.copy('test.txt', 'test')   # test/test.txt

#### copy2() ####

copy2(src,dst)  同copy()，区别是拷贝时也拷贝元数据(文件属性、创建时间等信息）实际是先copy,在copystat ,等同与unix命令: cp -p

shutil.copy2('test2.txt','test_copy2.txt')  # test_copy2.txt

#### copyfile() ####

copyfile(src,dst.length)  与copy类似，只是目的必须是文件名, length指定读入缓存区的长度，这样将文件分片,以免占用太多内存，内部调用 copyfileobj()

print(shutil.copyfile('test.txt','test_copyfile.txt'))   # test_copyfile.txt

#### copyfileobj() ####

copyfileobj(fsrc,fdst,length) 与copyfile类似, src与dst为文件对象 ,length为读入缓存的大小，分片

src = 'test2.txt'
    dst = 'test_copyfileobj.txt'
    with open(src,'rb') as fsrc:
        with open(dst,'wb') as fdst:
            shutil.copyfileobj(fsrc,fdst,length=1024)

#### copymode() ####

copymode(src,dst) 拷贝源文件src的权限，使dst文件的读写权限 -rw-rw-r-- 与src一致,文件的所属用户和组不改变

shutil.copyfile('/tmp/ptest/src.txt','/tmp/ptest/dst_copyfile.txt')
    # 执行前：
    # -rw-r--r-- 1 root  root  9 Feb  1 13:27 dst_copyfile.txt
    # -rw-rw-r-- 1 tibco tibco 9 Feb  1 13:25 src.txt
    shutil.copymode('/tmp/ptest/src.txt','/tmp/ptest/dst_copyfile.txt')
    # 执行后：
    # -rw-rw-r-- 1 root  root  9 Feb  1 13:27 dst_copyfile.txt
    # -rw-rw-r-- 1 tibco tibco 9 Feb  1 13:25 src.txt

#### copystat() ####

copystat(src,dst) 拷贝源文件src的属性到目标文件，包括：文件权限、创建时间、最后修改时间，文件所欲用户和组不变.

shutil.copystat('/tmp/ptest/src.txt','/tmp/ptest/dst_copyfile.txt')
    # 执行前
    # -rw-rw-r-- 1 root  root  9 Feb  1 13:27 dst_copyfile.txt
    # -rwx------ 1 tibco tibco 9 Feb  1 13:25 src.txt
    # 执行后
    # -rwx------ 1 root  root  9 Feb  1 13:25 dst_copyfile.txt
    # -rwx------ 1 tibco tibco 9 Feb  1 13:25 src.txt

#### copytree() ####

拷贝目录树,简单的说就是拷贝源目录及其下面的所有子目录及文件到dst下，目标不能是存在的目录

#### rmtree() ####

rmtree()

#### move() ####

shutil.move("test2.txt","test")  移动文件。dst可以是文件名也可以是目录，目标文件存在则覆盖

#### 文件压缩 ####

##### get\_archive\_formats() #####

返回shutil支持的压缩格式

print(shutil.get_archive_formats())
    # [('bztar', "bzip2'ed tar-file"), ('gztar', "gzip'ed tar-file"), ('tar', 'uncompressed tar file'), ('zip', 'ZIP file')]

##### make\_archive() #####

make\_archive(base\_name, format, root\_dir=None, base\_dir=None, verbose=0, dry\_run=0, owner=None, group=None, logger=None)

文件压缩，支持的格式包括：bztar,gztar,tar,zip

参数说明：

base\_name：要创建的压缩文件的存放路径及名称,如aa.tar 或 /tmp/archinve/aaa.tar ，如果指定路径则默认在当前路径下

format：压缩的文件格式，比如 "zip", "tar", "bztar"    or "gztar".

root\_dir： 要压缩的文件夹路径,默认当前路径

base\_dir：开始压缩的目录

owner： 用户  默认当前用户

group：用户组，默认当前用户组

logger：日志对象，logging.Logger对象

def make_archive(base_name, format, root_dir=None, base_dir=None, verbose=0,
                     dry_run=0, owner=None, group=None, logger=None):
        """Create an archive file (eg. zip or tar).
    
        'base_name' is the name of the file to create, minus any format-specific
        extension; 'format' is the archive format: one of "zip", "tar", "bztar"
        or "gztar".
    
        'root_dir' is a directory that will be the root directory of the
        archive; ie. we typically chdir into 'root_dir' before creating the
        archive.  'base_dir' is the directory where we start archiving from;
        ie. 'base_dir' will be the common prefix of all files and
        directories in the archive.  'root_dir' and 'base_dir' both default
        to the current directory.  Returns the name of the archive file.
    
        'owner' and 'group' are used when creating a tar archive. By default,
        uses the current owner and group.
        """
        save_cwd = os.getcwd()
        if root_dir is not None:
            if logger is not None:
                logger.debug("changing into '%s'", root_dir)
            base_name = os.path.abspath(base_name)
            if not dry_run:
                os.chdir(root_dir)
    
        if base_dir is None:
            base_dir = os.curdir
    
        kwargs = {'dry_run': dry_run, 'logger': logger}
    
        try:
            format_info = _ARCHIVE_FORMATS[format]
        except KeyError:
            raise ValueError, "unknown archive format '%s'" % format
    
        func = format_info[0]
        for arg, val in format_info[1]:
            kwargs[arg] = val
    
        if format != 'zip':
            kwargs['owner'] = owner
            kwargs['group'] = group
    
        try:
            filename = func(base_name, base_dir, **kwargs)
        finally:
            if root_dir is not None:
                if logger is not None:
                    logger.debug("changing back to '%s'", save_cwd)
                os.chdir(save_cwd)
    
        return filename

方法操作:

#将/tmp/ptest/dir2用gztar进行压缩,文件名为aaa
    shutil.make_archive('/tmp/ptest/aaa','gztar',root_dir='/tmp/ptest/dir2')

如果要压缩的目录中的文件为空,则不会压缩

##### unpack\_archive() #####

unpack\_archive(filename,extra\_dir,format)解压缩文件

filename：要解压缩的文件名

extra\_dir：解压的路径

format：解压缩的文件的文件格式 "zip", "tar", "bztar"    or "gztar".

# 将/tmp/ptest/aaa.tar.gz解压缩的/tmp/ptest下
    shutil.unpack_archive('/tmp/ptest/aaa.tar.gz','/tmp/ptest/','gztar')

##### disk\_usage #####

disk\_usage(path) python3.x才有的新功能。返回指定磁盘的使用情况，包括：total, used, free.  支持：unix，windows

print(shutil.disk_usage(("d:/")))
    #result:
    usage(total=209715195904, used=14263074816, free=195452121088)

##### chown() #####

chown(path,user,group) 给指定的path路径修改所属用户和组,类似于chown path user:gropu 。python3.x中的新功能,仅支持 unix

shutil.chown('/tmp/ptest/dir1.tar.gz',user='root',group='root')
    #执行前：
    -rw-rw-r-- 1 tibco tibco 258 Feb  1 15:09 dir1.tar.gz
    # 执行后
    -rw-rw-r-- 1 root root 258 Feb  1 15:09 dir1.tar.gz

更多功能：https://docs.python.org/3/library/shutil.html?highlight=shutil\#module-shutil

[Image 1]: