Python实现快速大文件比较代码解析

怼烎@ 2022-12-24 03:56 27阅读 0赞

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/

友情链接：[好看站][Link 2] http://www.nrso.net/

[高州阳光论坛][Link 3]https://www.hnthzk.com/

**问题**

假如，在有两个大文件分别存储了大量的数据，数据其实很简单就是一堆字符串，每行存储一条，如何快速筛选出两个文件的异同之处么，或者如何筛选出两个文件中不同的元素呢？

刚开始我是通过最简单的方法，利用for循环去一个个的判断，时间复杂度为m的n次幂，当然当文件数量级为十万或者百万时，速率简直慢到了极点。

**解决方法**

利用set()的different(方法)可快速比较，两个set集合的不同之处，也就是对集合进行数学运算

假设:数据1拥有858882条记录，数据2有360029条记录，快速挑选出数据2中而不存在与数据1中的数据

方法：先将两个文件中的数据读入两个list：data1和data2，然后通过：set(data2).difference(set(data1))，获取data2与data1的差集

下面为一个小的demo，可以看到近百万级的数据，比较出差集也就需要1秒左右，效率不是一般的高

import time
    t1 = time.time()
    data1 = []
    for i in open("inDB.txt","r",encoding="utf-8"):
      i = i.strip("\n")
      i = i.lower()
      data1.append(i)
    data2 = []
    for i in open("data/18年.filename","r",encoding="utf-8"):
      i = i.strip("\n")
      i = i.lower()
      data2.append(i)
    newdata = set(data2).difference(set(data1))
    t2 = time.time()

print(f"data1 length:\\t\{len(data1)\}")  
print(f"data2 length:\\t\{len(data2)\}")  
print(f"newdata length:\\t\{len(newdata)\}")  
print(f"time use:\\t\{round(t2 - t1,3)\}s")

![Image 1][]

**list最多可以存放多少条数据呢？**

python中list最多可以存放多少条数据呢？

对于这个问题，有个网友调研了python的文档，结果跟计算机的性能相关

> 64位机器：2^63-1=9223372036854775807  
> 32位机器：2^31-1=2147483647  
> import sys  
> print(sys.maxsize)  
> print(pow(2,63)-1)  
> 9223372036854775807  
> 9223372036854775807  
>

**集合set的操作**

<table> 
 <thead> 
  <tr> 
   <th>内置函数</th> 
   <th>作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>add()</td> 
   <td>为集合添加元素</td> 
  </tr> 
  <tr> 
   <td>clear()</td> 
   <td>移除集合中的所有元素</td> 
  </tr> 
  <tr> 
   <td>copy()</td> 
   <td>拷贝一个集合</td> 
  </tr> 
  <tr> 
   <td>difference()</td> 
   <td>返回多个集合的差集</td> 
  </tr> 
  <tr> 
   <td>difference_update()</td> 
   <td>移除集合中的元素，该元素在指定的集合也存在。</td> 
  </tr> 
  <tr> 
   <td>discard()</td> 
   <td>删除集合中指定的元素</td> 
  </tr> 
  <tr> 
   <td>intersection()</td> 
   <td>返回集合的交集</td> 
  </tr> 
  <tr> 
   <td>intersection_update()</td> 
   <td>返回集合的交集。</td> 
  </tr> 
  <tr> 
   <td>isdisjoint()</td> 
   <td>判断两个集合是否包含相同的元素，如果没有返回 True，否则返回 False。</td> 
  </tr> 
  <tr> 
   <td>issubset()</td> 
   <td>判断指定集合是否为该方法参数集合的子集。</td> 
  </tr> 
  <tr> 
   <td>issuperset()</td> 
   <td>判断该方法的参数集合是否为指定集合的子集</td> 
  </tr> 
  <tr> 
   <td>pop()</td> 
   <td>随机移除元素</td> 
  </tr> 
  <tr> 
   <td>remove()</td> 
   <td>移除指定元素</td> 
  </tr> 
  <tr> 
   <td>symmetric_difference()</td> 
   <td>返回两个集合中不重复的元素集合。</td> 
  </tr> 
  <tr> 
   <td>symmetric_difference_update()</td> 
   <td>移除当前集合中在另外一个指定集合相同的元素，并将另外一个指定集合中不同的元素插入到当前集合中。</td> 
  </tr> 
  <tr> 
   <td>union()</td> 
   <td>返回两个集合的并集</td> 
  </tr> 
  <tr> 
   <td>update()</td> 
   <td>给集合添加元素</td> 
  </tr> 
 </tbody> 
</table>

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持菜鸟教程www.piaodoo.com。

[Link 1]: https://www.piaodoo.com/
[Link 2]: http://www.nrso.net/
[Link 3]: https://www.hnthzk.com/
[Image 1]: