pytest学习和使用-pytest如何进行分布式测试？（pytest-xdist）

布满荆棘的人生 2023-10-12 18:02 65阅读 0赞

### 1 什么是分布式测试？ ###

*  在进行本文之前，先了解些基础知识，什么是分布式测试？
 *  分布式测试：是指通过局域网和Internet，把分布于不同地点、独立完成特定功能的测试计算机连接起来，以达到测试资源共享、分散操作、集中管理、协同工作、负载均衡、测试过程监控等目的的计算机网络测试。
 *  通俗的讲：分布式测试 就是活太多，一个人干费时间，那就让多个人一起干，节省了资源和时间。

### 2 为什么要进行分布式测试？ ###

#### 2.1 场景1：自动化测试场景 ####

*  自动化测试时，我们有很多用例，比如2000条用例，按照顺序执行，每条用例执行1分钟，那需要2000分钟；
 *  什么概念？2000分钟就30多个小时，如果是冒烟测试，估计还没人工跑的快；
 *  还有，如果是线上发布，跑完2000条用例就太浪费时间了；
 *  那如果我们让我们让用例分布式执行，是不是可以节省很多时间？

#### 2.2 场景2：性能测试场景 ####

*  如果数据量很大，我们使用1台压测机，可能并发压力过大；
 *  那就需要选择使用多台压测机（比如Jmeter的 Agent/负载机）；
 *  这样也是一种分布式压测或者分布式性能测试场景。

> 所以总结来说，其实就是为了提升效率和质量。

### 3 分布式测试有什么特点？ ###

<table> 
 <thead> 
  <tr> 
   <th>特点</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>网格化</td> 
   <td>多节点互联互通，可资源共享</td> 
  </tr> 
  <tr> 
   <td>分布性</td> 
   <td>地域和计算机上，协同工作、负载均衡、可扩展性、高可用性</td> 
  </tr> 
  <tr> 
   <td>开放性</td> 
   <td>可移植性、可互操作性、可伸缩性、易获得性</td> 
  </tr> 
  <tr> 
   <td>实时性</td> 
   <td>各种信息都必须是实时的</td> 
  </tr> 
  <tr> 
   <td>动态性</td> 
   <td>测试过程对象和活动动态映射</td> 
  </tr> 
  <tr> 
   <td>处理不确定性</td> 
   <td>具有处理不确定性的能力</td> 
  </tr> 
  <tr> 
   <td>容错及安全性</td> 
   <td>容错能力强，可靠性高、安全性好</td> 
  </tr> 
 </tbody> 
</table>

### 4 分布式测试关键技术是什么？ ###

<table> 
 <thead> 
  <tr> 
   <th>技术点</th> 
   <th>要求</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>分布式环境</td> 
   <td>获取全局状态，能够方便地监视和操纵测试过程；集中式的分布式策略。</td> 
  </tr> 
  <tr> 
   <td>分布式环境下的节点通信</td> 
   <td>稳定的通信环境；适合用基于消息通信的方式来实现。</td> 
  </tr> 
  <tr> 
   <td>测试任务调度</td> 
   <td>静态调度、动态调度和混合调度。</td> 
  </tr> 
 </tbody> 
</table>

### 5 分布式执行用例的前置条件是什么？ ###

*  用例之间是独立且没有依赖关系，完全独立运行；
 *  用例执行没有顺序，随机顺序都能正常执行；
 *  每个用例都能重复运行，运行结果不会影响其他用例。

### 6 pytest-xdist安装 ###

*  `pytest-xdist`让自动化测试用例分布式执行，节省测试时间，属于进程级别的并发；
 *  使用以下方法安装：

pip3 install pytest-xdist

C:\Users\Administrator>pip3 install pytest-xdist
    Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
    Requirement already satisfied: pytest-xdist in d:\python37\lib\site-packages (1.31.0)
    Requirement already satisfied: six in d:\python37\lib\site-packages (from pytest-xdist) (1.15.0)
    Requirement already satisfied: execnet>=1.1in d:\python37\lib\site-packages (from pytest-xdist) (1.8.0)
    Requirement already satisfied: pytest>=4.4.0in d:\python37\lib\site-packages (from pytest-xdist) (6.2.4)
    Requirement already satisfied: pytest-forked in d:\python37\lib\site-packages (from pytest-xdist) (1.1.3)
    Requirement already satisfied: apipkg>=1.4in d:\python37\lib\site-packages (from execnet>=1.1->pytest-xdist) (1.5)
    Requirement already satisfied: toml in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (0.10.2)
    Requirement already satisfied: attrs>=19.2.0in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (20.3.0)
    Requirement already satisfied: colorama in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (0.4.4)
    Requirement already satisfied: atomicwrites>=1.0in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (1.4.0)
    Requirement already satisfied: pluggy<1.0.0a1,>=0.12in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (0.13.1)
    Requirement already satisfied: py>=1.8.2in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (1.10.0)
    Requirement already satisfied: importlib-metadata>=0.12in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (2.1.1)
    Requirement already satisfied: packaging in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (20.8)
    Requirement already satisfied: iniconfig in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (1.1.1)
    Requirement already satisfied: zipp>=0.5in d:\python37\lib\site-packages (from importlib-metadata>=0.12->pytest>=4.4.0->pytest-xdist) (1.2.0)
    Requirement already satisfied: pyparsing>=2.0.2in d:\python37\lib\site-packages (from packaging->pytest>=4.4.0->pytest-xdist) (2.4.7)

### 7 pytest-xdist的优势 ###

*  测试运行并行化；
 *  在子进程中重复运行测试；
 *  可指定不同的Python解释程序或不同的平台，并行运行测试。

### 8 pytest-xdist的使用 ###

#### 8.1 普通执行 ####

import pytest
    import time
    
    class TestCase01():
        def test_case_01(self):
            time.sleep(1)
            print("case01$$$$$$$$$$$$$$$$$$$$$")
    
        def test_case_02(self):
            time.sleep(1)
            print("case02$$$$$$$$$$$$$$$$$$$$$")
    
        def test_case_03(self):
            time.sleep(1)
            print("case03$$$$$$$$$$$$$$$$$$$$$")
    
        def test_case_04(self):
            time.sleep(1)
            print("case04$$$$$$$$$$$$$$$$$$$$$")
    
        def test_case_05(self):
            time.sleep(1)
            print("case05$$$$$$$$$$$$$$$$$$$$$")
    
        def test_case_06(self):
            time.sleep(1)
            print("case06$$$$$$$$$$$$$$$$$$$$$")
    
    class TestCase02():
        def test_case_07(self):
            time.sleep(1)
            print("case07$$$$$$$$$$$$$$$$$$$$$")
    
        def test_case_08(self):
            time.sleep(1)
            print("case08$$$$$$$$$$$$$$$$$$$$$")
    
        def test_case_09(self):
            time.sleep(1)
            print("case08$$$$$$$$$$$$$$$$$$$$$")
    
    
    if __name__ == '__main__':
        pytest.main(["-s", "test_xdist.py"])

*  执行结果如下，使用了9.14s：

test_xdist.py::TestCase01::test_case_01 
    test_xdist.py::TestCase01::test_case_02 
    test_xdist.py::TestCase01::test_case_03 
    test_xdist.py::TestCase01::test_case_04 
    test_xdist.py::TestCase01::test_case_05 
    test_xdist.py::TestCase01::test_case_06 
    test_xdist.py::TestCase02::test_case_07 PASSED                           [ 11%]case01$$$$$$$$$$$$$$$$$$$$$
    PASSED                           [ 22%]case02$$$$$$$$$$$$$$$$$$$$$
    PASSED                           [ 33%]case03$$$$$$$$$$$$$$$$$$$$$
    PASSED                           [ 44%]case04$$$$$$$$$$$$$$$$$$$$$
    PASSED                           [ 55%]case05$$$$$$$$$$$$$$$$$$$$$
    PASSED                           [ 66%]case06$$$$$$$$$$$$$$$$$$$$$
    PASSED                           [ 77%]case07$$$$$$$$$$$$$$$$$$$$$
    
    test_xdist.py::TestCase02::test_case_08 PASSED                           [ 88%]case08$$$$$$$$$$$$$$$$$$$$$
    
    test_xdist.py::TestCase02::test_case_09 PASSED                           [100%]case08$$$$$$$$$$$$$$$$$$$$$
    
    
    ============================== 9 passed in9.14s ==============================

#### 8.2 上述代码分布式执行： ####

*  执行命令：

pytest -s -n auto test_xdist.py

*  结果如下，用时4.51s，可见分布式执行后大大缩短了测试时间：

(venv) F:\pytest_study\test_case\test_j>pytest -s -n auto test_xdist.py
    ============================================ test session starts =============================================
    platform win32 -- Python 3.7.0, pytest-6.2.4, py-1.10.0, pluggy-0.13.1
    rootdir: F:\pytest_study, configfile: pytest.ini
    plugins: allure-pytest-2.8.12, assume-2.4.3, cov-2.8.1, forked-1.1.3, html-2.0.1, metadata-1.8.0, ordering-0.6,
     repeat-0.9.1, rerunfailures-10.3, xdist-1.31.0
    gw0 [9] / gw1 [9] / gw2 [9] / gw3 [9] / gw4 [9] / gw5 [9] / gw6 [9] / gw7 [9]
    .........
    ============================================= 9 passed in4.51s ==============================================

#### 8.3 指定CPU运行数量 ####

*  `-n auto`：可以自动检测到系统的`CPU`核数；
 *  使用`auto`利用了所有`CPU`来跑用例；
 *  也可以指定使用几个`CPU`来跑用例：

# x为cpu个数
    pytest -s -n x

*  如下可以看到使用两个`CPU`来跑用例时长为6.27s：

(venv) F:\pytest_study\test_case\test_j>pytest -s -n 2 test_xdist.py
    ============================================ test session starts =============================================
    platform win32 -- Python 3.7.0, pytest-6.2.4, py-1.10.0, pluggy-0.13.1
    rootdir: F:\pytest_study, configfile: pytest.ini
    plugins: allure-pytest-2.8.12, assume-2.4.3, cov-2.8.1, forked-1.1.3, html-2.0.1, metadata-1.8.0, ordering-0.6,
     repeat-0.9.1, rerunfailures-10.3, xdist-1.31.0
    gw0 [9] / gw1 [9]
    .........
    ============================================= 9 passed in6.27s ==============================================

#### 8.4 与pytest-html一起使用 ####

*  命令如下：

pytest -s -n auto --html=report.html --self-contained-html

*  运行结果：

pytest -s -n auto test_xdist.py --html=report.thml --self-contained-htm
    l

gw0 [9] / gw1 [9] / gw2 [9] / gw3 [9] / gw4 [9] / gw5 [9] / gw6 [9] / gw7 [9]
    .........
    ------------------ generated html file: file://F:\pytest_study\test_case\test_j\report.thml ------------------
    ============================================= 9 passed in4.68s ==============================================

![8e87e08663dc45e1abe4f08616e234f7.png][]

#### 8.5 让pytest-xdist按照指定顺序执行 ####

*  `pytest-xdist`执行默认是无须的；
 *  可通过 `--dist` 参数来控制顺序；

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>--dist=loadscope</code></td> 
   <td>同一个模块<code>module</code>下的函数和同一个测试类<code>class</code>下的方法来分组</td> 
  </tr> 
  <tr> 
   <td><code>--dist=loadfile</code></td> 
   <td>同一个文件名来分组</td> 
  </tr> 
 </tbody> 
</table>

#### 8.6 pytest-xdist如何保持session执行一次 ####

*  `pytest-xdist`没有内置的支持来确保会话范围的夹具仅执行一次；
 *  可使用`FileLock`方法仅仅产生一次`fixture`数据：

import pytest
    from filelock import FileLock
    
    
    @pytest.fixture(scope="session")
    def login():
        print("====登录===")
        with FileLock("session.lock"):
            name = "zhang"
            password= "123456"
            # web ui自动化
            # 声明一个driver，再返回
    
            # 接口自动化
            # 发起一个登录请求，将token返回都可以这样写
    
        yield name, password
        print("====退出====")

**最后：**下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取**【保证100%免费】**

![8b0171187dce405e878f274a8cdd9ec0.png][]

#### **软件测试面试文档** ####

我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

![a3e4226c935c4242804cbdf26b571bc6.png][]

#### 全部资料获取 ####

![20bfdbcca94a4ae5bf95ae05574cd876.gif][]

[8e87e08663dc45e1abe4f08616e234f7.png]: https://img-blog.csdnimg.cn/8e87e08663dc45e1abe4f08616e234f7.png
[8b0171187dce405e878f274a8cdd9ec0.png]: https://img-blog.csdnimg.cn/8b0171187dce405e878f274a8cdd9ec0.png
[a3e4226c935c4242804cbdf26b571bc6.png]: https://img-blog.csdnimg.cn/a3e4226c935c4242804cbdf26b571bc6.png
[20bfdbcca94a4ae5bf95ae05574cd876.gif]: https://img-blog.csdnimg.cn/20bfdbcca94a4ae5bf95ae05574cd876.gif