cinder 服务启动与请求流程源码分析

深藏阁楼爱情的钟 2021-11-13 14:50 520阅读 0赞

文章以ocata版本进行分析

cinder   api 的创建和启动，和 nova   api 类似，都是通过在 api-paste.ini 中定义 app ，然后将 app 加载之后，启动 wsgi 服务

![1396231-20190613113347415-65781256.png][]

走 keystone 验证的 cinder 服务，最后走 apiv3

![1396231-20190613113417063-1778174564.png][]

由此， cinder   api 的入口就找到了。

api 请求的 router ，指定了 cinder/api/v3/volumes.py:VolumeController   作为实现 volume 增删改查的控制器。其中包括了 create /delete/get 等方法。

以 create 方法举例，先取出 request 的 body 数据，然后对 body 中的数据进行验证，重组，然后调用 volume\_api

![1396231-20190613113509978-1940223860.png][]

这里的 volume\_api 指的是 cinder/volume/api.py:create   方法还是针对数据进行进一步格式化，然后使用 taskflow ，完成复杂的 volume 的创建。这个taskflow工具的大致工作方式是，创建一个 flow ，然后再 flow 中添加task ，每一个 task 要实现一个 execute 方法，作为执行函数，然后按步骤执行 task ，每一个 task 必须在前一个 task 成功执行的前提下才能执行，并支持回滚，需要继承指定类，重写 execute 执行方法和 revert 回滚方法。

这里的 api\_flow 使用了 linear\_flow ，也就是线形顺序依次执行，回滚也是按照倒叙依次回滚， revert 回滚方法会接收到 execute 方法执行的结果作为参数，以便进行相应的回滚操作。

![1396231-20190613113625923-1578224651.png][]

首先第一个 task 是： ExtractVolumeRequestTask

这个 task 主要是完成对数据的检查，权限的验证等等，最后返回的还是创建参数 dict ：

![1396231-20190613113648835-520759081.png][]

然后进入下一个 task ： QuotareserveTask 。

这个 task 主要是对 quota （配额）进行预展，保证创建的资源不会超过 quota 配额。

查看这个 task 下的 execute 方法：

![1396231-20190613113715408-1614158666.png][]

先调用 QUOTAS 模块（ cinder/quotas.py ）的 limit\_check   检查 values 参数中的 quota 是否满足条件，这里可以看到检查的是 per\_volume\_gigabytes 。这个 quota 的含义是每一个 volume 的最大容量上限。其他的 quota 项可以通过 cinder 命令查看：

![1396231-20190613113738664-78028603.png][]

通过 quota 验证之后，再进行预占资源：

![1396231-20190613113802747-392141378.png][]

还是调用 QUOTAS 模块中的方法，这里预占的资源是， volume ： 1 指占用 volume 一个， gigabytes ： size 指占用资源 size 。

QUOTAS.reserve 方法将要预占的资源项目写入到数据库中，对应的相关数据可以查看 mysql cinder 库中的 reservations 表：

![1396231-20190613113833534-1765293423.png][]

这里的数据表示了每一次的资源预占情况，之后 满足条件的情况下 ，则预占资源会更新到实际的 quota\_usages 表中（下图），然后将 reservations 中的数据逻辑删除（上图： deleted=1 ）

![1396231-20190613113859367-762349227.png][]

回到 task 中。

预占资源成功之后会返回对应的数据结果 :

![1396231-20190613113930848-1258204161.png][]

如果失败，会调用 revert 方法：

![1396231-20190613113956823-447927826.png][]

可以看到这里会获取 reservations ，然后做 quota 的 rollback 。其他的 task 也是类似，不再赘述。

进入下一个 task:EntryCreateTask:

这个 task 的任务是生成 volume 对象，然后写入数据库：

![1396231-20190613114024855-782264884.png][]

再下一个 task 是： QuotaCommitTask ：这个 task 将占用的 quota （ reservations ）   更新到   正式的 quota 表中：

![1396231-20190613114047661-313601903.png][]

这时，数据验证和数据库方面的工作就完成了，接下来的工作就是下发创建 volume 的实际任务给 cinder   volume ：

![1396231-20190613114113910-1484164875.png][]

可以看到后续的 VolumeCastTask 包括 scheduler 和 volume ，一个是调度，一个是创建。

这个 task 的 execute 方法：

![1396231-20190613114136802-1910077879.png][]

继续调用 cast\_create\_volume 方法：

![1396231-20190613114201386-1210763467.png][]

这块根据传参决定是由 cinder   scheduler 调度选择节点创建 volume   还是   指定 host 创建。

这里按照普通的步骤，从 scheduler 调度开始往下跟踪，因为最终还是会调用 volume\_rpcapi.create\_volume 的。

进入 cinder/scheduler/rpcapi.py ： create\_volume ：

![1396231-20190613114236328-1334827449.png][]

这里先创建一个 worker ，用来记录工作的开始。

然后向 scheduler 发送消息： create\_volume

接收这个消息的是 cinder/scheduler/manager.py:create\_volume:

![1396231-20190613114305043-1810534980.png][]

这里有个装饰器，对应上面的 worker 。

方法调用了 create\_volume.get\_flow 方法，这个方法也是一个 taskflow 实现的工作流：

这个方法是 cinder   scheduler 的工作流实现：

![1396231-20190613114329466-1517836941.png][]

这个 flow 也是一个线性 flow ： linear   flow ，里面添加了两个 task:ExtractSchedulerSpecTask   和 SchedulerCreateVolumeTask

ExtractSchedulerSpecTask ：   整合 volume 的数据

具体细看下面的 task

SchedulerCreateVolumeTask ：调用对应 driver ，进行创建 volume 的动作。

![1396231-20190613114357794-593865817.png][]

execute 方法，直接调用了 driver 的 scheduler\_create\_volume 方法：

这里的 self.driver\_api 是在 schedulerManager 的 init 方法中初始化的

![1396231-20190613114422069-104741322.png][]

默认配置使用的是： cinder.scheduler.filter\_scheduler.FilterScheduler

![1396231-20190613114446313-426992892.png][]

先调用 scheduler 方法，选择一个调度创建的存储后端 backend ，然后将这个后端信息更新到 volume 的数据库对象中，

这里有一步 post   select   populate   filter   properties ，好像是将此次调度到的存储节点保存，以确保当此次失败之后，重试操作不会再一次调度到这个节点上。

最后使用 rpc 发送创建消息，这里的 volume\_rpcapi 是 cinder   volume 的 rpc   client ，这个 client 负责向 cinder   volume 服务发送 create\_volume 的消息，接受并处理此消息

的是 cinder/volume/manager.py ： create\_volume 。跟踪此方法，还是使用了 taskflow 实现的

![1396231-20190613114615417-1375896398.png][]

这个 flow 里添加的 task 包括

![1396231-20190613114637773-1104238514.png][]

ExtractVolumeRefTask ：刷新数据库 volume 的数据

OnFailureRescheduleTask:   主要是 task 失败 revert 的相关处理

ExtractVolumeSpecTask: 针对创建的参数进行数据重组，例如从 snapshot 创建， clone 等

NotifyVolumeActionTask: 想对应的 host 发送 create.start   的 notifier

CreateVolumeFromSpecTask: 根据对应的 create\_type ，调用对应的方法，比如：创建 raw 类型的 volume ，会调用对应 driver 的创建方法：

![1396231-20190613114701966-710911619.png][]

CreateVolumeOnFinishTask: 这一步根据上一步的创建结果，更新数据库的 volume 状态

![1396231-20190613114724921-1140517589.png][]

接下来深入到 driver 的创建方法中：

以 lvm 为例， lvm 的 driver 为例。

在 cinder/volume/manager.py   : VolumeManager   中，初始化了

![1396231-20190613114754044-2003627355.png][]

跟踪代码到 LVMVolumeDriver 下的 create\_volume 中：

![1396231-20190613114823300-321471984.png][]

这里使用了 self.vg, 这个 vg 是在哪里初始化的呢？

回到最初的 cinder   service 的启动代码里： cinder/service.py

![1396231-20190613114848521-440592449.png][]

这里有个 self.manager.init\_host 调用，这个 manager 也就是上面的 VolumeManager ，这里调用了 init\_host 方法，那 VolumeManager 的 init\_host 有哪些内容？

![1396231-20190613115013188-843816599.png][]

可以看到调用了 driver 的 check\_for\_setup\_error()

这个方法的实现，在对应的 lvm   driver 中：

![1396231-20190613115051481-743459709.png][]

在这里初始化了 self.vg 。

所以这个 self.vg 就跟踪到了 cinder/brick/local\_dev/lvm.py 。

也就是说 cinder/volume/drivers/lvm.py 中的方法最终调用到 cinder/brick/local\_dev/lvm.py

当前分析的 create\_volume 如下：

![1396231-20190613115148339-121246299.png][]

可以看到调用了 lvcreate 命令，进行了最终的 volume 的创建

转载于:https://www.cnblogs.com/potato-chip/p/11015443.html

[1396231-20190613113347415-65781256.png]: /images/20211113/5974303f6d214641a5e6f6e6e59efdcc.png
[1396231-20190613113417063-1778174564.png]: /images/20211113/be23b84f25c547fd8865ddf742a2defe.png
[1396231-20190613113509978-1940223860.png]: /images/20211113/b5b247ec1fe542cfa43150dc166318e2.png
[1396231-20190613113625923-1578224651.png]: /images/20211113/099972e16b024a0e887d861c7f43832d.png
[1396231-20190613113648835-520759081.png]: /images/20211113/ee92110863d54de6b5877958065f2bc6.png
[1396231-20190613113715408-1614158666.png]: /images/20211113/7a88ad956c0d40dd9726be4a77ba8cd0.png
[1396231-20190613113738664-78028603.png]: /images/20211113/247571e7206846ae9b72f6c2dc3cf483.png
[1396231-20190613113802747-392141378.png]: /images/20211113/7321712c7e6f40ac959cabb8cd684b2c.png
[1396231-20190613113833534-1765293423.png]: /images/20211113/90eb06be45864eb8a4f9dd28e0ac9be8.png
[1396231-20190613113859367-762349227.png]: /images/20211113/c7a730138bbd4fefa56985fef3f5dc24.png
[1396231-20190613113930848-1258204161.png]: /images/20211113/a00ef87dc16e4b369f45b6d8ca4bf4ed.png
[1396231-20190613113956823-447927826.png]: /images/20211113/0666a9163dc046cda6ef11b4f4b51078.png
[1396231-20190613114024855-782264884.png]: /images/20211113/52169b7753de4910902e75da4d952821.png
[1396231-20190613114047661-313601903.png]: /images/20211113/f117a664de33417e881992091d6e287f.png
[1396231-20190613114113910-1484164875.png]: /images/20211113/d94960249b76484f9511c79a888a9741.png
[1396231-20190613114136802-1910077879.png]: /images/20211113/489e5837bfe44a17a240dc50701a4805.png
[1396231-20190613114201386-1210763467.png]: /images/20211113/a58983e3f9bf4cfd91a5f262e487acc2.png
[1396231-20190613114236328-1334827449.png]: /images/20211113/b7cce53668ff4757844b6469e18fa01c.png
[1396231-20190613114305043-1810534980.png]: /images/20211113/08de2d0527114397af09ad4be1ad16ae.png
[1396231-20190613114329466-1517836941.png]: /images/20211113/b10f9caeaa9240d8a1c53a302f9a86c8.png
[1396231-20190613114357794-593865817.png]: /images/20211113/d062e70149414d6d94edabc57edfbfce.png
[1396231-20190613114422069-104741322.png]: /images/20211113/8e8d5d2bcb21439f906802256128f761.png
[1396231-20190613114446313-426992892.png]: /images/20211113/161d6170999344cb8dee43ccf8f75d49.png
[1396231-20190613114615417-1375896398.png]: /images/20211113/ff6dff91734d424db0c146bbae56f938.png
[1396231-20190613114637773-1104238514.png]: /images/20211113/96c5d9c1f7ee4551af6f35eeac5b78f7.png
[1396231-20190613114701966-710911619.png]: /images/20211113/7e216b4f617d4d30b315df7e6d1c0277.png
[1396231-20190613114724921-1140517589.png]: /images/20211113/895507fdcebc45b39c8d07d7ee1cc1e0.png
[1396231-20190613114754044-2003627355.png]: /images/20211113/d32696d39b744e269aaf5c856f888c2e.png
[1396231-20190613114823300-321471984.png]: /images/20211113/a5033337ac12445abbf3c17091a26ee0.png
[1396231-20190613114848521-440592449.png]: /images/20211113/068a43c4d1f64ffebd00b0361d1b88a3.png
[1396231-20190613115013188-843816599.png]: /images/20211113/bb3ef359eb66422488c67d724bdca838.png
[1396231-20190613115051481-743459709.png]: /images/20211113/6c6aff5f770941b9bb7b860a75e54ad4.png
[1396231-20190613115148339-121246299.png]: /images/20211113/869a3d1338f1452fa5d9ebea7c63695b.png