07.计算Nova→2.nova组件详解→2.nova-scheduler

àì夳堔傛蜴生んèń 2021-11-04 12:28 492阅读 0赞

# [返回总目录][Link 1] #

1.  创建 Instance 时，用户会提出资源需求，例如 CPU、内存、磁盘各需要多少。OpenStack 将这些需求定义在 flavor 实例类型中，用户只需要指定用哪个 flavor 就可以了。
2.  可用的 flavor 在 Admin->Compute->Flavors 中管理

<table style="font-size:1em;border-collapse:collapse;"> 
 <thead> 
  <tr> 
   <th align="left" style="border-bottom:2px solid #00B3FF;">描述</th> 
   <th align="left" style="border-bottom:2px solid #00B3FF;">详细</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <ol> 
     <li>在 /etc/nova/nova.conf 中，nova 通过 scheduler_driver，scheduler_available_filters 和 scheduler_default_filters 这三个参数来配置 nova-scheduler。</li> 
    </ol></td> 
   <td style="border-bottom:1px solid #B0B0B0;"><br></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <ol> 
     <li>scheduler_driver 
      <ol> 
       <li>Filter scheduler 是 nova-scheduler 默认的调度器，调度过程分为两步 
        <ol> 
         <li>通过过滤器（filter）选择满足条件的计算节点（运行 nova-compute）</li> 
         <li>通过权重计算（weighting）选择在最优（权重值最大）的计算节点上创建 Instance<br> 
          <table> 
           <tbody> 
            <tr> 
             <td> 
              <div> 
               <pre style="line-height:16px;">1</pre> 
              </div></td> 
             <td> 
              <div> 
               <pre style="line-height:16px;"><span style="color:rgb(160,160,0);">scheduler_driver</span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">=nova.scheduler.filter_scheduler.FilterScheduler</span></pre> 
              </div></td> 
            </tr> 
           </tbody> 
          </table></li> 
        </ol></li> 
      </ol></li> 
    </ol></td> 
   <td style="border-bottom:1px solid #B0B0B0;"><br></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>Nova 允许使用第三方 scheduler，配置 scheduler_driver 即可。 
       <ol> 
        <li>Scheduler 可以使用多个 filter 依次进行过滤，过滤之后的节点再通过计算权重选出最适合的节点。</li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"><img src="http://zhaolei.xuexihaike.com/http://zhaolei.xuexihaike.com/pasteHTML-82742544957813.jpg" alt="pasteHTML-82742544957813.jpg"><br><font>上图是调度过程的一个示例：<br>1.最开始有 6 个计算节点 Host1-Host6<br>2.通过多个 filter 层层过滤，Host2 和 Host4 没有通过，被刷掉了3.Host1，Host3，Host5，Host6 计算权重，结果 Host5 得分最高，最终入选</font></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <ol> 
     <li>scheduler_available_filters 
      <ol> 
       <li>当 Filter scheduler 需要执行调度操作时，会让 filter 对计算节点进行判断，filter 返回 True 或 False</li> 
       <li>Nova.conf 中的 scheduler_available_filters 选项用于配置 scheduler 可用的 filter，默认是所有 nova 自带的 filter 都可以用于过滤操作 
        <table> 
         <tbody> 
          <tr> 
           <td> 
            <div> 
             <pre style="line-height:16px;">1</pre> 
            </div></td> 
           <td> 
            <div> 
             <pre style="line-height:16px;"><span style="color:rgb(160,160,0);">scheduler_available_filters</span><span style="color:rgb(187,187,187);"> </span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">=</span><span style="color:rgb(187,187,187);"> </span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">nova.scheduler.filters.all_filters</span></pre> 
            </div></td> 
          </tr> 
         </tbody> 
        </table></li> 
      </ol></li> 
    </ol></td> 
   <td style="border-bottom:1px solid #B0B0B0;"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <ol> 
     <li>scheduler_default_filters 
      <ol> 
       <li>用于指定 scheduler 真正使用的 filter 
        <table> 
         <tbody> 
          <tr> 
           <td> 
            <div> 
             <pre style="line-height:16px;">1
2
3</pre> 
            </div></td> 
           <td> 
            <div> 
             <pre style="line-height:16px;"><span style="color:rgb(160,160,0);">scheduler_default_filters</span><span style="color:rgb(187,187,187);"> </span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">=</span><span style="color:rgb(187,187,187);"> </span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">RetryFilter</span>,<span style="color:rgb(187,187,187);"> </span><span style="color:rgb(160,160,0);">AvailabilityZoneFilter</span>,<span style="color:rgb(187,187,187);"> </span><span style="color:rgb(160,160,0);">RamFilter</span>,<span style="color:rgb(187,187,187);"> </span>
<span style="color:rgb(160,160,0);">DiskFilter</span>,<span style="color:rgb(187,187,187);"> </span><span style="color:rgb(160,160,0);">ComputeFilter</span>,<span style="color:rgb(187,187,187);"> </span><span style="color:rgb(160,160,0);">ComputeCapabilitiesFilter</span>,<span style="color:rgb(187,187,187);"> </span><span style="color:rgb(160,160,0);">ImagePropertiesFilter</span>,<span style="color:rgb(187,187,187);"> </span>
<span style="color:rgb(160,160,0);">ServerGroupAntiAffinityFilter</span>,<span style="color:rgb(187,187,187);"> </span><span style="color:rgb(160,160,0);">ServerGroupAffinityFilter</span></pre> 
            </div></td> 
          </tr> 
         </tbody> 
        </table></li> 
      </ol></li> 
    </ol> 
    <div></div></td> 
   <td style="border-bottom:1px solid #B0B0B0;"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>RetryFilter 
       <ol> 
        <li>作用是刷掉之前已经调度过的节点</li> 
        <li>举个例子： 假设 A,B,C 三个节点都通过了过滤，最终 A 因为权重值最大被选中执行操作。 但由于某个原因，操作在 A 上失败了。 默认情况下，nova-scheduler 会重新执行过滤操作（重复次数由 scheduler_max_attempts 选项指定，默认是 3）。 那么这时候 RetryFilter 就会将 A 直接刷掉，避免操作再次失败。 RetryFilter 通常作为第一个 filter。</li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>AvailabilityZoneFilter 
       <ol> 
        <li>为提高容灾性和提供隔离服务，可以将计算节点划分到不同的Availability Zone中。</li> 
        <li>创建 Instance 时，需要指定将 Instance 部署到在哪个 Availability Zone中。nova-scheduler 在做 filtering 时，会使用 AvailabilityZoneFilter 将不属于指定 Availability Zone 的计算节点过滤掉。</li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"><img src="http://zhaolei.xuexihaike.com/http://zhaolei.xuexihaike.com/paste-91414083928067.jpg" alt="paste-91414083928067.jpg"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>RamFilter 
       <ol> 
        <li>RamFilter 将不能满足 flavor 内存需求的计算节点过滤掉。</li> 
        <li>&nbsp;为了提高系统的资源使用率，OpenStack 在计算节点可用内存时允许 overcommit，也就是可以超过实际内存大小。 超过的程度是通过 nova.conf 中 ram_allocation_ratio 这个参数来控制的，默认值为 1.5 
         <table> 
          <tbody> 
           <tr> 
            <td> 
             <div> 
              <pre style="line-height:16px;">1</pre> 
             </div></td> 
            <td> 
             <div> 
              <pre style="line-height:16px;"><span style="color:rgb(160,160,0);">ram_allocation_ratio</span><span style="color:rgb(187,187,187);"> </span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">=</span><span style="color:rgb(187,187,187);"> </span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">1.5</span></pre> 
             </div></td> 
           </tr> 
          </tbody> 
         </table>其含义是：如果计算节点的内存为 10GB，OpenStack 则会认为它有 15GB（10*1.5）内存。</li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>DiskFilter 
       <ol> 
        <li>DiskFilter 将不能满足 flavor 磁盘需求的计算节点过滤掉。</li> 
        <li>Disk 同样允许 overcommit，通过 nova.conf 中 disk_allocation_ratio 控制，默认值为 1 
         <table> 
          <tbody> 
           <tr> 
            <td> 
             <div> 
              <pre style="line-height:16px;">1</pre> 
             </div></td> 
            <td> 
             <div> 
              <pre style="line-height:16px;"><span style="color:rgb(160,160,0);">disk_allocation_ratio</span><span style="color:rgb(187,187,187);"> </span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">=</span><span style="color:rgb(187,187,187);"> </span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">1.0</span></pre> 
             </div></td> 
           </tr> 
          </tbody> 
         </table></li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>CoreFilter 
       <ol> 
        <li>CoreFilter 将不能满足 flavor vCPU 需求的计算节点过滤掉。</li> 
        <li>vCPU 同样允许 overcommit，通过 nova.conf 中 cpu_allocation_ratio 控制，默认值为 16 
         <table> 
          <tbody> 
           <tr> 
            <td> 
             <div> 
              <pre style="line-height:16px;">1</pre> 
             </div></td> 
            <td> 
             <div> 
              <pre style="line-height:16px;"><span style="color:rgb(160,160,0);">cpu_allocation_ratio</span><span style="color:rgb(187,187,187);"> </span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">=</span><span style="color:rgb(187,187,187);"> </span><span style="border-top-width:1px;border-right-width:1px;border-bottom-width:1px;border-left-width:1px;border-top-style:solid;border-right-style:solid;border-bottom-style:solid;border-left-style:solid;border-top-color:rgb(255,0,0);border-right-color:rgb(255,0,0);border-bottom-color:rgb(255,0,0);border-left-color:rgb(255,0,0);">16.0</span></pre> 
             </div></td> 
           </tr> 
          </tbody> 
         </table>这意味着一个 8 vCPU 的计算节点，nova-scheduler 在调度时认为它有 128 个 vCPU。 需要提醒的是： nova-scheduler 默认使用的 filter 并没有包含 CoreFilter。 如果要用，可以将 CoreFilter 添加到 nova.conf 的 scheduler_default_filters 配置选项中。</li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>ComputeFilter 
       <ol> 
        <li>ComputeFilter 保证只有 nova-compute 服务正常工作的计算节点才能够被 nova-scheduler调度。ComputeFilter 显然是必选的 filter。</li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>ComputeCapabilitiesFilter 
       <ol> 
        <li>ComputeCapabilitiesFilter 根据计算节点的特性来筛选。例如我们的节点有 x86_64 和 ARM 架构的，如果想将 Instance 指定部署到 x86_64 架构的节点上，就可以利用 ComputeCapabilitiesFilter。</li> 
        <li>&nbsp;flavor 中有个 Metadata ，Compute 的 Capabilities就在 Metadata中指定。 
         <ol> 
          <li>点击update Metadata，“Compute Host Capabilities” 列出了所有可设置 Capabilities<img src="http://zhaolei.xuexihaike.com/http://zhaolei.xuexihaike.com/paste-108138686578691.jpg" alt="paste-108138686578691.jpg"></li> 
          <li>点击 “Architecture” 后面的 “+”，就可以在右边的列表中指定具体的架构<img src="http://zhaolei.xuexihaike.com/http://zhaolei.xuexihaike.com/paste-108233175859203.jpg" alt="paste-108233175859203.jpg"></li> 
          <li>配置好后，ComputeCapabilitiesFilter 在调度时只会筛选出 x86_64 的节点。 如果没有设置 Metadata，ComputeCapabilitiesFilter 不会起作用，所有节点都会通过筛选。</li> 
         </ol></li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"><img src="http://zhaolei.xuexihaike.com/http://zhaolei.xuexihaike.com/paste-107395657236483.jpg" alt="paste-107395657236483.jpg"><br>当配置了metadata后<br><img src="http://zhaolei.xuexihaike.com/http://zhaolei.xuexihaike.com/paste-108598248079363.jpg" alt="paste-108598248079363.jpg"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>ImagePropertiesFilter 
       <ol> 
        <li>ImagePropertiesFilter 根据所选 image 的属性来筛选匹配的计算节点。 跟 flavor 类似，image 也有 metadata，用于指定其属性。</li> 
        <li>例如<font><b>希望某个 image 只能运行在 kvm 的 hypervisor 上</b></font>，可以通过 “Hypervisor Type” 属性来指定<img src="http://zhaolei.xuexihaike.com/http://zhaolei.xuexihaike.com/paste-110011292319747.jpg" alt="paste-110011292319747.jpg"></li> 
        <li>点击 “+”，然后在右边的列表中选择 “kvm”。<img src="http://zhaolei.xuexihaike.com/http://zhaolei.xuexihaike.com/paste-110049947025411.jpg" alt="paste-110049947025411.jpg"></li> 
        <li>配置好后，ImagePropertiesFilter 在调度时只会筛选出 kvm 的节点。 如果没有设置 Image 的Metadata，ImagePropertiesFilter 不会起作用，所有节点都会通过筛选。</li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"><img src="http://zhaolei.xuexihaike.com/http://zhaolei.xuexihaike.com/paste-109083579383811.jpg" alt="paste-109083579383811.jpg"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>ServerGroupAntiAffinityFilter <font>这里可以进行设置，但我没成功???</font> 
       <ol> 
        <li>可以尽量将 instance 分散部署到不同的节点上。</li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <blockquote style="border:none;"> 
     <ol> 
      <li>ServerGroupAffinityFilter 
       <ol> 
        <li>与 ServerGroupAntiAffinityFilter 的作用相反，ServerGroupAffinityFilter 会尽量将 instance 部署到同一个计算节点上。</li> 
       </ol></li> 
     </ol> 
    </blockquote></td> 
   <td style="border-bottom:1px solid #B0B0B0;"></td> 
  </tr> 
  <tr> 
   <td style="border-bottom:1px solid #B0B0B0;"> 
    <ol> 
     <li>Weight 
      <ol> 
       <li>nova-scheduler 选出了能够部署 instance 的计算节点。如果有多个计算节点通过了过滤，那么最终选择哪个节点呢？</li> 
       <li>Scheduler 会对每个计算节点打分，得分最高的获胜。 打分的过程就是 weight，翻译过来就是计算权重值，那么 scheduler 是根据什么来计算权重值呢？</li> 
       <li>目前 nova-scheduler 的默认实现是根据计算节点空闲的内存量计算权重值： 空闲内存越多，权重越大，instance 将被部署到当前空闲内存最多的计算节点上。</li> 
      </ol></li> 
    </ol></td> 
   <td style="border-bottom:1px solid #B0B0B0;"><br></td> 
  </tr> 
 </tbody> 
</table>

转载于:https://www.cnblogs.com/LeisureZhao/p/11238585.html

[Link 1]: https://www.cnblogs.com/LeisureZhao/p/11181452.html