Nsight Compute与nvprof metrics 对照

深藏阁楼爱情的钟 2022-12-20 12:42 272阅读 0赞

NVIDIA 计算能力7.5及以上的GPU设备不再支持nvprof工具进行性能剖析，提示使用Nsight Compute作为替代品，如下图所示。  
![在这里插入图片描述][20201112145012210.png_pic_center]  
Nsight Compute Cli（命令行）性能剖析的参数与nvprof不一样，当输入nvprof的参数抓取数据时，因为参数不识别，无法抓取希望得到的指标，如下图所示，因为输入nvprof的性能参数，无法识别，因此没有抓到有用信息；同时，Nsight Compute Cli性能参数成千上万，虽然可以将这些参数全部抓取，但是会对使用者筛选关注信息带来很大的麻烦。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjMxNDE1_size_16_color_FFFFFF_t_70_pic_center]  
因此，非常有必要找到两款工具性能参数之间的对应关系。这里记录命令行使用Nsight Compute Cli的方法以及两个工具常用参数之间的对应关系，方便查阅与工具间使用的过度。

### Nsight Compute Cli上手说明 ###

以执行可执行文件剖析性能为例，Linux系统上 Nsight Compute Cli使用格式为

ncu --metrics param  target

说明：param为要抓取参数，target为可执行文件。程序执行后会在终端输出抓取的信息，参考如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjMxNDE1_size_16_color_FFFFFF_t_70_pic_center 1]  
这里输入了正确的参数，可以看到核函数加载全局内存的吞吐量为46.13 GB/s.

### Nsight Compute 与nvprof 参数映射 ###

这里只整理了 SM占用率，全局内存，共享内存 三个方面常用参数对照关系，更多参数对照可以参考官方提供的CUDA手册《NSIGHT COMPUTE COMMAND LINE INTERFACE》。

**SM占用率**

<table> 
 <thead> 
  <tr> 
   <th>nvprof</th> 
   <th>nsight compute cli</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>achieved_occupancy</td> 
   <td>sm__warps_active.avg.pct_of_peak_sustained_active</td> 
  </tr> 
 </tbody> 
</table>

**全局内存读写**

<table> 
 <thead> 
  <tr> 
   <th>nvprof</th> 
   <th>nsight compute cli</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>gld_throughput</td> 
   <td>l1tex__t_bytes_pipe_lsu_mem_global_op_ld.sum.per_second</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>gst_throughput</td> 
   <td>l1tex__t_bytes_pipe_lsu_mem_global_op_st.sum.per_second</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>gld_efficiency</td> 
   <td>smsp__sass_average_data_bytes_per_sector_mem_global_op_ld.pct (x)</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>gst_efficiency</td> 
   <td>smsp__sass_average_data_bytes_per_sector_mem_global_op_st.pct(x)</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>gld_transactions</td> 
   <td>l1tex__t_sectors_pipe_lsu_mem_global_op_ld.sum</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>gst_transactions</td> 
   <td>l1tex__t_sectors_pipe_lsu_mem_global_op_st.sum</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>gld_transactions_per_request</td> 
   <td>l1tex__average_t_sectors_per_request_pipe_lsu_mem_global_op_ld.ratio(x)</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>gst_transactions_per_request</td> 
   <td>l1tex__average_t_sectors_per_request_pipe_lsu_mem_global_op_st.ratio(x)</td> 
  </tr> 
 </tbody> 
</table>

**共享内存读写**

<table> 
 <thead> 
  <tr> 
   <th>nvprof</th> 
   <th>nsight compute cli</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>shared_efficiency</td> 
   <td>smsp__sass_average_data_bytes_per_wavefront_mem_shared.pct(x)</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>shared_load_throughput</td> 
   <td>l1tex__data_pipe_lsu_wavefronts_mem_shared_op_ld.sum.per_second</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>shared_load_transactions</td> 
   <td>l1tex__data_pipe_lsu_wavefronts_mem_shared_op_ld.sum.per_second</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>shared_load_transactions_per_request</td> 
   <td>n/a</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>shared_store_throughput</td> 
   <td>l1tex__data_pipe_lsu_wavefronts_mem_shared_op_st.sum.per_second</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>shared_store_transactions</td> 
   <td>l1tex__data_pipe_lsu_wavefronts_mem_shared_op_st.sum.per_second</td> 
  </tr> 
  <tr> 
   <td>–</td> 
   <td>–</td> 
  </tr> 
  <tr> 
   <td>shared_store_transactions_per_request</td> 
   <td>n/a</td> 
  </tr> 
 </tbody> 
</table>

[20201112145012210.png_pic_center]: /images/20221120/a2346f7453f84de691718fecfd9fc75c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjMxNDE1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/64adeef1f5634dbf95133df1ac2322f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbjMxNDE1_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221120/602fe1a2a75d4d1197fb4033f48c5be4.png