mongodb生产环境接口优化记录一：知否页面浏览排行/下载排行接口优化（$lookup）

╰+攻爆jí腚メ 2023-10-01 08:10 6阅读 0赞

### 生产环境mongodb接口优化：$lookup 接口50s优化到1s ###

方法很简单，主要是记录解决的过程  
接口功能是文件表关联查询点击记录表，查询文件浏览和下载排行榜

#### 解决过程 ####

*  现状  
    两个排行榜接口开发环境每个要花费29秒，生产环境数据多要50秒  
    数据：  
    开发环境主表  
    ![在这里插入图片描述][b12a141be9ba4863b165ca4b359201cb.png]  
    开发环境从表  
    ![在这里插入图片描述][ce7a2df10c0643ed9ded12e927b393cf.png]  
    1.1. 开发环境耗时![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U_size_20_color_FFFFFF_t_70_g_se_x_16]  
    1.2. 生产环境耗时![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U_size_20_color_FFFFFF_t_70_g_se_x_16 1]
 *  分析各段代码时间消耗，发现查询消耗了接口全部时间
 *  修改日志和配置，查看SQL
 *  调试代码还原SQL，发现查询的$lookup操作符，放在了第一行执行  
    ![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U_size_20_color_FFFFFF_t_70_g_se_x_16 2]
 *  修改 l o o k u p 在 主 表 lookup在主表 lookup在主表match之后，从表$match之前
 *  测试时间在一秒内  
    ![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U_size_20_color_FFFFFF_t_70_g_se_x_16 3]

#### **总结** ####

*  应该直接开日志，看打印的SQL，debug代码还原SQL写的慢，而且顺序还和执行的顺序不一样
 *  关联查询应该先过滤主表条件再关联，写代码需要有性能意识

[b12a141be9ba4863b165ca4b359201cb.png]: https://img-blog.csdnimg.cn/b12a141be9ba4863b165ca4b359201cb.png
[ce7a2df10c0643ed9ded12e927b393cf.png]: https://img-blog.csdnimg.cn/ce7a2df10c0643ed9ded12e927b393cf.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/c89b0d3abb1f482cae731ce626f834e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/e4d10fb18d0941f8835cc72655b0cd16.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/3f2587fe01284d08b9b68c522e759b42.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/7e3e1fe17b7a4ccdb5f944c479caa089.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5YaN5Yqq5Yqbd3U=,size_20,color_FFFFFF,t_70,g_se,x_16