开源公告｜C++分布式编译系统yadcc开源了

朴灿烈づ我的快乐病毒、 2022-10-05 11:54 342阅读 0赞

框架介绍

**yadcc是广泛投产于腾讯广告后台的C++分布式编译系统。**

我们在调研学习了业界的ccache、sccache、distcc、icecc等开源的编译加速系统之后，根据我们实际的工业生产场景，设计了这样一套系统。

**目前我们实际生产环境：**

\- 有~1700编译核心；

\- 使用512并发编译（实际并发度取决于本地预处理能力，32逻辑核以上可达到512并发）；

\- 每天编译产出（含命中分布式缓存）300,0000+个目标文件；

\- 每天编译产出总计约3~5TB。

本着回馈社区的目的，我们现将这套分布式编译系统对外开源。

基本原理

与ccache、sccache、distcc、icecc等类似，可通过创建名为g++等的符号链接至yadcc的客户端，并将之加入PATH，来截获编译器调用。之后yadcc的客户端会将任务分发出去至编译机编译，降低本地负载。

也因此，通常而言，使用分布式编译可以加大本地并发度（因为单个任务很多时候是在休眠等待网络上的编译结果返回），实现更高的编译吞吐。例如8逻辑核的机器通常可以通过make -j100来加速编译。

需要注意的是，分布式编译通常只能提高吞吐，但是不能降低单个文件的编译耗时（暂不考虑命中缓存的情况）。对于无法并发编译的工程，除非命中缓存，否则分布式编译通常不能加快编译，反而可能有负面效果。

主要特点

**我们首先分析了我们实际生产环境下的一些使用困难：**

\- 用户众多，如果没有中心节点统一调度并必要时阻塞新请求，则容易导致集群过载

\- 需要某种方式可以便捷的下发、更新编译集群列表，降低运维成本

\- 网络抖动、编译机由于各种原因离线等需要一定的容灾能力

\- 多个用户（机器）在同一代码库工作，可能存在不必要的重复编译（如用户A提交了一个功能，用户B拉取代码编译）

\- 新代码往往不能命中缓存，无条件查询分布式缓存会引入不必要的延迟

\- 链接阶段会回落本地执行，如果不对并发度加以限制，大量本地链接容易导致过载或OOM死机

\- 广告历来有更新编译器的传统，因此需要考虑新老过渡过程中多版本编译器共存

**针对工业场景，我们主要作了如下一些优化：**

\- 我们加入了中心调度节点，所有请求均由调度节点统一分配，低负载时可允许客户端尽可能提交更多的任务，集群满载时可阻塞新请求避免过载。

\- 中心的调度节点也避免了需要客户机感知编译集群的列表的需要，降低运维成本。

\- 编译机向调度器定期心跳，这样我们不需要预先在调度器处配置编译机列表，降低运维成本。

\- 我们使用本地守护进程和外界通信，这避免了每个客户端均反复进行TCP启动等操作，降低开销。

\- 编译器wrapper会和本地守护进程通信，控制本地任务并发度避免本地过载。

\- 分布式缓存避免不必要的重复编译。同时本地守护进程处会维护缓存的布隆过滤器，避免无意义的缓存查询引发不必要的网络延迟。

\- 我们通过编译器哈希区分版本，这允许我们的集群中存在多个不同版本的编译器。（广告集群中同时存在GCC7/8/9/10）。

整体设计

**我们的整体设计分为如下几部分：**

\- 调度器：具备全局视图，负责任务分发等；

\- 编译缓存：全局共享，用于优化重复编译的场景；

\- 守护进程：同时包含两种角色：

o 客户端本地守护进程，用于控制本地并发度、查询缓存、获取编译机、提交任务等；

o 编译机守护进程，用于接受网络上的任务，执行编译。

取决于实际部署，一台机器可能同时身兼两种职责，也可能只作为客户机或只作为编译机。

\- 客户端wrapper：伪装成编译器，截获编译任务并通过yadcc分发出去进行分布式编译。

![4de41e85684da1516be127fe13941c53.png][]

开源获取

Github地址：

https://github.com/Tencent/yadcc

https://github.com/Tencent

（点击文末阅读原文直接访问）

请给项目 一个 Star !

欢迎提出你的 issue 和 PR！

国内镜像地址：

https://git.code.tencent.com/Tencent\_Open\_Source

（登录后才能访问公开项目）

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像

关注腾讯开源公众号

获取更多最新腾讯官方开源信息！

![ac76daddd27a71eaf800d4eccfc5ca72.png][]

[4de41e85684da1516be127fe13941c53.png]: /images/20221005/3f5260178fe0490db6194f2b0906d608.png
[ac76daddd27a71eaf800d4eccfc5ca72.png]: /images/20221005/e70b07334b7f42e7b5ed981a8f17d27c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，342人围观）

还没有评论，来说两句吧...

相关阅读

相关【开源公告】TKEStack正式开源

TKEStack是腾讯开源的一款集强壮性和易用性于一身的企业级容器编排引擎，以极简的向导式界面提供了容器应用的全生命周期管理能力，帮助用户在私有云环境中敏捷、高效地构建和发布应

缺乏、安全感/ 2023年07月24日 02:52/ 0 赞/ 24 阅读

相关开源分布式追踪系统

一、OpenTracing 用于分布式跟踪的工具与API进行结合使用。 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_s

落日映苍穹つ/ 2023年02月10日 03:51/ 0 赞/ 22 阅读

相关开源公告｜微服务负载保护系统ModernFlux正式开源！

导语 ModernFlux为异构环境下微服务提供分布式多维负载保护。由腾讯互娱增值服务部IEG-AMS团队自研，并于2018年正式上线运营。应用于腾讯IEG 80%的营销活

╰+攻爆jí腚メ/ 2023年01月23日 12:48/ 0 赞/ 25 阅读

相关 linux 编译c开源项目,交叉平台开源编译系统:cmake入门

\-- The C compiler identification is GNU \-- The CXX compiler identification is GNU \-

以你之姓@/ 2023年01月21日 08:27/ 0 赞/ 18 阅读

相关【开源公告】腾讯事务处理技术验证系统3TS开源啦

项目介绍 Tencent Transaction ProcessingTestbed System（简称3TS）—— 腾讯公司CynosDB（TDSQL）团队与中国人

太过爱你忘了你带给我的痛/ 2022年12月24日 00:46/ 0 赞/ 243 阅读

相关开源公告｜微信深度学习云端推理框架WeChat TFCC开源了

导言 WeChat TFCC是微信技术架构部后台团队研发的服务端深度学习通用推理框架，也是腾讯深度学习与加速Oteam云帆的开源协同成果，具有高性能、易用、通用的特点，已在微

傷城~/ 2022年10月17日 11:15/ 0 赞/ 17 阅读

相关开源公告｜ C++ 布局引擎Taitank 正式开源！

C 项目介绍 Taitank 布局引擎是 TDF 团队实现的一个高性能、轻量级、跨平台的 C++ 布局引擎。设计重点在于如何高性能的实现布局系统，并且在不影响业务使用的前

怼烎@/ 2022年10月13日 02:15/ 0 赞/ 30 阅读

相关开源公告｜运维基础操作管理系统-蓝鲸作业平台正式开源！

蓝鲸作业平台项目背景蓝鲸作业平台是一套运维基础操作管理系统，具备海量任务并发处理能力；除了支持脚本执行、文件分发、定时任务等一系列基础运维场景以外，还支持通过流程调度能力将

一时失言乱红尘/ 2022年10月12日 01:52/ 0 赞/ 481 阅读

相关开源公告｜C++分布式编译系统yadcc开源了

框架介绍 yadcc是广泛投产于腾讯广告后台的C++分布式编译系统。我们在调研学习了业界的ccache、sccache、distcc、icecc等开源的编译加速系统

朴灿烈づ我的快乐病毒、/ 2022年10月05日 11:54/ 0 赞/ 343 阅读

相关开源分布式文件系统比较

from: [http://www.lnmpblog.com/archives/323][http_www.lnmpblog.com_archives_323] 要使

Love The Way You Lie/ 2022年06月12日 23:50/ 0 赞/ 218 阅读