dmd源码指南

秒速五厘米 2022-10-16 03:59 204阅读 0赞

[原文在此][Link 1]  
所有`D编译器`分为`两部分`:`前端和后端`  
前端:`词法和解析d语法,实例化模板`.`ldc(llvm)/gdc(gcc)/dmd(boost)`共享.  
后端:`生成代码,优化,输出目标文件`  
胶水层:连接`前后端`.

[这里是源码结构][Link 2]

# 编译周期 #

词法(`令牌数组(lexer)`)–`构建简单语法树(parser)`–然后`三阶段语义处理(mars中,语义1,2,3)`依次接近最终表示(`解析类型,实例化模板`)–

<table> 
 <thead> 
  <tr> 
   <th align="left"><code>阶段</code></th> 
   <th align="left">任务</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>1语义</code></td> 
   <td align="left"><code>分析所有声明的完整签名</code>(<code>聚集类型成员,函数参数和返回及变量类型,求值(pragma(msg))</code>).</td> 
  </tr> 
  <tr> 
   <td align="left"><code>2语义</code></td> 
   <td align="left">声明的<code>其他部分</code>(如<code>变量声明初化器,静断条件下求值</code>)</td> 
  </tr> 
  <tr> 
   <td align="left"><code>3语义</code></td> 
   <td align="left">分析函数声明<code>主体</code>.如果<code>函数</code>不在<code>直接声明模块中编译(不在命令行)</code>,则不分析</td> 
  </tr> 
 </tbody> 
</table>

由于`解析前向引用`,每个阶段`可能`调用`后阶段`函数.

immutable string x = "hello";
    static if (x == "hello") {  ... }
    //static if调用`x`的2语义阶段
    auto foo() {  ... }
    typeof(&foo) fp;
    //1阶段`fp`运行`3阶段foo`来推导返回类型
    string foo() {  ... }
    mixin(foo());//ctfe,调用`3阶段foo`.

最后,传递`语法树`至`胶水层`,然后`交给`后端产生`机器码/目标文件`.

# 运行时互操作 #

在`d运行时`中`分配内存/操作数组`,编译器用`_d_`样的`勾挂`函数来整合`运行时`.[细节在此][Link 3]

# 细节(可能过时) #

<table> 
 <thead> 
  <tr> 
   <th align="left"><code>类型</code></th> 
   <th align="left">意义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>符号</code></td> 
   <td align="left">链接器相关</td> 
  </tr> 
  <tr> 
   <td align="left"><code>dt_t</code></td> 
   <td align="left">目标文件中<code>待加数据</code>.</td> 
  </tr> 
  <tr> 
   <td align="left"><code>元素</code></td> 
   <td align="left">内部表示节点</td> 
  </tr> 
 </tbody> 
</table>

在各种`语法树节点`中生成`代码`

<table> 
 <thead> 
  <tr> 
   <th align="left"><code>节点类型</code></th> 
   <th align="left">必须定义方法</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>语句类</code></td> 
   <td align="left"><code>toIR</code>,</td> 
  </tr> 
  <tr> 
   <td align="left"><code>表达式</code></td> 
   <td align="left"><code>toElem</code>.</td> 
  </tr> 
  <tr> 
   <td align="left"><code>初化器</code>和特定<code>式</code>子类</td> 
   <td align="left"><code>toDt</code>.</td> 
  </tr> 
  <tr> 
   <td align="left"><code>声明</code></td> 
   <td align="left"><code>toObjFile</code>.</td> 
  </tr> 
  <tr> 
   <td align="left"><code>D符号</code></td> 
   <td align="left"><code>toSymbol</code>.</td> 
  </tr> 
 </tbody> 
</table>

在跑了`3个语义段`后,如何快速遍历`dmd的ir`.只晓得有个`符号表`.

# 内联器 #

`内联器`是`前端`,其`遍历语法树来查找函数`.通过计算是否`值得`再内联.  
其中,一些`语句`不能为`表达式`(如`循环/抛`),因而,内联分两种,分别转换函数为`语句(忽略返回值/调用(空/void)函数)/表达式(返回值时)`.这两种按不同`路径`内联.因为一些`语句`不能转成`表达式`.  
内联器,分为四部分.

<table> 
 <thead> 
  <tr> 
   <th align="left"><code>部分</code></th> 
   <th align="left">细节</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>主入口点</code></td> 
   <td align="left">利用<code>InlineScanVisitor类</code>和<code>expandInline</code>函数的<code>inlineScan</code>.</td> 
  </tr> 
  <tr> 
   <td align="left"><code>分析成本(确定是否内联)</code></td> 
   <td align="left"><code>canInline和InlineCostVisitor类</code></td> 
  </tr> 
  <tr> 
   <td align="left"><code>按语句</code></td> 
   <td align="left"><code>inlineAsStatement</code>及其嵌入类</td> 
  </tr> 
  <tr> 
   <td align="left"><code>按表达式</code></td> 
   <td align="left"><code>doInline</code>及其嵌入类<code>InlineStatement</code></td> 
  </tr> 
 </tbody> 
</table>

`inlineScan`为`入口`,主要工作由`expandInline`完成.`InlineScanVisitor`找到`可内联函数`时,调用`扩展内联`.根据`式/语句`来相应`内联`.如`ExpStatement/CallExp`.最后由`inlineAsStatement(语句)/doInline(式)`来搞.

# 后端 #

`DMD`用`el`元素来表示,枚举`OPER`看操作.列举`表达式`树中所有`节点类型`,用`-O --c`编译.得到`各种优化`.其余未文档标志:

<table> 
 <thead> 
  <tr> 
   <th align="left"><code>标志</code></th> 
   <th align="left">意思</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>--b</code></td> 
   <td align="left">显示优化块</td> 
  </tr> 
  <tr> 
   <td align="left"><code>--f</code></td> 
   <td align="left">完整输出</td> 
  </tr> 
  <tr> 
   <td align="left"><code>--r</code></td> 
   <td align="left">显示分配寄存器</td> 
  </tr> 
  <tr> 
   <td align="left"><code>--x</code></td> 
   <td align="left">抑制预定义的<code>C++</code>内容</td> 
  </tr> 
  <tr> 
   <td align="left"><code>--y</code></td> 
   <td align="left">显示<code>中间语言(IL)</code>缓冲区输出</td> 
  </tr> 
 </tbody> 
</table>

前端到后端`最重要`入口为`优化及生成代码`的`writefunc`

<table> 
 <thead> 
  <tr> 
   <th align="left"><code>序号</code></th> 
   <th align="left">动作</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>1</code></td> 
   <td align="left"><code>writefunc</code>设置参数,然后调用<code>codgen</code>来生成<code>函数体</code>代码.</td> 
  </tr> 
  <tr> 
   <td align="left"><code>2</code></td> 
   <td align="left">为每块生成代码,然后把<code>变量</code>放进<code>寄存器</code>.</td> 
  </tr> 
  <tr> 
   <td align="left"><code>3</code></td> 
   <td align="left">生成启动代码,<code>窥孔</code>优化.</td> 
  </tr> 
  <tr> 
   <td align="left"><code>4</code></td> 
   <td align="left">优化跳</td> 
  </tr> 
  <tr> 
   <td align="left"><code>5</code></td> 
   <td align="left"><code>codout</code>中发射代码.</td> 
  </tr> 
  <tr> 
   <td align="left"><code>6</code></td> 
   <td align="left">写<code>开关表</code></td> 
  </tr> 
  <tr> 
   <td align="left"><code>7</code></td> 
   <td align="left">写<code>异常表</code></td> 
  </tr> 
 </tbody> 
</table>

`cgcod`中`blcodgen`生成`块代码`.处理块结束`中/猜/如`  
生成块中,`cod1.gencodelem`,只是调用`codelem`.  
`cgcod.codelem`根据类型,为元素生成`代码`.  
`cod1,cod2, cod3, cod4, and cod5.c`生成`x86整`.`cg87`生成浮点.`x87`比较简单,不能处理`公共子表达式`,因而效率低.

# 优化器 #

主要在`go`中的`optfunc`中.调用:

<table> 
 <thead> 
  <tr> 
   <th align="left"><code>函数</code></th> 
   <th align="left">作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>blockopt(iter)</code></td> 
   <td align="left">优化基本块</td> 
  </tr> 
  <tr> 
   <td align="left"><code>constprop</code></td> 
   <td align="left">常折叠</td> 
  </tr> 
  <tr> 
   <td align="left"><code>copyprop</code></td> 
   <td align="left">复制</td> 
  </tr> 
  <tr> 
   <td align="left"><code>rmdeadass</code></td> 
   <td align="left">删死码</td> 
  </tr> 
  <tr> 
   <td align="left"><code>verybusyexp</code></td> 
   <td align="left">忙式</td> 
  </tr> 
  <tr> 
   <td align="left"><code>deadvar(gother.c)</code></td> 
   <td align="left">死变量</td> 
  </tr> 
  <tr> 
   <td align="left"><code>loopopt</code></td> 
   <td align="left">优化循环,删不变归纳变量,旋转循环</td> 
  </tr> 
  <tr> 
   <td align="left"><code>boolopt</code></td> 
   <td align="left">优化极</td> 
  </tr> 
  <tr> 
   <td align="left"><code>builddags</code></td> 
   <td align="left">公共子</td> 
  </tr> 
  <tr> 
   <td align="left"><code>el_convert</code></td> 
   <td align="left"><code>浮串</code>至数据段</td> 
  </tr> 
  <tr> 
   <td align="left"><code>el_combine</code></td> 
   <td align="left">合并两表达式</td> 
  </tr> 
  <tr> 
   <td align="left"><code>localize</code></td> 
   <td align="left">改进<code>式</code>的<code>本地性</code></td> 
  </tr> 
  <tr> 
   <td align="left"><code>pinholeopt</code></td> 
   <td align="left">窥孔优化</td> 
  </tr> 
 </tbody> 
</table>

# 生成代码 #

单独生成`每个函数`代码.每个函数,放进自己的`COMDAT`段.划分函数为`块`,按`跳/其他控制指令`连接.

注意`idgen`用来生成`id.h/c`,表示内置符号.  
`impcvngen`用来描述`原语`间转换规则.生成`impcnvtab`表.`root.h`定义基类.用`指针传递`类实例,在`堆`上分配.

# 常见缩写 #

[这里更详细][Link 4]  
[词汇表][Link 5]

<table> 
 <thead> 
  <tr> 
   <th align="left"><code>缩写</code></th> 
   <th align="left">意思</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>stc</code></td> 
   <td align="left">存储类</td> 
  </tr> 
  <tr> 
   <td align="left"><code>ILS</code></td> 
   <td align="left">内联状态</td> 
  </tr> 
  <tr> 
   <td align="left"><code>ir</code></td> 
   <td align="left">中间表示</td> 
  </tr> 
  <tr> 
   <td align="left"><code>AE</code></td> 
   <td align="left">可用式</td> 
  </tr> 
  <tr> 
   <td align="left"><code>CP</code></td> 
   <td align="left">复制传播</td> 
  </tr> 
  <tr> 
   <td align="left"><code>CSE</code></td> 
   <td align="left">消公子,消除公共子表达式</td> 
  </tr> 
  <tr> 
   <td align="left"><code>VBE</code></td> 
   <td align="left">很忙式</td> 
  </tr> 
  <tr> 
   <td align="left"><code>FFI</code></td> 
   <td align="left">外部接口</td> 
  </tr> 
  <tr> 
   <td align="left"><code>DbI</code></td> 
   <td align="left">自省设计</td> 
  </tr> 
  <tr> 
   <td align="left"><code>ICE</code></td> 
   <td align="left">内部编译错误</td> 
  </tr> 
  <tr> 
   <td align="left"><code>IFTI</code></td> 
   <td align="left">隐式函数模板实例化</td> 
  </tr> 
  <tr> 
   <td align="left"><code>NVI</code></td> 
   <td align="left">非虚口</td> 
  </tr> 
  <tr> 
   <td align="left"><code>UDA</code></td> 
   <td align="left">用定属</td> 
  </tr> 
  <tr> 
   <td align="left"><code>UDT</code></td> 
   <td align="left">用定型</td> 
  </tr> 
 </tbody> 
</table>

# 技巧 #

用`instantiatingModule(模板字段)`查找,哪个模块实例化了`模板`.  
`-vcg-ast`输出`生成代码前`的`最后语法树`表示.用来`调试模板/查找问题`.`dmd -vcg-ast test.d`  
用`resolve`来确定`Type`是`实际类型/表达式/符号`.`traits.d`中有示例.  
`DSymbol`有`toChars/toPrettyChars`来调试.  
`DSymbol`有`kind`来得到类型.  
用`asttypename`打印`语法树`节点动态名.  
`表达式`有个`令牌`的`op`字段,可`Token.toChars(e.op)`这样输出.  
打印浮字面:`toReal`.  
用`isConst`检查`式`是否为`编译时`已知`字面`.  
注意`编译时`声明与语句的区别.

mixin("int x;");
    //上面为声明
    void main()
    { 
        mixin("int y;");//为语句.
    }

[Link 1]: https://wiki.dlang.org/DMD_Source_Guide
[Link 2]: https://fqbqrr.blog.csdn.net/article/details/116532765
[Link 3]: https://wiki.dlang.org/Runtime_Hooks
[Link 4]: https://wiki.dlang.org/Commonly-Used_Acronyms
[Link 5]: https://dlang.org/glossary.html