Mark : Antlr4 入门

缺乏、安全感 2022-02-17 01:39 347阅读 0赞

> # 一.ANTRL 是什么 #

ANTLR 是用JAVA写的语言识别工具，它用来声明语言的语法，简称为**“元语言”(meta-language)**。

ANTLR 语法识别一般分为二个阶段：

**1.词法分析阶段 （lexical analysis)**

对应的分析程序叫做 lexer ，负责将符号（token）分组成符号类（token class or token type）

**2.解析阶段**

根据词法，构建出一棵分析树（parse tree）或叫语法树（syntax tree）

![902220-20180525133753139-407849520.png][]

ANTLR 的直观印象，就像是在走迷宫，或者说是电路板更准确，最终只有一条最优路可通达开始与结束，中间的各种叉路与开关，就是我们所编写的规则，下面是我编写的一个SQL查询的简单实现，截取一部分图示：

![902220-20180525133802395-2051016529.png][]

ANTLR 官方网址 [http://www.antlr.org/][http_www.antlr.org]

ANTLR 官方 Github [https://github.com/antlr/antlr4][https_github.com_antlr_antlr4]

大量语法文件例子 [https://github.com/antlr/grammars-v4][https_github.com_antlr_grammars-v4]

> # 二.主要应用场景 #

**1.定制特定领域语言（DSL)**

类似hibernate中的HQL，用DSL来定义要执行操作的高层语法，这种语法接近人可理解的语言，由DSL到计算机语言的翻译则通过ANTLR来做，可在ANTLR的结构语言中定义DSL命令具体要执行何种操作。

**2.文本解析** 可利用ANTLR解析JSON，HTML，XML，EDIFACT，或自定义的报文格式。解析出来的信息需要做什么处理也可以在结构文件中定义。

**3.数学计算** 加减乘除，线性方程，几何运算，微积分等等

> # 三.ANTRL 语法 #

## 1.结构 ##

/** Optional javadoc style comment */
    grammar Name; 
    options {...}
    import ... ;
    
    tokens {...}
    channels {...} // lexer only
    @actionName {...}
    
    rule1 // parser and lexer rules, possibly intermingled
    ...
    ruleN

### grammar ###

声明语法头，类似于java类的定义

grammar  SPL;

### options ###

选项，如语言选项，输出选项，回溯选项，记忆选项等等

options { output=AST;  language=Java; }
    
    options { tokenVocab=MySqlLexer; }

### @actionName ###

动作（Actions）**实际上是用目标语言写成的、嵌入到规则中的代码**（以花括号包裹）。它们通常直接操作输入的标号，但是他们也可以用来调用相应的外部代码。属性，到目前为止我的理解还不多，感觉像是C++中类里面的成员。常用属性或动作说明：

*  @header \{ package com.zetyun.aiops.antlr.test; \}
    
    这个动作很有用，即在运行脚本后，生成的类中自动带上这个包路径，避免了手动加入的麻烦。
 *  @members \{ int i; public TParser(TokenStream input, int foo) \{ this(input); i = foo; \}\}
 *  @after \{System.out.println("after matching rule; before finally");\}

### rule ###

这是核心，表示规则，以 “:” 开始， “;” 结束， 多规则以 "|" 分隔。

## 2.注释 ##

*  单行、多行、javadoc风格
 *  javadoc风格只能在开头使用

/** 
     * This grammar is an example illustrating the three kinds
     * of comments.
     */
    grammar T;
    
    /* a multi-line
      comment
    */
    
    /** This rule matches a declarator for my language */
    
    decl : ID ; // match a variable name

## 3.标识符 ##

*  符号(Token)名大写开头
 *  解析规则(Parser rule)名小写开头,后面可以跟字母、数字、下划线

ID, LPAREN, RIGHT_CURLY // token names
    expr, simpleDeclarator, d2, header_file // rule names

# 四.遍历模式 #

## 1、Listener (观察者模式，通过结点监听，触发处理方法) ##

*  程序员不需要显示定义遍历语法树的顺序，实现简单
 *  缺点，不能显示控制遍历语法树的顺序
 *  动作代码与文法产生式解耦，利于文法产生式的重用
 *  没有返回值，需要使用map、栈等结构在节点间传值

## 2、Visitor (访问者模式，主动遍历) ##

*  程序员可以显示定义遍历语法树的顺序
 *  不需要与antlr遍历类ParseTreeWalker一起使用，直接对tree操作
 *  动作代码与文法产生式解耦，利于文法产生式的重用
 *  visitor方法可以直接返回值，返回值的类型必须一致，不需要使用map这种节点间传值方式，效率高

# 五.示例 #

## 计算器之四则运算（官方例子照抄） ##

**1、新建g4文件，如Math.g4**

grammar Math;
    
    @header{package com.zetyun.aiops.core.math;} 
    
    prog : stat+;
    
    stat: expr NEWLINE          # printExpr
        | ID '=' expr NEWLINE   # assign
        | NEWLINE               # blank
        ;
    
    expr:  expr op=('*'|'/') expr   # MulDiv
    | expr op=('+'|'-') expr        # AddSub
    | INT                           # int
    | ID                            # id
    | '(' expr ')'                  # parens
    ;
    
    MUL : '*' ; // assigns token name to '*' used above in grammar
    DIV : '/' ;
    ADD : '+' ;
    SUB : '-' ;
    ID : [a-zA-Z]+ ;
    INT : [0-9]+ ;
    NEWLINE:'\r'? '\n' ;
    WS : [ \t]+ -> skip;

**2、运行Math.g4文件，生成.java文件**

![902220-20180525133828127-1240163930.png][]

如果没有安装eclipse antlr插件的话，根据如下指示操作即可：

help -> Eclipse Marketplace -> 搜索 Antlr -> 选中合适版本，安装即可。

![902220-20180525133836753-1299803947.png][]

**3、编写测试文件，检验语法，验证结果等**

package com.zetyun.aiops.test;
    
    import org.antlr.v4.runtime.CharStream;
    import org.antlr.v4.runtime.CharStreams;
    import org.antlr.v4.runtime.CommonTokenStream;
    import org.antlr.v4.runtime.tree.ParseTree;
    
    import com.zetyun.aiops.core.math.MathLexer;
    import com.zetyun.aiops.core.math.MathParser;
    
    public class Math {
    
        public static void main(String[] args) {
    
             CharStream input = CharStreams.fromString("12*2+12\r\n");
             MathLexer lexer=new MathLexer(input);
             CommonTokenStream tokens = new CommonTokenStream(lexer);
             MathParser parser = new MathParser(tokens);
             ParseTree tree = parser.prog(); // parse
             MathVisitorTest vt=new MathVisitorTest();
             vt.visit(tree);
        }
    }

**4、语法树分析**

*  1) 下载antlr4运行包，这里我选择的版本是 antlr-4.7-complete.jar
    
    [http://www.antlr.org/download.html][http_www.antlr.org_download.html]
 *  2) 新建运行脚本 antlr4.bat 和 grun.bat，放置于任意目录，如 E:/tools/antlr4
    
    antlr4.bat 内容：
    
        java org.antlr.v4.Tool %*
    
    grun.bat 内容：
    
        java org.antlr.v4.gui.TestRig %*
    
    注：antlr依赖于java，如果java环境变量没有设置，请先行设置好。
 *  3) 设置antlr4的系统环境变量(classpath 和 path)
    
    classpath：
    
    ![902220-20180525133848742-757091525.png][]
    
    path (.bat所在目录) :
    
    ![902220-20180525133857875-817539014.png][]
    
     
 *  4) 选择要分析的g4文件，运行命令生成相关java文件与token文件

D:\workspace\AntlrTest\test\math> antlr4 Math.g4

![902220-20180525133910210-1445795606.png][]

*  5) 编译java文件

D:\workspace\AntlrTest\test\math>javac ./*.java

![902220-20180525133918735-1054468558.png][]

*  6) 分析语法树

输入grun命令回车，在命令行输入你要测试的语法，再回车，按Ctrl+z 后回车。

D:\workspace\AntlrTest\test\math>grun Math expr -gui
    
    D:\workspace\AntlrTest\test\math>java org.antlr.v4.gui.TestRig Math expr -gui
    (2+3)*5-25/5
    ^Z

执行完命令后，会出现GUI窗口：

![902220-20180525133929973-1125495710.png][]

通过语法树，我们可以直观的知道语法是否正确，以便随时调整。

consult : [https://www.cnblogs.com/clonen/p/9083359.html][https_www.cnblogs.com_clonen_p_9083359.html]

[902220-20180525133753139-407849520.png]: /images/20220217/d9a60286772f4770ae3ed1e02acc933f.png
[902220-20180525133802395-2051016529.png]: /images/20220217/f63215bbf4324f71b844737b4b3f9f32.png
[http_www.antlr.org]: http://www.antlr.org/
[https_github.com_antlr_antlr4]: https://github.com/antlr/antlr4
[https_github.com_antlr_grammars-v4]: https://github.com/antlr/grammars-v4
[902220-20180525133828127-1240163930.png]: /images/20220217/cbece174b7974d629f0f0cf6a9e183a6.png
[902220-20180525133836753-1299803947.png]: /images/20220217/cfc851a55b8c4109a8ec848d5385941d.png
[http_www.antlr.org_download.html]: http://www.antlr.org/download.html
[902220-20180525133848742-757091525.png]: /images/20220217/78431589323e4a8d9e3e74220f63a8ba.png
[902220-20180525133857875-817539014.png]: /images/20220217/69984ed36c78480b9679a587bcfa7801.png
[902220-20180525133910210-1445795606.png]: /images/20220217/887e1174537a4102a591bee7eafd9d50.png
[902220-20180525133918735-1054468558.png]: /images/20220217/c40d559c68474bac8456af29974afbff.png
[902220-20180525133929973-1125495710.png]: /images/20220217/616808e29bce4652a2a7c7ecc97d2b44.png
[https_www.cnblogs.com_clonen_p_9083359.html]: https://www.cnblogs.com/clonen/p/9083359.html