词法分词器-标识符转移图

心已赠人 2022-05-12 15:12 71阅读 0赞

# 标识符转移图(变量) #

标识符的转移图

![70][]

### 记号流：编译器内部定义的数据结构，编码所识别出的词法单元 ###

### Token 记号   ###

### nextToken() 读取标识符或者关键字  ###

### getChar()读取一个字符 ###

# 输入原代码到词法分析器返回记号流: #

![70 1][]

步骤从0开始对应表中操作,假设记号表中已经记录了id这个标识符

一: 假设读取第一个 字符为i

0.第一步 I/O 读取一个字符例如 此字符必须要符合 标识符的定义 例如:(a-zA-Z 0-9 \_)等标识符定义 符合后开始第二步操作

二: 假设读取第二个 字符为 d

1.  第二部读取第二个字符 是否符合标识符(a-zA-Z 0-9 \_)定义 符合和第一个字符拼接,对比符号表判断是否有此标识符定义(变量定义),如果有则第二步,如果没有则继续调用(图中1步)读取字符 重复1步操作

2.返回记号

# 从记号流中读取标识符流程并识别关键字: #

与此同时我们还需要识别关键字 以if为例

![70 2][]

上面还是我们之前识别标识符的转移图

下面是能识别标识符和if关键字的转移图

读取字符为 "i" 但是不符合1的条件\[a-h j-z A-Z\_\],则直接到3的流程 存储好此字符,并读取下一个字符如果符合4的条件\[f\] 那么还需要读取一个字符判断是否为分隔符(例如 ifconfig 这种) 分隔符不一定只有一种有的是 ‘(’ 有的是 ’ ’ 空格符合后则是关键字还需要对比关键字表 ,否则还是跳转到1流程,判断是否为记号流

其他关键字也如此

# 关键字表算法: #

![70 3][]

哈希表和完美哈希介绍:

LINK: [http://www.cnblogs.com/gaochundong/p/hashtable\_and\_perfect\_hashing.html][http_www.cnblogs.com_gaochundong_p_hashtable_and_perfect_hashing.html]

[70]: /images/20220504/7ed8e8a036a544e099fefc4fdbc46c47.png
[70 1]: /images/20220504/ac49b48ee00d4d2b928046a9d3ae8e6c.png
[70 2]: /images/20220504/11192066a51f4cd39643f71337b42f5b.png
[70 3]: /images/20220504/836dec8b1450416aa9ea31b7a8919023.png
[http_www.cnblogs.com_gaochundong_p_hashtable_and_perfect_hashing.html]: http://www.cnblogs.com/gaochundong/p/hashtable_and_perfect_hashing.html