Cygwin环境的熟悉和lex的使用1

快来打我* 2022-08-18 15:15 222阅读 0赞

**Cygwin环境的熟悉和lex的使用1**

# 一. 目的： #

熟悉cygwin环境的使用，学习使用lex写简单的词法分析程序，会在cygwin环境下使用flex调试lex写的程序。

# 二. 内容： #

读懂exam1.l和exam2.l两个例子，使用cygwin下的flex工具将exam1.l和exam2.l编译并调试通过。并且修改exam2.l，在其基础上增加如下记号：

(1) 左右大小括号：\{ \} ( )

(2) 将关系算符改写成C中的形式

(3) 分号、赋值号：; =

(4) 关键字：if else

(5) 双斜线表示的注释：//

(6) 算术运算符号：+ - \* /

(7) 将标识符改为可含有下划线，并且可以以下划线开头

(8) 将注释内容忽略

完善exam1.l中installID和installNum两辅助函数的功能.

# 三．要求： #

在cygwin下用flex和gcc工具将实验调试通过，并写出测试例测试正确性。

# **四．参考：** #

exam1.l 和exam2.l为测试例子。Test1.p和test2.p可分别作为两个程序的测试用例。

# **五．源代码：** #

**1.l:**

%{
    #include <stdio.h> 
    #define LT					1
    #define	LE					2
    #define GT					3
    #define	GE					4
    #define	EQ					5
    #define NE					6
    #define ADD					7
    #define JIAN					8
    #define CHEN					9
    #define CHU					10
    #define FUZHI				11
    #define WHILE				18
    #define	DO				19
    #define IF				11
    #define	ELSE				12
    #define ID          20
    #define NUMBER      21
    #define RELOP       22
    #define NEWLINE     23
    #define ERRORCHAR   24
    
    int yylval;
    %}
    
    delim		[ \t \n]
    string  id
    ws			{delim}+
    letter	[A-Za-z]
    digit		[0-9]
    id			(_)*{letter}(_)*({letter}|{digit})*
    number	{digit}+(\.{digit}+)?(E[+-]?{digit}+)?
    /* 状态（或条件）定义可以定义在这里 
     * INITIAL是一个默认的状态，不需要定义
     */
    %s COMMENT  
    %s ZHUSHI
    %%
    
    <INITIAL>"/*"						{BEGIN COMMENT;ECHO;}
    <COMMENT>"*/"						{BEGIN INITIAL;ECHO;}
    <COMMENT>.|\n						{ECHO;}
    <INITIAL>"\\"						{BEGIN ZHUSHI;;}
    <ZHUSHI>"\t"						{BEGIN INITIAL;;}
    <ZHUSHI>.|\n	          {;}
     /* ECHO是一个宏，相当于 fprintf(yyout, "%s", yytext)*/
    <INITIAL>{ws}	          {;}
    <INITIAL>while					{return (WHILE);}
    <INITIAL>if					{return (IF);}
    <INITIAL>else					{return (ELSE);}
    <INITIAL>do		          {return (DO);}
    <INITIAL>{id}	          {yylval = installID ();return (ID);}
    <INITIAL>{number}	      {yylval = installNum ();return (NUMBER);}
    <INITIAL>"<"	          {yylval = LT;return (RELOP);}
    <INITIAL>"<="	          {yylval = LE;return (RELOP);}
    <INITIAL>"=="	          {yylval = EQ;return (RELOP);}
    <INITIAL>"!="	          {yylval = NE;return (RELOP);}
    <INITIAL>">"	          {yylval = GT;return (RELOP);}
    <INITIAL>">="	          {yylval = GE;return (RELOP);}
    <INITIAL>"{"	          {return (RELOP);}
    <INITIAL>"}"	          {return (RELOP);}
    <INITIAL>"("	          {return (RELOP);}
    <INITIAL>")"	          {return (RELOP);}
    <INITIAL>";"	          {return (RELOP);}
    <INITIAL>"+"	          {yylval = ADD;return (RELOP);}
    <INITIAL>"-"	          {yylval = JIAN;return (RELOP);}
    <INITIAL>"*"	          {yylval = CHEN;return (RELOP);}
    <INITIAL>"/"	          {yylval = CHU;return (RELOP);}
    <INITIAL>"="	          {yylval = FUZHI;return (RELOP);}
    <INITIAL>.							{return ERRORCHAR;}
    
    %%
    int installID () {
      /* 把词法单元装入符号表并返回指针。*/
    	return ID;
    }
    int installNum () {
    	/* 类似上面的过程，但词法单元不是标识符而是数 */
      return NUMBER;
    }
    int yywrap (){
      return 1;
    }
    
    void writeout(int c){
      switch(c){
      	case ERRORCHAR: fprintf(yyout, "(ERRORCHAR, \"%s\") ", yytext);break;
      	case RELOP: fprintf(yyout, "(RELOP, \"%s\") ", yytext);break;  	  
        case WHILE: fprintf(yyout, "(WHILE, \"%s\") ", yytext);break;
        case DO: fprintf(yyout, "(DO, \"%s\") ", yytext);break;
        case IF: fprintf(yyout, "(IF, \"%s\") ", yytext);break;
        case ELSE: fprintf(yyout, "(ELSE, \"%s\") ", yytext);break;
        case NUMBER: fprintf(yyout, "(NUM, \"%s\") ", yytext);break;
        case ID: fprintf(yyout, "(ID, \"%s\") ", yytext);break;
        case NEWLINE: fprintf(yyout, "\n");break;
        default:break;
      }
      return;
    }
    
    int main (int argc, char ** argv){
    	int c,j=0;
    	if (argc>=2){
    	  if ((yyin = fopen(argv[1], "r")) == NULL){
    	    printf("Can't open file %s\n", argv[1]);
    	    return 1;
    	  }
    	  if (argc>=3){
    	    yyout=fopen(argv[2], "w");
    	  }
    	}
    	while (c = yylex()){
    		writeout(c);
    		j++;
    		if (j%5 == 0) writeout(NEWLINE);
    	}
    	if(argc>=2){
    	  fclose(yyin);
    	  if (argc>=3) fclose(yyout);
    	}
    	return 0;
    }<strong>
    </strong>

**Test.p:**

while _a >= -1.2E-2  do b_x<=2  {if(c!=5)c==(d+e)*f; else c=(e-f)/2;}

# **六．结果及分析：** #

(WHILE,while),(ID,_a),( RELOP,>=),( NUM,-1.2E-2),(DO,do),(ID,b_x),( RELOP,<=), ( NUM,2), ( RELOP,{), ( RELOP,(), (ID,c), ( RELOP,!=), (NUM,5), ( RELOP,)), (ID,c), ( RELOP,==), ( RELOP,(), (ID,d), ( RELOP,+), (ID,e), ( RELOP,*), ( ID,f), ( RELOP,;), ( ELSE,else), (ID,c), ( RELOP,=), ( RELOP,(), (ID,e), ( RELOP,-), (ID,f), ( RELOP,)), ( RELOP,/), ( NUM,2), ( RELOP,;),  (RELOP,})

词法分析器从第一个字符开始扫描，将相应的字符与匹配的类别输出在屏幕上，忽略空格和换行字符，将注释也忽略，能识别“；”和“=”。

# 七.附录 #

exam1.l

/* 这是注释的形式，与C中的/*...* /注释相同。 */
    /* 第一部分是定义、声明部分。这部分内容可以为空。*/
    
    %{
    
    /* 写在 %{...%}这对特殊括号内的内容会被直接拷贝到C文件中。
     *
     * 这部分通常进行一些头文件声明，变量（全局，外部）、常量
     * 的定义，用C语法。
     *
     * %{和%}两个符号都必须位于行首 
     */
    
    /* 下面定义了需要识别的记号名，如果和yacc联合使用，这些记号名都应该在yacc中定义 */
    #include <stdio.h> 
    #define LT					1
    #define	LE					2
    #define GT					3
    #define	GE					4
    #define	EQ					5
    #define NE					6
    
    #define WHILE				18
    #define	DO					19
    #define ID          20
    #define NUMBER      21
    #define RELOP       22
    
    #define NEWLINE     23
    #define ERRORCHAR   24
    
    int yylval;
    /* yylval 是yacc中定义的变量，用来保存记号的属性值，默认是int类型。 
     * 在用lex实现的词法分析器中可以使用这个变量将记号的属性传递给用
     * yacc实现的语法分析器。
     *
     * 注意：该变量只有在联合使用lex和yacc编写词法和语法分析器时才可在lex
     *       中使用，此时该变量不需要定义即可使用。
     *       单独使用lex时，编译器找不到这个变量。这里定义该变量为了“欺骗”编译器。
     */
     
    
    %}
    
    /* 这里进行正规定义和状态定义。
     * 下面就是正规定义，注意，正规定义和状态定义都要顶着行首写。
     */
     
    delim		[ \t \n]
    /* \用来表示转义，例如\t表示制表符，\n表示换行符。*/
    ws			{delim}+
    letter	[A-Za-z_]
    digit		[0-9]
    id			{letter}({letter}|{digit})*
    /* 注意：上面正规定义中出现的小括号表示分组，而不是被匹配的字符。
     *       而大括号括起的部分表示正规定义名。
     */
    number	{digit}+(\.{digit}+)?(E[+-]?{digit}+)?
    
    
    
    /* %%作为lex文件三个部分的分割符，必须位于行首 */
    /* 下面这个%%不能省略 */
    %%
    
      /* 第二部分是翻译规则部分。 */
      /* 写在这一部分的注释要有前导空格，否则lex编译出错。*/
      /* 翻译规则的形式是：正规式  {动作}
       * 其中，正规式要顶行首写，动作要以C语法写（动作会被拷贝到yylex()函数中，），\
       * 正规式和动作之间要用空白分割。
       */
      
    {ws}	          {;/* 此时词法分析器没有动作，也不返回，而是继续分析。 */}
      /* 正规式部分用大括号扩住的表示正规定义名，例如{ws}。
       * 没有扩住的直接表示正规式本身。
       * 一些元字符没办法表示它本身，此时可以用转义字符或
       * 用双引号括起来，例如"<"
       */
    while	          {return (WHILE);}
    do		          {return (DO);}
    {id}	          {yylval = installID (); return (ID);}
    {number}	      {yylval = installNum (); return (NUMBER);}
    "<"	            {yylval = LT; return (RELOP);}
    "<="	          {yylval = LE; return (RELOP);}
    "="	            {yylval = EQ; return (RELOP);}
    "<>"	          {yylval = NE; return (RELOP);}
    ">"	            {yylval = GT; return (RELOP);}
    ">="	          {yylval = GE; return (RELOP);}
    
    .								{yylval = ERRORCHAR; return ERRORCHAR;}
     /*.匹配除换行之外的任何字符，一般可作为最后一条翻译规则。*/
     
    %%
    /* 第三部分是辅助函数部分，这部分内容以及前面的%%都可以省略 */
    /* 辅助函数可以定义“动作”中使用的一些函数。这些函数
     * 使用C语言编写，并会直接被拷贝到lex.yy.c中。
     */
    
    int installID () {
      /* 把词法单元装入符号表并返回指针。*/
    	return ID;
    }
    
    
    int installNum () {
    	/* 类似上面的过程，但词法单元不是标识符而是数 */
      return NUMBER;
    }
    
    
    /* yywrap这个辅助函数是词法分析器遇到输入文件结尾时会调用的，用来决定下一步怎么做：
     * 若yywrap返回0，则继续扫描；返回1，则词法分析器返回报告文件已结束的0。
     * lex库中的标准yywrap程序就是返回1，你也可以定义自己的yywrap。
     */
    int yywrap (){
      return 1;
    }
    
    void writeout(int c){
      switch(c){
      	case ERRORCHAR: fprintf(yyout, "(ERRORCHAR, \"%s\") ", yytext);break;
      	case RELOP: fprintf(yyout, "(RELOP, \"%s\") ", yytext);break;  	  
        case WHILE: fprintf(yyout, "(WHILE, \"%s\") ", yytext);break;
        case DO: fprintf(yyout, "(DO, \"%s\") ", yytext);break;
        case NUMBER: fprintf(yyout, "(NUM, \"%s\") ", yytext);break;
        case ID: fprintf(yyout, "(ID, \"%s\") ", yytext);break;
        case NEWLINE: fprintf(yyout, "\n");break;
        default:break;
      }
      return;
    }
    
    /* 辅助函数里可以使用yytext和yyleng这些外部定义的变量。
     * yytext指向输入缓冲区当前词法单元(lexeme)的第一个字符，
     * yyleng给出该词法单元的长度		*/
    
    /* 如果你的词法分析器并不是作为语法分析器的子程序，
     * 而是有自己的输入输出，你可以在这里定义你的词法
     * 分析器的main函数，main函数里可以调用yylex()
     */
    
    int main (int argc, char ** argv){
    	int c,j=0;
    	if (argc>=2){
    	  if ((yyin = fopen(argv[1], "r")) == NULL){
    	    printf("Can't open file %s\n", argv[1]);
    	    return 1;
    	  }
    	  if (argc>=3){
    	    yyout=fopen(argv[2], "w");
    	  }
    	}
    	/* yyin和yyout是lex中定义的输入输出文件指针，它们指明了
    	 * lex生成的词法分析器从哪里获得输入和输出到哪里。
    	 * 默认：键盘输入，屏幕输出。 
    	 */
    	while (c = yylex()){
    		writeout(c);
    		j++;
    		if (j%5 == 0) writeout(NEWLINE);
    	}
    	if(argc>=2){
    	  fclose(yyin);
    	  if (argc>=3) fclose(yyout);
    	}
    	return 0;
    }

exam2.l

%{
    
    #include <stdio.h> 
    #define LT					1
    #define	LE					2
    #define GT					3
    #define	GE					4
    #define	EQ					5
    #define NE					6
    #define LLK                                     7
    #define RLK                                     8
    #define LBK                                     9
    #define RBK                                     10
    #define IF                               11
    #define ELSE                             12
    #define EQU                              13
    #define SEM                              14
    
    #define WHILE				18
    #define	DO					19
    #define ID          20
    #define NUMBER      21
    #define RELOP       22
    
    #define NEWLINE     23
    #define ERRORCHAR   24
    #define ADD                       25
    #define  DEC                         26
    #define  MUL                         27
    #define  DIV                        28
    
    
    %}
    
     
    delim		[ \t \n]
    ws			{delim}+
    letter	[A-Za-z_]
    digit		[0-9]
    id			{letter}({letter}|{digit})*
    number	{digit}+(\.{digit}+)?(E[+-]?{digit}+)?
    
    /* 状态（或条件）定义可以定义在这里 
     * INITIAL是一个默认的状态，不需要定义
     */
    %s COMMENT
    %s COMMENT2
    %%
    
    <INITIAL>"/*"						{BEGIN COMMENT;}
    <COMMENT>"*/"						{BEGIN INITIAL;}
    <COMMENT>.|\n						{;}
    <INITIAL>"//"						{BEGIN COMMENT2;}
    <COMMENT2>\n					{BEGIN INITIAL;}
    <COMMENT2>.					{;}
    
     /* ECHO是一个宏，相当于 fprintf(yyout, "%s", yytext)*/
    
    <INITIAL>{ws}	          {;}
    <INITIAL>while					{return (WHILE);}
    <INITIAL>do		          {return (DO);}
    <INITIAL>if		          {return (IF);}
    <INITIAL>else		          {return (ELSE);}
    <INITIAL>{id}	          {return (ID);}
    <INITIAL>{number}	      {return (NUMBER);}
    <INITIAL>"<"	          {return (RELOP);}
    <INITIAL>"<="	          {return (RELOP);}
    <INITIAL>"="	          {return (RELOP);}
    <INITIAL>"!="	          {return (RELOP);}
    <INITIAL>">"	          {return (RELOP);}
    <INITIAL>">="	          {return (RELOP);}
    <INITIAL>"("	          {return (RELOP);}
    <INITIAL>")"	          {return (RELOP);}
    <INITIAL>"{"	          {return (RELOP);}
    <INITIAL>"}"	          {return (RELOP);}
    <INITIAL>"+"	          {return (RELOP);}
    <INITIAL>"-"	          {return (RELOP);}
    <INITIAL>"*"	          {return (RELOP);}
    <INITIAL>"/"	          {return (RELOP);}
    <INITIAL>";"	          {return (RELOP);}
    
    <INITIAL>.							{return ERRORCHAR;}
    
     
    %%
    
    int yywrap (){
      return 1;
    }
    
    void writeout(int c){
      switch(c){
      	case ERRORCHAR: fprintf(yyout, "(ERRORCHAR, \"%s\") ", yytext);break;
      	case RELOP: fprintf(yyout, "(RELOP, \"%s\") ", yytext);break;  	  
        case WHILE: fprintf(yyout, "(WHILE, \"%s\") ", yytext);break;
        case DO: fprintf(yyout, "(DO, \"%s\") ", yytext);break;
        case IF: fprintf(yyout, "(IF, \"%s\") ", yytext);break;
        case ELSE: fprintf(yyout, "(ELSE, \"%s\") ", yytext);break;
        case NUMBER: fprintf(yyout, "(NUM, \"%s\") ", yytext);break;
        case ID: fprintf(yyout, "(ID, \"%s\") ", yytext);break;
        case NEWLINE: fprintf(yyout, "\n");break;
        default:break;
      }
      return;
    }
    
    
    int main (int argc, char ** argv){
    	int c,j=0;
    	if (argc>=2){
    	  if ((yyin = fopen(argv[1], "r")) == NULL){
    	    printf("Can't open file %s\n", argv[1]);
    	    return 1;
    	  }
    	  if (argc>=3){
    	    yyout=fopen(argv[2], "w");
    	  }
    	}
    
    	while (c = yylex()){
    		writeout(c);
    		j++;
    		if (j%5 == 0) writeout(NEWLINE);
    	}
    	if(argc>=2){
    	  fclose(yyin);
    	  if (argc>=3) fclose(yyout);
    	}
    	return 0;
    }