实现了一个可用的C++语法分析器，从文件读取源代码，从左到右扫描每行该语言源程序的符号，拼成单词，换成统一的内部表示（token）。识别标识符、数字、特殊字符、关键字等类别，删除注释行和空白符，打印出每行包含的记号的二元形式到目标文件中去

#include #include #include #include using namespace std; int w=0; //尾数累加器 int p=0; //指数累加器 int j=0; //十进制小数位数计数器 int e=1; //用来记录十进制数的符号，当指数为正时为1，为负时为-1 int i=0; //用来标志元素位置 int d=0; //用来表示每个数值型元素对应的数值 const int N=40;//用来确定输入识别符的最大长度 char data[N];//存放输入的识别符 bool is_digit; //标志是否是数字 string CJ1;//确定是整形还是实型 double CJ2;//记数值 //函数声明 void check(char c);//检查首字母是否是数字的函数 void deal_integer(char c);//处理识别符的整数部分 void deal_point(char c);//用来处理小数部分 void deal_index(char c);//用来处理指数部分 void s_next();// 确定实型 void z_next();//确定整型 void last();// 计算 CJ2 void error();//程序中错误处理程序 void deal();//处理函数主体 int main(){ //主函数 cout<<"please input your data,and its maximum length is "<data; deal();//处理函数主体 last();// 计算 CJ2 system("pause"); return 0; } void check(char c) //判断输入的首字母是否是数字 { is_digit=isdigit(c); while(is_digit!=true){//输入的首字母不是数字时 cout<<"\nError! Try again.."<>data; check(data[0]); } } void deal_integer(char c){//处理识别符的整数部分 d=(int)c-48; w=w*10+d; i++; if(isdigit(data[i])!=0)//下一个仍是数值时，调用程序本身 deal_integer(data[i]); } void deal_point(char c){//用来处理小数部分 int temp=i; if(isdigit(c)!=0)//是数值字符时 deal_integer(c); else { error(); //错误处理程序 deal();//处理函数主体 } j=i-temp;//记录十进制小数位数 } void deal_index(char c){//用来处理指数部分 if(c=='-') {e=-1;i++;}//是'-'号时 else {if(c=='+') i++;//是'+' 号时 else { if(isdigit(c)==false) //非数值字符时 { error();//错误处理程序 deal();//处理函数主体 } else

本程序能成功识别检测程序中的每一个单词。检测程序中事先定义的关键字、实现过程或者在检测程序中定义的变量，本程序将一二元组输出。否则，本程序将会统一将其归类为undeclared identifier。 该程序是linux平台下的，若在Windows下只需将头文件unistd.h 改为io.h

C_minus语言词法分析器 C_minus语言词法分析器

编译原理实验二源程序的预处理及词法分析程序设计，大家可以看看

大连理工大学软件学院编译技术课程——词法分析上机实验 实验目的：对循环语句和条件判断语句编写词法分析编译程序，只能通过一遍扫描完成。(用c++实现) 实验要求： (1) 关键字： for if then else while do 所有关键字都是小写。 (2）运算符和分隔符： ： = + - * / <= >= ; ( ) # (3)其他标识符（ID）和整型常数（NUM），通过以下正规式定义： ID=letter(letter | digit)* NUM=digit digit* (4)空格由空白、制表符和换行符组成。空格一般用来分隔ID、NUM、运算符、分隔符和关键字，词法分析阶段通常被忽略。 各种词法单元对应的词法记号如下： 词法单元 词法记号 词法单元 词法记号 for 1 : 17 if 2 := 18 then 3 < 20 else 4 21 while 5 23 letter(letter+digit)* 10 >= 24 digit digit* 11 = 25 + 13 ; 26 - 14 ( 27 * 15 ) 28 / 16 # 0 词法分析程序的功能 输入：源程序 输出：二元组（词法记号,属性值/其在符号表中的位置）构成的序列。 例如：对源程序 x:=5; if (x>0) then x:=2*x+1/3; else x:=2/x; # 经词法分析后输出如下序列： （10,’x’）(18, :=) (11,5) (26, ;) (2, if ) (27,( )…… 1.几点说明： （1）关键字表的初值。 关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符，查关键字表。如能查到匹配的单词，则该单词的关键字，否则为一般标识符。关键表为一个字符串数组，其描述如下： char *keyword[6]={”for”, ”if”, ”then” ,”else”，”while”, ”do” }; (2) 程序中需要用到的主要变量为 token , id和num. 1）id用来存放构成词法单元的字符串； 2）num用来存放整数（可以扩展到浮点数和科学计数法表示）； 3）token用来存放词法单元的词法记号。 可以参考下面的代码： do{ lexical(); //将词法单元对应的记号保存到token中，属性值保存到num或者id中 switch(token) { case 11: printf ("(token, %d\n) ", num); break; case -1: printf("error!\n");break; default: printf("(%d,%s)\n", token, id); } }while (token!=0);

编译原理课程实验题目，实现了C语言、Java语言词法分析器的功能，包括图形用户界面，可以打开指定的文件，可以保存相应的分析结果。

一 词法分析 1 设计目的：通过完成词法分析程序，了解词法分析的过程 2、设计内容：用C或PASCAL语言实现对某语言（例如：C、PASCAL）的词法识别程序，生成单词，并分类存在符号表中。 3.源程序： （1）：主函数 Main（） void main() {accidence_analyse();//词法分析主程序 out=fopen("tim0n.c","r");//打开生成结果文件tim0n.c test_function();//测试函数 fclose(out); }

这是用java语言写的PL0的词法分析程序。非常适合初学者借鉴学习编译原理，当然也非常适合写编译器的人来借鉴学习编译器的实现。

一、实验任务：编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号。（遇到错误时可显示“Error”，然后跳过错误部分继续显示）