哈工大编译原理实验词法分析器Python实现代码

云南大学编译原理实验词法分析器，编译通过，可直接运行，含测试文件

、设计题目：词法分析器的设计。 2、设计要求： 使用任何一种编程语言编制一个词法分析程序。 该程序能够识别的单词有5类： 关键字："long", "float", "static", "char", "short", "switch", "int", "const", "if", "then", "else", "for", "while", "break"。 常数：任何整型常数 标识符：字母打头的字母数字串。 → → → 运算符：算术运算符 +，-，*，/ 关系运算符>,>=,<,<=,=， (5) 界符： （， ）， ”, ！， ；

在eclipse、Java环境下实现简单词法分析器： 1．输入：待词法分析的txt文档路径 2．输出： ①　单词串：每一个单词串均为一个WordString对象，所有单词串存放在List中（wordString） ②　符号表：存放在List中（identifier） ③　常数表：存放在List中（constant） 3．实现过程： ①　通过文件IO流读入代码，进行预处理，剔除无关注释、换行符、空格等 ②　对字符串进行遍历，必要时进行超前搜索、回溯

编译词法分析器，用java编写的 public class analyetest { public ArrayList bracket; public ArrayList keyword; public ArrayList symbol; public ArrayList semicolon; public ArrayList operator; static HashMap BRACKET; static HashMap KEYWORD; static HashMap SEMICOLON; static HashMap OPERATOR; public analyetest() { this.KEYWORD = new HashMap(); this.BRACKET = new HashMap(); this.SEMICOLON = new HashMap(); this.OPERATOR = new HashMap(); this.bracket = new ArrayList(); this.keyword = new ArrayList(); this.symbol = new ArrayList(); this.semicolon = new ArrayList(); this.operator = new ArrayList(); }

MFC词法分析器实现

一个简单的词法分析器的MFC程序，用VC6.0编写，结构简单，可以直接运行。保存按钮的默认保存路径为d盘根目录。

这是MFC界面C++语言编写的词法分析器，能够辨别简单的C++代码

1、该个词法分析器要求至少能够识别以下几类单词： a． 关键字：else if int return void while共6个，所有的关键字都是保留字，并且必须是小写； b． 标识符：识别与C语言词法规定相一致的标识符，通过下列正则表达式定义：ID = letter (letter | digit)*； c． 常数：NUM = digit digit*(.digit digit* |ε)(e(+ | - |ε) digit digit* |ε)，letter = a|..|z|A|..|Z|，digit = 0|..|9，包括整数，如123等；小数，如123.45等；科学计数法表示的常数，如1.23e3，2.3e-9等； d． 专用符号：+ - * / < >= == != = ; , ( ) [ ] { } /* */； 2、分析器的输入为由上述几类单词构成的程序，输出为该段程序的机内表示形式，即关键字、运算符、界限符变为其对应的机内符，常数使用二进制形式，标识符使用相应的标识符表指针表示。 3、词法分析器应当能够指出源程序中的词法错误，如不可识别的符号、错误的词法等。

用C语言编写的词法分析器，从文件读入源程序，以二元式形式输出到文件。有详细注解