该文档含《编译原理》中词法分析器设计的知识讲解PPT和文档设计要求。

、设计题目：词法分析器的设计。 2、设计要求： 使用任何一种编程语言编制一个词法分析程序。 该程序能够识别的单词有5类： 关键字："long", "float", "static", "char", "short", "switch", "int", "const", "if", "then", "else", "for", "while", "break"。 常数：任何整型常数 标识符：字母打头的字母数字串。 → → → 运算符：算术运算符 +，-，*，/ 关系运算符>,>=,<,<=,=， (5) 界符： （， ）， ”, ！， ；

在eclipse、Java环境下实现简单词法分析器： 1．输入：待词法分析的txt文档路径 2．输出： ①　单词串：每一个单词串均为一个WordString对象，所有单词串存放在List中（wordString） ②　符号表：存放在List中（identifier） ③　常数表：存放在List中（constant） 3．实现过程： ①　通过文件IO流读入代码，进行预处理，剔除无关注释、换行符、空格等 ②　对字符串进行遍历，必要时进行超前搜索、回溯

编译词法分析器，用java编写的 public class analyetest { public ArrayList bracket; public ArrayList keyword; public ArrayList symbol; public ArrayList semicolon; public ArrayList operator; static HashMap BRACKET; static HashMap KEYWORD; static HashMap SEMICOLON; static HashMap OPERATOR; public analyetest() { this.KEYWORD = new HashMap(); this.BRACKET = new HashMap(); this.SEMICOLON = new HashMap(); this.OPERATOR = new HashMap(); this.bracket = new ArrayList(); this.keyword = new ArrayList(); this.symbol = new ArrayList(); this.semicolon = new ArrayList(); this.operator = new ArrayList(); }

MFC词法分析器实现

一个简单的词法分析器的MFC程序，用VC6.0编写，结构简单，可以直接运行。保存按钮的默认保存路径为d盘根目录。

这是MFC界面C++语言编写的词法分析器，能够辨别简单的C++代码

此词法分析程序可分析出C语言中： 标识符(以字母或下划线开头,后面可以是数字字母或下划线) 字符串常量 字符常量 整数常量 普通实型 有+/-科学记数 无+/-科学记数 注释 说明，还不能处理预处理命令 33种运算符 说明：,() [] .在界符中有,这里不给出 , ? : sizeof 也没给出 11种分界符 32种关键字 程序使用转换表设计，运行速度快，本人还对每个能识别的符号进行了编号。本程序用VS2010 MFC 设计的，欢迎大家下载分享。。。。

正则表达式+词法分析

编译器-python 词法和句法分析。