一个简单的词法分析器的MFC程序，用VC6.0编写，结构简单，可以直接运行。保存按钮的默认保存路径为d盘根目录。

这是MFC界面C++语言编写的词法分析器，能够辨别简单的C++代码

此词法分析程序可分析出C语言中： 标识符(以字母或下划线开头,后面可以是数字字母或下划线) 字符串常量 字符常量 整数常量 普通实型 有+/-科学记数 无+/-科学记数 注释 说明，还不能处理预处理命令 33种运算符 说明：,() [] .在界符中有,这里不给出 , ? : sizeof 也没给出 11种分界符 32种关键字 程序使用转换表设计，运行速度快，本人还对每个能识别的符号进行了编号。本程序用VS2010 MFC 设计的，欢迎大家下载分享。。。。

正则表达式+词法分析

编译器-python 词法和句法分析。

1、该个词法分析器要求至少能够识别以下几类单词： a． 关键字：else if int return void while共6个，所有的关键字都是保留字，并且必须是小写； b． 标识符：识别与C语言词法规定相一致的标识符，通过下列正则表达式定义：ID = letter (letter | digit)*； c． 常数：NUM = digit digit*(.digit digit* |ε)(e(+ | - |ε) digit digit* |ε)，letter = a|..|z|A|..|Z|，digit = 0|..|9，包括整数，如123等；小数，如123.45等；科学计数法表示的常数，如1.23e3，2.3e-9等； d． 专用符号：+ - * / < >= == != = ; , ( ) [ ] { } /* */； 2、分析器的输入为由上述几类单词构成的程序，输出为该段程序的机内表示形式，即关键字、运算符、界限符变为其对应的机内符，常数使用二进制形式，标识符使用相应的标识符表指针表示。 3、词法分析器应当能够指出源程序中的词法错误，如不可识别的符号、错误的词法等。

用C语言编写的词法分析器，从文件读入源程序，以二元式形式输出到文件。有详细注解

东南大学-编译原理-词法分析器实验报告.docx

词是最小的能够独立活动的有意义的语言成分,但汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词法分析是中文信息处理的基础与关键。所有涉及中文内容处理的系统，如果没有一个好的中文词法分析系统支持，正确率都会受很大影响。汉语自动智能分词是中文信息处理的基础与关键。所有涉及中文内容处理的系统，如果没有一个好的中文词法分析系统支持，正确率都会受很大影响。具体来说，汉语自动智能分词的主要应用领域包括：

简单的词法分析器，能够接收一系列不同的正则变量定义，通过正则表达式后缀式的构建、nfa的构建、dfa的构建及其最简化、dfa的合并等步骤实现动态词法分析。