本示例调用百度云自然语言处理API,能够识别出文本串中的基本词汇(分词),对这些词汇进行重组、标注组合后词汇的词性,并进一步识别出命名实体。
2021-08-26 21:08:09 230KB 自然语言处理 切词 词法分析
1
实验一名称 词法分析程序(2学时) 实验目的 理解词法分析在编译程序中的作用;加深对有穷自动机模型的理解; 掌握词法分析程序的实现方法和技术。 实验内容 选择部分C语言的语法成分,设计其词法分析程序,要求能够识别关键字、运算符、分界符、标识符、常量(至少是整型常量,可以自己扩充识别其他常量)等,并能处理注释、部分复合运算符(如>=等)。单词以二元式形式输出、输出有词法错误的单词及所在行号。 实验要求 (1)待分析的简单的语法 关键字:begin if then while do end … 运算符和界符::= + - * / < >= = == ; ( ) # , … 其他单词是标识符id和整型常数num,通过以下正规式定义: id=l(l|d)* (l:letter d:digit) num=dd* 空格、注释:在词法分析中要去掉。 (2)各种单词符号对应的种别编码(参考这张表,可以不同) (3)待分析的源程序: (a)int main() { int a=1,b=2; b/a; /* 注释部分*/ b>a; c=a+b; cout<0) { if (2x = = 7) i3=z; } 实验二名称 预测分析程序(2学时) 实验目的 掌握LL(1)文法分析思想;掌握预测分析程序的构造方法。 实验内容 设计及实现能够识别表达式的预测分析程序。 实验要求 (1)总体要求: 1) 根据文法手工或程序方式构造预测分析表; 2) 采用程序方式构造预测分析表时,需计算First()和Follow()集合,有一定难度; 3) 根据预测分析表,设计并实现预测分析总控程序,完成自上而下的语法分析器。 (2)文法的定义(可以选择此文法,也可以自己选择其他文法) (3)给出当输入串为:(i1+i2)*(i3+i4)的分析过程。(输出分析过程中的栈,输入串和利用的产生式等信息)
实验目的: 通过设计编制调试具体的词法分析程序和相应的LEX程序,掌握词法分析程序的设计思想,掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。掌握LEX源程序的基本组成及其使用方法,加深对词法分析程序的理解。 实验内容: 分别使用某种高级语言(不能使用正则表达式)和LEX实现一个C语言子集的词法分析器,该词法分析器读入一个C语言的源程序,完成有以下功能。 滤掉空格。(其中空白符、制表符和换行符均视为空格,用来分隔单词) 滤掉注释。(其中注释包括两种形式:/*…*/和//) 遇到非法单词时可显示“Error”,然后跳过错误部分继续显示 将识别出来的合法单词分为以下五大类,依次输出各个单词的内部编码(编码为1—5,如下)及单词符号自身值。 1. 关键字 2. 标识符 3. 常数:包括整数和实数(包括十进制小数形式,如1.23和指数形式如1.2e5或1.2E5) 4. 运算符:如= + - * / < >= == != 等符号 5. 分隔符:; { } 等符号 程序输入/输出示例: 如源程序为C语言程序test.c: main()                                                                         {/*test.c*/ int a,b; a = 10; b = a + 20; //end of program } 要求输出结果如下,保存在文件result.txt中 2, main 5,( 5,) 5,{ 1,int 2,a 5,, 2,b 5,; 2,a 4,= 3,10 5,; 2,b 4,= 2,a 4,+ 3,20 5,; 5,}
2021-08-23 13:10:21 3KB 编译原理 词法分析 北京林业大学
1
真正的Java版的斯坦福最新句法分析器支持中文,英文,阿拉伯文等句法分析,能直接在界面上上显示句法树,希望对大有帮助!
2021-08-17 09:46:04 50.21MB 中英文句法分析 Java 句法词法分析
1
编译原理电子课件
2021-08-16 17:08:02 668KB 编译原理电子课件
编译原理词法分析实验报告 ,词法分析的报告哦,有配套的源代码(Java语言实现)
1
这是配套的源代码,在IDEA中打开即可,Java语言编写。用swing编写的图形界面。
1
最全代码,课设代码已验证可以直接运行,语法分析用了两种方式实现:LL1以及递归下降分别实现,Predict集也有两种方式实现,具体详见代码。注释全面。
2021-08-06 17:06:40 365KB C++/C
简易的词法分析程序,多一个识别int36的功能,适合某211的课程设计使用
2021-08-03 09:28:13 7KB 编译原理
1
编译原理课程设计,完成了词法分析,语法分析和类型检查,编写语言为JAVA。使用JLEX产生词法分析器。
2021-07-26 21:17:42 591KB 编译 词法分析 语法分析 类型检查
1