详情查看博客:https://blog.csdn.net/weixin_44155115/article/details/103441240
识别保留字:if、int、for、while、do、return、break、continue等等;单词种别码为1。
其他的都识别为标识符;单词种别码为2。
常数为整数或浮点数;单词种别码为3。
运算符包括:+、-、*、/、=、>、=、<=、!= ;单词种别码为4。
分隔符包括: “,”“;”“(”“)”“{”“}”等; 单词种别码为5。
处理注释(去掉注释): /* */
1