何谓自动分词,自动分词就是将用自然语言书写的文章、句段经电子计算机处理后,以词为单位给以输出,为后续加工处理提供先决条件。此技术对于信息分析、情报检索、机器翻译、数据库管理和人工智能等IT应用方面有着关键性的作用。
自动分词的实现,对于拉丁语系来说并不困难,其语言文字的形成结构中,词与词之间本身就有着明显的间隔符(如:空格、标点符号等),但对于中文来说,就是一个至今仍未能得以很好解决的技术难题,中文词与词之间没有着明显的间隔符,甚至连标点符号都没有的古文更是为难了。当今,国内外IT界的一些仁人志士们还在为此技术不懈努力着。
2022-01-26 17:37:06
1.25MB
中文
1