在NLP中，数据清洗与分词往往是很多工作开始的第一步，大多数工作中只有中文语料数据需要进行分词，现有的分词工具也已经有了很多了，这里就不再多介绍了。英文语料由于其本身存在空格符所以无需跟中文语料同样处理，如果英文数据中没有了空格，那么应该怎么处理呢？
今天介绍一个工具就是专门针对上述这种情况进行处理的，这个工具叫做：wordninja，地址在这里。
下面简单以实例看一下它的功能:
def wordinjaFunc():
'''
https://github.com/yishuihanhan/wordninja
'''
import wordninja
print word
2023-03-04 00:25:50
50KB
1
本标准代替YDff 1766-2008《光通信用光收发合一模块的可靠性试验失效判据》 。
2023-03-03 21:53:01
2.98MB
1
步骤及现象：程序下载前，选择stc-isp的IRC频率：12MHz。用跳线帽短接J5左侧两排针及J10左侧两排针。把液晶12864、射频模块MFRC522分别连接到对应的位置。程序下载后，12864上会显示三行信息。第一行：“门禁系统”；第二行：“12时00分00秒”；第三行：“2019年01月01日”。这时按按键1，“门禁系统”四个字消失，原来位置出现“设置时间”，同时年的前两位开始以0.5s为间隔开始闪烁，表示被选中。这样说吧，按键1是年的前两位、年的后两位、月、日、时、分、秒的位选键，选中则闪烁，通过按键2进行加，按键3进行减。按键0则是注册与注销的位选键，按一次按键0，出现功能界面，这时再按一次按键0，注册两字前出现对号，表示你可以把卡片放到RC522射频模块附近，识别到就会在12864上显示注册成功，这时可以拿离卡片。我们接着按按键0，发现注销两字前出现对号，表示可以对已注册卡进行注销，识别到就会在12864上显示注销成功四个字。再次按按键0退出功能界面，回到最初界面。拿张M1卡，放到mfrc522附近，如果卡片注册过，那会出现2s“欢迎回家”提醒，同时继电器发出一声“咔”；若没注册，显示2s“卡片无效”。
2023-03-03 21:42:00
14.46MB
1
DaVinCi 配置CanIf模块的技术手册，内容涉及Canif功能模块介绍，API接口等.基于RH850芯片的DaVinCi诊断模块配置手册。虽然说是RH850芯片，但是文档内的内容是标准化的，通用化的。包括函数接口等服务都是通用的
2023-03-03 15:44:30
1.06MB
1
DaVinCi 配置 CAN模块的技术手册，内容涉及CAN功能模块介绍，API接口等.基于RH850芯片的DaVinCi诊断模块配置手册。虽然说是RH850芯片，但是文档内的内容是标准化的，通用化的。包括函数接口等服务都是通用的
2023-03-03 15:43:10
1.11MB
1
DaVinCi 配置 Com模块的技术手册，内容涉及Com功能模块介绍，API接口等.基于RH850芯片的DaVinCi诊断模块配置手册。虽然说是RH850芯片包里的，但是文档内的内容是标准化的，通用化的。包括函数接口等服务都是通用的
2023-03-03 15:35:45
1.52MB
1
DaVinCi 配置 IoHwAb模块的技术手册，内容涉及IoHwAb功能模块介绍，API接口等.基于RH850芯片的DaVinCi诊断模块配置手册。虽然说是RH850芯片包里的，但是文档内的内容是标准化的，通用化的。包括函数接口等服务都是通用的
2023-03-03 15:33:50
999KB
1
DaVinCi 配置 ComM模块的技术手册，内容涉及ComM功能模块介绍，API接口等.基于RH850芯片的DaVinCi诊断模块配置手册。虽然说是RH850芯片包里的，但是文档内的内容是标准化的，通用化的。包括函数接口等服务都是通用的
2023-03-03 15:31:29
1.03MB
1
DaVinCi 配置 RTE模块的技术手册，内容涉及功能模块介绍，API接口等.基于RH850芯片的DaVinCi诊断模块配置手册。虽然说是RH850芯片包里的，但是文档内的内容是标准化的，通用化的。包括函数接口等服务都是通用的
2023-03-03 15:17:34
1.22MB
1