共8400多对中英语句，已预处理，中文用jieba分了词，标点符号没问题，保存于en-zh.csv，分隔符是制表符\t（不是默认逗号）。
句粒度，但有不少长句，裁剪后5w对也够用。
原始数据集也在包中，其中en-zh_News.tmx有一部分句子有问题，（en-zh.csv丢弃了有问题的句子），如果必要建议不要直接使用该文件。
另外附赠我对语料的预处理文件（propressor.py），以及数据集（pytorch的Dataset）等相关的实现（LangData.py)。
如果又可以改善的地方，欢迎留言
2019-12-21 21:44:28
35.14MB
1
网上搜集的一些中英平行语料库，包括两部电影（约300k），白皮书（约8M），政治新闻（约2M）。送给和我一样正需要语料库的你。（如果有需要，可以和我交流）
2019-12-21 20:13:54
3.52MB
1