马来语数据集，我们收集了马来西亚语料库！ 该存储库用于存储和。 我们将不断更新此存储库。 我们如何收集数据集？ 对于新闻，文章和字幕，我们使用搜寻器，您可以从此处获取代码 。 对于Bahasa，大多数情况下我们使用Google Translator，您可以从此处获取代码 。 使用社交媒体，我们使用爬虫从Twitter，Facebook和Instagram捕获大多数实时数据，因此我们仅使用Elasticsearch查询进行搜索。 对于语音，我们使用Macbook Air 2013附带的有线麦克风进行录制，同时阅读了bahasa维基百科的一些随机文本。 我们请一些语言学家来监督。 词汇->从翻译中学习不足->自信学习->来自人类的5次迭代。 执照 根据知识共享署名4.0国际许可，可以下载Malay-Dataset用于研究。 这项工作是根据。 仅使用此标签标记的数据 受此许

短消息服务（SMS）消息是一个人从他们的手机发送到另一个人的短消息。它们代表了一种个人交流手段，是当今数字时代重要的交流产物。此数据集包含SMS消息，这些消息是从知道他们正在参加研究项目的用户收集的，并且他们的消息将被公开共享。该数据集包含两种语言的两种SMS消息：新加坡英语和普通话。 smsCorpus_zh_2015.03.09.json smsCorpus_en_2015.03.09_all.json

PDF到TXT（带有OCR） 给定一个或多个可能包含文本格式图像的PDF，请使用OCR（光学字符识别）将内容转换为TXT文件（采用UTF-8编码）。 基本原理 对现有PDF到TXT解决方案的调查发现，没有满足以下所有条件的现有解决方案： 是一种离线工具（用于确保安全的人员信息） 提供从PDF到TXT的转换（大多数现有的OCR集成均假定图像作为输入） 支持多个文件的批处理 假设条件 （当前）这是一个用Python编写的命令行工具。 假定基本熟悉在终端中执行命令以及目录结构。 假定您已安装Python版本3.x以及 。 该脚本依赖于由Google管理的行业标准OCR库，称为 。 由于它是用C ++编写的，因此要使Python能够使用它，就需要单独安装（下面的说明）。 同样，将需要在Windows和Mac系统上安装PDF到图像库 。 设置 视窗 在您的桌面上新建一个名为ocr文件夹（

汉字频率 通过处理来自各种来源的文本数据来收集汉字使用频率的统计数据。 您可以在目录中找到以下文件： 文件 汉字总数 描述 日期 〜51.5百万 小说和非小说书籍 2015年5月 〜1030万 来自各种来源的在线新闻文章 2015年6月 〜1000万 收集的Twitter消息 2015年6月 约784.6M 日语 2015年5月 请参阅下面的详细说明。 格式 每个文件包含一个数组数组（行）。 每行包含三个字段： （字符串）汉字本身。 第一行中的"all"是特例。 （整数）在分析的数据集中发现多少次。 对于"all"它是包括重复在内的汉字总数。 （浮点数）此字符表示的数据总量的

课业1-大型文本语料库的搜索引擎 UoE-IADS CW1

中文问句分类数据集，可用于训练中文问句分类和句向量抽取等任务。

中文命名实体识别数据集

PPASR中文语音识别（最终级）模型（free_st_chinese_mandarin_corpus数据集训练的），源码地址：https://github.com/yeyupiaoling/PPASR

事件抽取 事件关系抽取 数据集 包含部分ACE 2005 Multilingual Training Corpus 和 Text Analysis Conference Knowledge Base Population (TAC KBP)的语料集

布朗语料库是美国英语的首个文本语料库，它取自不同主题的报纸文本、书籍以及政府文件，包含 1,014,312 个单词的它主要用于语言建模。 cats.csv brown-meta.json brown.csv Brown Corpus 布朗语料库_datasets.txt Brown Corpus 布朗语料库_brown_datasets.zip