基于word2vec的大中华区词对齐库的构建
该文针对大陆、香港和台湾地区(简称大中华区)存在同一种语义但采用不同词语进行表达的语言现象进行分析。首先,我们抓取了维基百科以及简繁体新闻网站上的3 200 000万组大中华区平行句对,手工标注了一致性程度达到95%以上的10 000组大中华区平行词对齐语料库。同时,我们提出了一个基于word2vec的两阶段大中华区词对齐模型,该模型采用word2vec获取大中华区词语的向量表示形式,并融合了有效的余弦相似度计算方法以及后处理技术。实验结果表明我们提出的大中华区词对齐模型在以上两种不同文体的词对齐语料库上的F1值显著优于现有的GIZA++和基于HMM的基准模型。此外,我们在维基百科上利用该词对齐模型进一步生成了90 029组准确率达82.66%的大中华区词语三元组。
文件下载
评论信息
其他资源
- ISO26262 功能安全文档模板
- 机器学习Tom 网上所有答案汇总包括英文答案
- 北邮电子工艺实习仿真及报告
- dhtmlxGantt最新版,甘特图,源码,示例,例子,资料齐全
- 何凯明的深度残差网络 PPT
- Wi-Fi：802.11 物理层和发射机测量概述
- TCC(Tiny C Compiler)0.9.26源码 原版和VS工程版
- MFC 单文档基于数据库的超市库存管理 c++实训
- 基于java的传感器信息显示终端
- 基于不定频滞环的SVPWM控制（包含simulink模型以及文献讲解）
- winnonlin5.2.iso
- python知网爬虫
- MSP430单片机I2C应用笔记
- 一款强大的手机远控软件，无需ROOT
- 激光试衣
- 基于图像特征的铜粗选过程病态工况识别
- 浙江理工大学2017-2019年历年研究生入学考试试卷，代码：946.pdf
- 缺陷：FLAW是Haskell中的实验性游戏引擎-源码
- 如何使用ODBC来连接ACCESS数据库
- PowerBuilder2019\PowerBuilder2018下载
- python串口源代码
- 基于Fisher的人脸识别程序
- 最全最经典spring-mvc教程
免责申明
【只为小站】的资源来自网友分享，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论 【只为小站】 经营者是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明