知识蒸馏 知识蒸馏(a.k.a Teacher-Student Model)旨在利用一个小模型(Student)去学习一个大模型(Teacher)中的知识, 期望小模型尽量保持大模型的性能,来减小模型部署阶段的参数量,加速模型推理速度,降低计算资源使用。 目录结构 1.参考 (Hinton et al., 2015), 在cifar10数据上的复现,提供一个对Knowledge Distillation的基本认识,具体内容请查阅: 2.利用BERT-12 作为Teacher,BERT-3作为student,同时学习ground truth 和 soften labels,性能与Teacher 相当甚至更优,具体内容请查阅: 主要参考论文: 3.利用模块替换的思路,来进行Knowledge Distillation,具体内容请查阅: 论文: Blog: repo: 4.利用不同样本预测的难易
2022-02-25 14:29:26 87KB nlp keras knowledge-distillation bert
1
半导体先进封装专业知识,适合于想初步了解这方面的朋友们.
2022-02-11 10:09:46 3.67MB 半导体
1
教育学科知识图谱及问答 功能主要包括学科知识图谱以及题目知识点追踪、关系查询、问答及知识点预测等。 前端页面参考:https://github.com/qq547276542/Agriculture_KnowledgeGraph,在此表示非常感谢。 此项目也参考了作者之前的电影图谱:https://github.com/jiangnanboy/movie_knowledge_graph_app,具体细节可参考此项目。 准备数据及构建实体及关系 数据为知识点和题目,利用neo4j进行构建。构建方式如https://github.com/jiangnanboy/movie_knowledge_graph_app。 项目结构 . │ │   ├── edu_kg // django项目路径 │   ├── Model // 模型层,用于和neo4j交互,实现查询等核心功能 │
2022-01-16 20:19:19 4.42MB qa neo4j pytorch education-knowledge-graph
1
“知交”微信小程序exchange-knowledge-master.zip
2022-01-07 20:07:23 53KB 微信小程序
1
BERT属性提取 基于bert的知识图谱属性撤销 将BERT用于KnowledgeGraph中的属性提取有两种方法,即微调和特征提取。 知识图谱百度百科人物词条属性撤除,使用基于伯特的微调微调和特征提取特征提取方法进行实验。 先决条件 Tensorflow >=1.10 scikit-learn 预训练模型 :简体中文和繁体中文,12层,隐藏768、12头,110M参数 正在安装 没有 数据集 该数据集是根据百度百科字符条目构建的。 筛选出不包含实体和属性的语料库。 实体和属性是从名称实体识别获得的。 标签是从“百度百科”信息框中获取的,大多数标签是手动标签的,因此有些标签不是很好。 例
2022-01-07 19:35:48 3.33MB nlp ai knowledge-graph feature-extraction
1
与知识图交互的学习意向以进行推荐 这是本文的PyTorch实现: 王翔,黄廷林,王定贤,袁彦成,刘振光,何湘南和蔡达生(2021年)。 与知识图交互的学习意向以进行推荐。 。 2021年4月19日至23日,在斯洛文尼亚卢布尔雅那的WWW'2021年举行。 作者:王翔博士(u.nus.edu上的xiangwang)和黄廷麟先生(zju.edu.cn上的tinglin.huang先生) 介绍 基于知识图的意图网络(KGIN)是一个推荐框架,它由三个组件组成:(1)用户意图建模,(2)关系路径感知聚合,(3)独立建模。 引文 如果您想在研究中使用我们的代码和数据集,请引用: @inproceedings{KGIN2020, author = {Xiang Wang and Tinglin Huang and Dingxia
1
基于neo4j,django,pytorch,py2neo的电影图谱及问答 功能主要包括实体识别、实体查询、关系查询以及问答几个模块。 项目中用到的数据来自网上公开数据集 前端页面参考:https://github.com/qq547276542/Agriculture_KnowledgeGraph,在此表示非常感谢。 准备数据及构建实体及关系 note:以下数据导入是在Neo4j控制台上完成,将数据data/node与data/relation放入neo4j安装目录下import文件夹下: 三类实体(节点): 实体类型 数据文件 数量 说明 Movie Movie.csv 4587 电影实体 Person Person.csv 22937 人员实体 Country Country.csv 84 国家实体 四类关系: 关系类型 主语
2021-12-27 21:47:43 14.45MB django neo4j pytorch py2neo
1
知识图谱Knowledge Graph构建与应用实践高级研修班-课件
2021-12-25 00:29:13 201.51MB 知识图谱
1
NL2SQL-BERT 内容增强的基于BERT的文本到SQL生成 将数据库设计规则整合到text-to-sql生成中: 我们使用表格单元格和问题字符串的匹配信息来构造一个向量,该向量的长度与问题长度相同。 该问题向量主要提高了WHERE-VALUE推理结果的性能。 因为它注入了将答案单元格及其对应的表头绑定在一起的知识。 如果找到答案单元格,那么我们将找到包含答案单元格的答案列。 我们使用所有表头和问题字符串的匹配信息来构造一个向量,该向量的长度与表头的长度相同。 该头向量主要提高了WHERE-COLUMN推理结果的性能。 要求 python 3.6 记录0.5.3 火炬1.1.0
2021-12-19 14:34:21 4.97MB nlp deep-learning knowledge pytorch
1
Knowledge-Graph-4-VIS-推荐 论文“ KG4Vis:基于知识图的可视化推荐方法”的实现。 有关此项目的更多详细信息,请访问我们的。 操作说明 在运行之前,请先在下载原始数据然后将.csv文件解压缩到./data中。 提取功能:./ python feature_extraction.py下的python feature_extraction.py 。 我们还提供了提取的功能,以节省时间。 请下载并将.csv文件解压缩到./features。 KG构造和测试生成: python KG_construction.py python test_generation.py下的python KG_construction.py和python test_generation.py test_generation.py。 嵌入学习: ./run.sh运行下./embeddin
2021-12-18 14:27:09 1.84MB Python
1