语言模型预训练已经显示出可以捕获数量惊人的世界知识,这对于NLP任务(例如问题 解答)至关重要。但是,此知识隐式存储在神经网络的参数中,需要更大的网络才能 覆盖更多的事实。 为了以更模块化和可解释的方式捕获知识,我们使用潜在的知识检索器增强了语言模 型的预训练,检索器使模型可以从预训练、微调和推理期间使用的大型语料库(如 Wikipedia)中检索并使用文档。首次,我们展示了如何使用蒙版语言建模作为学习信 号并通过考虑数百万个文档的检索步骤进行反向传播,从而以无监督的方式对这种知 识检索器进行预训练。 我们通过微调开放域问答(Open-QA)的挑战性任务,证明了检索增强语言模型预训练 (REALM)的有效性。我们在三个流行的Open-QA基准测试中与最先进(SOTA)的显式和隐 式知识存储模型进行了比较,发现我们在性能上优于所有以前的方法(绝对精度为 4-16%),同时还提供了定性优势,例如可解释性和模块化。
2022-10-14 00:25:44 727KB 自然语言处理 REALM 预训练 问答
1
accelerometer data training using artificial neural network to recognized head moving left
2022-09-23 13:00:10 14KB head
介绍了HYPERMESH的基础操作过程,有利于初学者上手。
2022-09-21 20:21:58 4.3MB hypermesh
1
侧向风的施加 变量名称 物理意义 Wind Amplitude 侧向风的大小 Wind Heading 风的方向
2022-09-21 16:39:10 6.1MB 参数设置 工况设置 联合仿真
1
CDMA技术培训资料,希望对学习CDMA的同学有帮助!
2022-09-20 19:00:27 209KB cdma_training cdma cdma_资料
Power PMAC 5-Day Training
2022-09-08 11:04:53 8.7MB POWERPMAC
1
OFA_Training_Sept_2016
2022-08-25 14:07:08 5.54MB rdma
1
CLIP-GEN 是一个 Language-Free 的文本生成图像的方法,它不依赖图文训练样本,通过预训练 CLIP 模型的强大表征能力,只需要图片数据就可以训练出一个文本生成图像的模型。该方法的基本原理是:CLIP-GEN 首先会训练一个 VQ-GAN,把图片映射到离散空间;然后再训练一个 GPT 模型,把 CLIP embedding 映射到 VQ-GAN 的离散空间;由于在 CLIP 中,文本和图像共享一个特征空间,在 inference 的时候我们就可以通过同样的方法把文本映射到 VQ-GAN 的离散空间,然后 decode 为 RGB 图像。
2022-08-23 11:05:54 6.5MB CLIP-GEN Text-to-ImageGe
1
美式英语口语训练原声
2022-08-18 10:43:21 331.83MB 英语口语
1