语言模型预训练已经显示出可以捕获数量惊人的世界知识，这对于NLP任务(例如问题
解答)至关重要。但是，此知识隐式存储在神经网络的参数中，需要更大的网络才能
覆盖更多的事实。
为了以更模块化和可解释的方式捕获知识，我们使用潜在的知识检索器增强了语言模
型的预训练，检索器使模型可以从预训练、微调和推理期间使用的大型语料库(如
Wikipedia)中检索并使用文档。首次，我们展示了如何使用蒙版语言建模作为学习信
号并通过考虑数百万个文档的检索步骤进行反向传播，从而以无监督的方式对这种知
识检索器进行预训练。
我们通过微调开放域问答(Open-QA)的挑战性任务，证明了检索增强语言模型预训练
(REALM)的有效性。我们在三个流行的Open-QA基准测试中与最先进(SOTA)的显式和隐
式知识存储模型进行了比较，发现我们在性能上优于所有以前的方法(绝对精度为
4-16％)，同时还提供了定性优势，例如可解释性和模块化。
2022-10-14 00:25:44
727KB
1
Rebiber：使用官方信息标准化bibtex的工具。
我们经常引用使用他们的arXiv的论文版本不提的是，他们在一些会议已经发布。 这些非正式的围兜条目可能会违反某些会议的提交规则或适用于摄像头的版本规则。 我们引入Rebiber ，这是Python中的一个简单工具，可以自动修复它们。 它基于来自或的官方会议信息（适用于NLP会议）！ 您可以在查看支持的会议列表。
您可以用作简单的网络演示。
安装
pip install rebiber -U
要么
git clone https://github.com/yuchenlin/rebiber.git
cd rebiber/
pip in
2022-10-13 11:58:10
23.91MB
1
Pocketlang是一种用 C 编写的小型（约 3000 个分号）和函数式语言。它在语法上类似于 Ruby，可以学会。 包括编译器、字节码 VM 和运行时，它是一个独立的可执行文件，具有零外部依赖项，就像它的自描述名称一样。 pocketlang VM 可以很容易地嵌入到另一个托管程序中。
和他们的精彩书籍被用作编写这种语言的参考。
口袋郎长什么样
# Python like import statement.
from lang import clock as now
# A recursive fibonacci function.
def fib ( n )
if n < 2 then return n end
return fib ( n - 1 ) + fib ( n - 2 )
end
# Prints all fibonacci from 0 to 10 exc
2022-10-11 18:32:29
292KB
1