时间序列转换器
Transformer 模型的实现(最初来自 )应用于时间序列(由提供支持)。
变压器型号
Transformer 是基于注意力的神经网络,旨在解决 NLP 任务。 它们的主要特点是:
特征向量维度的线性复杂度;
序列计算的并行化,而不是顺序计算;
长期记忆,因为我们可以直接查看任何输入时间序列步骤。
这个 repo 将专注于它们在时间序列中的应用。
数据集和应用作为元模型
我们的用例是为建筑能耗预测建模一个数字模拟器。 为此,我们通过对随机输入(建筑特征和使用情况、天气等)进行采样创建了一个数据集,并获得了模拟输出。 然后我们以时间序列格式转换这些变量,并将其提供给转换器。
时间序列的改编
为了在时间序列上表现良好,必须进行一些调整:
嵌入层被通用线性层取代;
原始位置编码被删除。 可以改用“常规”版本,更好地匹配输入序列日/夜模式;
在注意力图上应用一个
1