低等级多模式融合
Liu和Shen等人,这是“具有模态特定因素的高效低秩多模态融合”的存储库。 al。 ACL 2018。
依存关系
Python 2.7(现在实验性地支持Python 3.6+)
torch=0.3.1
sklearn
numpy
您可以通过python -m pip install -r requirements.txt安装库。
实验数据
实验的处理数据(CMU-MOSI,IEMOCAP,POM)可在此处下载:
要运行代码,您应该下载腌制的数据集并将其放在data目录中。
请注意,声学特征中可能存在NaN值,您可以将其替换为0。
训练模型
要运行代码进行实验(网格搜索),请使用脚本train_xxx.py 。 它们具有一些命令行参数,如下所示:
`--run_id`: an user-specified unique ID to ensure that save
2021-11-05 09:54:51
1.69MB
Python
1