本文提出了一种新的四维卷积递归神经网络方法,将多通道脑电信号的频率、空间和时间信息显式地整合在一起,提高基于脑电的情绪识别精度。
首先,为了保持脑电的这三种信息,我们将不同通道的差分熵特征转化为4D结构来训练深度模型。
然后,我们引入了由卷积神经网络(CNN)和带有长短时记忆(LSTM)细胞的递归神经网络(recurrent neural network)组合而成的CRNN模型。
使用CNN从每个4D输入的时间切片中学习频率和空间信息,使用LSTM从CNN输出中提取时间依赖性。
LSTM的最后一个节点的输出执行分类。
我们的模型在主题内分裂的SEED和DEAP数据集上都达到了最先进的性能。
实验结果表明,结合脑电的频率、空间和时间信息进行情感识别是有效的。