### SUNET: Speaker-Utterance Interaction Graph Neural Network for Emotion Recognition in Conversations #### 背景与意义 在当今社会，随着人工智能技术的飞速发展，对话系统中的情感识别（Emotion Recognition in Conversations, ERC）已经成为了一个重要的研究领域。通过捕捉对话中说话人的情绪变化，ERC在客户服务、心理治疗、娱乐等多个领域都有着广泛的应用前景。近年来，图神经网络（Graph Neural Networks, GNNs）因其能够捕捉复杂非欧几里得空间特征的能力，在ERC任务中得到了广泛应用。然而，如何有效地建模对话过程，以提高在复杂交互模式下的ERC效果仍然是一个挑战。 #### 主要贡献 为了解决上述问题，本文提出了一种名为SUNET的新方法，该方法构建了一个基于说话人和话语（utterance）交互的异构网络，有效考虑了上下文的同时，还考虑了说话人的全局特性。具体而言，SUNET的主要贡献包括： 1. **构建Speaker-Utterance Interactive Heterogeneous Network**：SUNET首先构建了一个说话人-话语交互的异构网络，该网络不仅包含了话语节点，还包括了说话人节点，这样可以在考虑话语之间关系的同时，也考虑到说话人之间的联系。 2. **基于GNN的情感动态更新机制**：在异构网络的基础上，SUNET利用图神经网络对话语和说话人的表示进行动态更新。这一机制根据说话顺序来更新话语和说话人的表示，从而更好地捕捉到对话中的情感变化。 3. **定制化的节点更新策略**：为了充分利用异构网络的特点，SUNET分别为话语节点和说话人节点设计了不同的更新方法，确保每个节点都能得到最合适的表示更新。 #### 方法论 1. **网络结构**： - **话语节点**：每个话语被视为一个节点，其包含的内容可以是文本、语音或两者的组合。这些节点通过边与其他话语节点相连，表示对话中的话语顺序。 - **说话人节点**：每个说话人都有一个对应的节点，该节点不仅包含了说话人的基本信息，还包含了该说话人在整个对话中的所有话语的汇总信息。 2. **节点特征更新**： - **话语节点**：采用特定的GNN层（如GCN、GAT等），根据当前话语及其前后话语的内容，更新该话语节点的特征向量。 - **说话人节点**：说话人节点的更新则依赖于与其相关的所有话语节点的信息。通过聚合这些信息，可以更新说话人节点的特征向量，以反映说话人在对话中的情绪状态。 3. **训练与优化**： - 使用多轮对话数据进行训练，并采用交叉验证等技术优化模型参数。 - 在训练过程中，可以引入额外的任务（如说话人身份识别）作为辅助任务，以进一步提升模型性能。 #### 实验结果 为了验证SUNET的有效性，作者在四个ERC基准数据集上进行了广泛的实验。实验结果显示，SUNET相比于现有方法取得了平均0.7%的性能提升。这表明，通过结合说话人和话语的交互信息，并利用图神经网络对其进行建模，可以有效地提升情感识别的效果。 SUNET为对话情感识别提供了一种新的视角，通过构建说话人-话语交互的异构网络并利用图神经网络进行建模，实现了对对话中情感变化的有效捕捉。这种方法不仅在理论上有一定的创新性，在实际应用中也具有很高的潜力。

情绪识别：通过面部表情和语音进行双峰情绪识别

社交情感分类旨在预测嵌入在由各种用户贡献的在线评论中的情感React的聚合。 这样的任务具有固有的挑战性，因为从自由文本中提取相关语义是一个经典的研究问题。 此外，在线评论通常以稀疏的特征空间为特征，这使得相应的情感分类任务非常困难。 另一方面，尽管由于深度神经网络具有将稀疏的低级特征转换为密集的高级特征的能力，因此已被证明对语音识别和图像分析任务有效，但它们在情感分类上的有效性仍需进一步研究。 本文报道的工作的主要贡献是开发了一种新型的语义丰富的混合神经网络（HNN）模型，该模型利用无监督的教学模型将语义域知识整合到神经网络中，以引导其推理能力和可解释性。 据我们所知，这是将语义纳入神经网络以增强社交情感分类和网络可解释性的第一个成功工作。 通过基于三个现实世界社交媒体数据集的实证研究，我们的实验结果证实，提出的混合神经网络优于其他最新的情感分类方法。

RECCON：识别对话中的情感原因 该存储库包含论文“的数据集和模型的pytorch实现。 任务概述 给定一个用情感E标记的话语U，任务是从对话历史记录H中提取因果跨度S（包括话语U），该因果跨度S足以表示情感E的原因。 数据集 原始带注释的数据集可以在data/original_annotation文件夹中的json文件中找到。 可以在data/subtask1/和data/subtask2/文件夹中找到带有因果提取和因果情感任务的负面示例的数据集。 资料格式 DailyDialog和IEMOCAP的注释和对话可从 。json获得。 JSON文件中的每个实例都分配了一个标识符（例如“ tr_10180”），该标识符是一个列表，其中包含针对每种话语的以下各项的字典： 钥匙 价值 turn 话语指数从1.开始 speaker 目标话语的说话者。 utterance 话语文字。

CLUE Emotion Analysis Dataset 情感分析数据集

卷积神经网络 表情和性别分类 CNN for Emotion and Gender Classification

音乐情感识别：在个性化和上下文相关的应用程序中迈向新的强大标准 抽象的 在本文中，我们介绍了音乐情感识别（MER）的挑战和局限性，这是一个跨学科研究领域，致力于解决情感方面的音乐表征。 它分析音乐，以便通过计算预测听众感知或诱发的情感。 我们的目标是：（1）提供有关MER工作流中当前使用的典型方法的见解，以及（2）提示以前的研究如何将其引导到特定的未来方向。 我们为MER提供了一个以用户为中心的新概念化框架，强调了未来的研究人员应将重点放在哪里：（1）开放数据和实验可再现性；（2）概念和注释的固有主观性；（3）模型的可解释性和可解释性；（4）文化和背景相关性，以及（5）对MER应用的道德影响。 该网站提供了音乐和情感数据集以及扩展书目的详细概述。 目录 音乐情感识别数据集 数据集 年 内容 格式 尺寸 类型 感知/诱导 2007年 269摘录（30秒长） MP3 736MB 分

情感识别 使用深度学习和openCV制作的实时情感识别工具。 要求 1）OpenCV 2）火炬 3）法泰 4）Python 3 数据集和模型 如果您想使自己的模型运行make_model.py文件， make_model.py使用的数据集和经过预先训练的模型已上载到make_model.py库中。 笔记 The given model works on `Resnet34` architecture and I have used a pretrained model. 什么是预训练模型？ 预先训练的模型先前已在数据集上进行训练，并且包含权重和偏差，这些权重和偏差表示代表其被训练的任何数据集的特征。 学习的功能通常可以转移到不同的数据。 例如，在大型鸟类图像数据集上训练的模型将包含可转让的数据集（例如边缘或水平线）等学习到的特征。 为什么要使用预训练模型？ 预训练模型对我

人脸表情识别，训练集，验证集，集，kaggle的fer2013数据集。

此数据集由几千个 Twitter 用户评论（输入文本）和情感（输出标签）组成，用于学习如何培训文本以进行情绪分析。 此数据集是通过实施关键字使用 Twitter API 创建的。 这里的想法是一个数据集不仅仅是一个玩具 - 合理的规模的真实业务数据 - 但可以在几分钟内在一个适度的笔记本电脑上训练。 file/opensearch/documents/92964/data.csv