贝特维兹 BertViz是用于可视化Transformer模型中注意力的工具，支持库中的所有模型（BERT，GPT-2，XLNet，RoBERTa，XLM，CTRL等）。 它扩展了的以及的库。 资源资源 :joystick_selector: :writing_hand_selector: :open_book: 总览 正面图 头部视图可视化给定转换器层中一个或多个注意头产生的注意模式。 它基于出色的。 尝试此 其中已预加载了头部视图。 头部视图支持Transformers库中的所有模型，包括： BERT： GPT-2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 模型视图 模型视图提供了对模型所有层和头部的关注的鸟瞰图。 试用此 其中已预加载了模型视图。 模型视图支持Transformers库中的所有模型，包括： BERT： GPT2： XLNet： RoBERTa： XLM： 阿尔伯特： DistilBERT： （和别的） 神经元视图 神经元视图将查询和键向量中的单个神经元可视化，并

本报告聚焦95至00 年出生的年轻人群体，对他们的注意力进行研究。通过定量、定性调研以及大数据研究，全面呈现这一年龄段年轻人的注意力分布模式及特征，并尝试探究注意力背后的深层次诉求，从而帮助各品类及品牌准确洞察这一年轻人群体的所思所想和行动偏好，为未来的营销实践提供行而有效的参考。

TensorFlow版本：1.9.0 Keras版本：2.0.2 我的博客： :

用matlab实现注意力机制模块

提出一种结合群体交互信息和个体运动信息的生成对抗网络GI-GAN。首先,利用编码层中的双向长短期记忆网络BiLSTM提取观测时段内所有行人自身的运动行为隐藏特征;其次,基于双注意力模块,计算与轨迹生成关联度较高的个体运动信息和群体交互信息;最后,利用生成对抗网络进行全局联合训练,获得反向传播误差和各层的合理网络参数,解码器利用已获取的上下文信息生成多条合理预测轨迹。实验表明,与S-GAN模型相比,GI-GAN模型的平均位移误差和绝对位移误差分别降低了8.8%和9.2%,并且预测轨迹具有更高的精度和合理多样性。

本设计基于灰度积分投影技术的眼睛定位方法，再结合perclos技术。首先通过图像预处理技术得到灰度分配较为均匀的图像,然后分别利用水平和垂直灰度积分投影曲线结合人脸的结构特征找到眼睛的位置坐标,实现了准确的眼睛定位,通过perclos技术技术眨眼率，根据先验值得到是否疲劳。可应用于疲劳驾驶汽车检测，教室专注力检测，是否打瞌睡等场景。需二次开发，有一定编程基础。

ResNet_Attention（CBAM，SE） 官方说明： ， 所需环境 Ubuntu20.04 GTX 1080Ti Python3.7 PyTorch 1.7.0 CUDA10.2 CuDNN7.0 使用方法（带有CIFAR10的trian） 该模型的主干是ResNet。 在我们的培训中，我们使用CIFAR10作为数据集。 # To train with Se python train_CIFAR10.py --prefix 4 --device 1 --epoch 160 --att_type se # To trian with CBAM python train_CIFAR10.py --prefix 5 --device 1 --epoch 160 --att_type cbam 验证结果 ResNet50（训练了160个时代）ACC@1=93.41% A

对于语音的情感识别,针对单层长短期记忆(LSTM)网络在解决复杂问题时的泛化能力不足,提出一种嵌入自注意力机制的堆叠LSTM模型,并引入惩罚项来提升网络性能。对于视频序列的情感识别,引入注意力机制,根据每个视频帧所包含情感信息的多少为其分配权重后再进行分类。最后利用加权决策融合方法融合表情和语音信号,实现最终的情感识别。实验结果表明,与单模态情感识别相比,所提方法在所选数据集上的识别准确率提升4%左右,具有较好的识别结果。

综述

为了避免现有驾驶分心研究方法的局限性，从注意力需求角度入手，探索了高速跟车过程中驾驶人安全驾驶所需的最低视觉注意力。在驾驶模拟器上进行试验，记录 ２６名驾驶人在正常驾驶和视线遮挡驾驶２种状态下的视觉行为和视线遮挡行为数据，并进行统计分析。考虑驾驶人个体差异，初步探索了最低视觉注意力需求分布 。 结果表明：高速跟车驾驶状态下，驾驶人可以不需观察周围交通信息安全行驶３５ｍ 左右，视线遮挡距离与车速无关，可用于表征注意力需求。视线遮挡距离和遮挡频率存在个体差异，但驾驶人总体遮挡百分比基本不变。高速跟车过程中驾驶人的 剩余注意力主要用于观察道路前方和其他区域。具体表现为视线遮挡驾驶状态下驾驶人对道路前方和其他区域的观察距离显著缩短，而观察频率基本不变，且仅需行驶２５ｍ 左右的时间驾驶人即可完成观察周围交通状况，说明观察频率对获取交通信息更为重要。驾驶人平均每行驶２０～６０ｍ（１．０～２．８ｓ）需要观察前方道路一次，每行驶０～２２０ｍ（４．１～８．６ｓ）需要观察车速表一次， 每行驶１４０～３００ｍ（６．７～１３．５ｓ）需要观察后视镜一次，每５０～２００ｍ（２．５～９．１ｓ）可以遮挡视线一次，但遮挡距离一般小于４３．７ｍ（约２．４ｓ）。研究结果有助于提高分心预警系统的环境敏感性和车内人机界面设计的合理性。