壁画图像具有结构细节丰富,纹理复杂、色彩多变的特点,而基于卷积神经网络的图像超分辨率算法重建的壁画图像存在纹理模糊和边缘锯齿效应的问题。因此,提出了一种基于多尺度残差注意力网络的壁画图像超分辨率重建算法。首先,通过多尺度映射单元,用不同尺度的卷积核直接对低分辨率壁画图像进行特征提取;然后,将融合后的特征图输入残差通道注意力块,使网络从全局信息出发对各个特征图进行权值优化,增强网络模型的深度映射能力;最后,在网络末端引入亚像素卷积层,重新排列像素,得到重建的高分辨率壁画图像。实验结果表明,本算法可以减小重建误差,增强重建壁画图像的边缘及结构信息,使重建的壁画图像纹理细节更丰富。

针对全卷积孪生(SiamFC)网络算法在相似目标共存和目标外观发生显著变化时跟踪失败的问题,提出一种基于注意力机制的在线自适应孪生网络跟踪算法(AAM-Siam)来增强网络模型的判别能力,实现在线学习目标外观变化并抑制背景。首先,分别在模板分支和搜索分支中加入前一帧跟踪所得到的结果,弥补网络在应对目标外观变化的不足;然后通过在孪生网络中加入空间注意力模块和通道注意力模块实现不同帧之间的特征融合,从而在线学习目标形变并抑制背景,进一步提升模型的特征表达能力;最后,在OTB和VOT2016跟踪基准库上进行实验。实验结果表明,本文算法在OTB50数据集上的精确度和平均成功率比基础算法SiamFC分别高出了4.3个百分点和3.6个百分点。

细粒度图像之间具有高度相似的外观,其差异往往体现在局部区域,提取具有判别性的局部特征成为影响细粒度分类性能的关键。引入注意力机制的方法是解决上述问题的常见策略,为此,在双线性卷积神经网络模型的基础上,提出一种改进的双线性残差注意力网络:将原模型的特征函数替换为特征提取能力更强的深度残差网络,并在残差单元之间分别添加通道注意力和空间注意力模块,以获取不同维度、更为丰富的注意力特征。在3个细粒度图像数据集CUB-200-2011、Stanford Dogs和Stanford Cars上进行消融和对比实验,改进后模型的分类准确率分别达到87.2%、89.2%和92.5%。实验结果表明,相较原模型及其他多个主流细粒度分类算法,本文方法能取得更好的分类结果。

针对乳腺钼靶图像中良恶性肿块难以诊断的问题,提出一种基于注意力机制与迁移学习的乳腺钼靶肿块分类方法,并用于医学影像中乳腺钼靶肿块的良恶性分类。首先,构建一种新的网络模型,该模型将注意力机制CBAM(Convolutional Block Attention Module)与残差网络ResNet50相结合,用于提高网络对肿块病变特征的提取能力,增强特定语义的特征表示。其次,提出一种新的迁移学习方法,用切片数据集代替传统方法中作为迁移学习源域的ImageNet,完成局部肿块切片到全局乳腺图片的领域自适应学习,可用于提升网络对细节病理特征的感知能力。实验结果表明,所提方法在局部乳腺肿块切片数据集和全局乳腺钼靶数据集上的AUC(Area Under Receiver Operating Characteristics Curve)分别达到0.8607和0.8081。结果证实本文分类方法的有效性。

针对长短时记忆网络(LSTM)不能有效地提取动作前后之间相互关联的信息导致行为识别率偏低的问题,提出了一种基于Bi-LSTM-Attention模型的人体行为识别算法。该算法首先从每个视频中提取20帧图像,通过Inceptionv3模型提取图像中的深层特征,然后构建向前和向后的Bi-LSTM神经网络学习特征向量中的时序信息,接着利用注意力机制自适应地感知对识别结果有较大影响的网络权重,使模型能够根据行为的前后关系实现更精确的识别,最后通过一层全连接层连接Softmax分类器并对视频进行分类。通过Action Youtobe和KTH人体行为数据集与现有的方法进行比较,实验结果表明,本文算法有效地提高了行为识别率。

针对遥感图像语义分割中存在对多尺度目标的漏检和分割边界粗糙等问题,提出了一种基于注意力金字塔网络的航空影像建筑物变化检测方法。该方法采用编码-解码结构,在编码阶段使用ResNet101作为基础网络来提取特征,并在部分残差模块应用空洞卷积增大感受野,同时将金字塔池化结构作为编码网络的最后一层,以提取图像多尺度特征;在解码阶段的横向连接过程中引入注意力机制以突出重要特征,并采用自上而下的密集连接方式计算特征金字塔,有效融合不同阶段、不同分辨率的特征。在大型建筑物变化检测数据集上进行验证实验,实验结果表明所提方法在对不同尺寸建筑物目标的变化检测中展现出了良好的适应性,相比于经典语义分割网络具有一定的优势。

针对基于深度学习的传统方法对于次显著细节信息关注不足的问题,提出一种基于多尺度注意力机制的多分支网络来统筹图像的显著信息及次显著信息。首先,将多尺度特征融合方法(MSFF)与注意力机制相结合,设计了一个多尺度注意力模块(MSA),使得网络可以根据输入信息自适应地调节感受野大小,实现了对于不同尺度信息的充分利用。其次,建立一个多分支网络,实现对于全局特征和多元局部特征的协调统一,并利用多尺度注意力模块,分别实现对于全局显著信息及次显著局部细节信息的加权强化,得到更具判别性的特征用于最终的识别。实验结果表明,本文所设计的网络在多个数据集上都取得了较好的表现。

为提升水下图像的增强效果，提出了一种基于金字塔注意力机制和生成对抗网络(GAN)的水下图像增强算法。它将生成对抗网络作为基本架构，生成网络采用编码解码结构并引入特征金字塔注意力模块，多尺度金字塔特征与注意力机制的结合可以捕获更丰富的高级特征以提升模型性能；判别网络采用类似马尔科夫判别器的结构。此外，通过构建包含全局相似性、内容感知和色彩感知的多项损失函数，使增强后的图像与参考图像的结构、内容和色彩保持一致。实验结果表明，所提算法增强的水下图像在清晰度、颜色校正和对比度上都有所提升。其中，在SSIM、UIQM和IE指标上的平均值分别为0.7418、2.9457和4.6925。在主观感知和客观评价指标上，所提算法的实验结果均优于对比算法。

为了提高低照度图像的清晰度和避免颜色失真,提出了基于注意力机制和卷积神经网络(CNN)的低照度图像增强算法,以改善图像质量。首先根据Retinex模型合成训练数据,将原始图像从RGB (red-green-blue)颜色空间变换到HSI (hue-saturation-intensity)颜色空间,然后结合注意力机制和CNN构建A-Unet模型以增强亮度分量,最后将图像从HSI颜色空间变换到RGB颜色空间,得到增强图像。实验结果表明,所提算法可以有效改善图像质量,提高图像的清晰度,避免颜色失真,在合成低照度图像和真实低照度图像的实验中均能取得较好的效果,主观和客观评价指标均优于对比算法。

针对视网膜图像中血管细小而导致其分割精度低等问题,通过在U-Net网络中引入Inception、空洞卷积与注意力机制等模块,提出一种改进U-Net视网膜血管图像的分割算法。首先,在编码阶段增加Inception模块,采用不同尺度的卷积核对图像进行特征提取,以获得其多尺度信息;然后,在U-Net网络的底部增加级联空洞卷积模块,以在不增加网络参数的情况下扩大卷积操作的感受野;最后,在解码阶段为反卷积操作设计了注意力机制,将注意力机制与跳跃连接方式相结合,聚焦目标特征,以解决权重分散等问题。基于标准图像集DRIVE的实验结果表明,所提算法的平均准确率、灵敏度与特异性较之U-Net算法分别提高1.15%,6.15%与0.67%,也优于其他传统分割算法。