CCNet-Pure-Pytorch:纵横交叉注意（2d＆3d），用于以更快更精确的方式实现纯Pytorch中的语义分割-源码

CCNet-Pure-Pytorch 用于纯Pytorch中语义分割的Criss-Cross Attention（2d＆3d），具有更快，更精确的实现方式。 更新 **** 2021/03：纯pytorch实现3D CCNET模块的三种被释放 。 您可以在和检查其正确性 介绍 我非正式地重新实现了纯Pytorch中的以便在不同版本和环境下实现更好的兼容性。 以前的许多开源项目都在Pytorch上使用了Cuda扩展，因此存在兼容性和精度损失的问题。 此外，当我们设置cudnn.benchmark = True时，Pytorch可能无法优化和加速Cuda扩展。 为了解决这些问题，我基于的张量变换在CC.py中设计了一个Criss-Cross Attention操作，该操作并行执行，并且在向前结果和向后渐变中显示出更快的速度和更精确的效果。 我的运作和表现 不需要CUDA扩展。 以前的“ Cr