DETRs Beat YOLOs on Real-time Object Detection组会汇报

DETRs Beat YOLOs on Real-time Object Detection组会汇报 现有的实时检测器一般为基于cnn的架构，在检测速度和准确性上实现了合理的权衡。然而，这些实时检测器通常需要NMS来进行后处理，这通常很难进行优化，而且不够健壮，从而导致检测器的推理速度慢。近年来，基于transformer的检测器取得了显著的性能。然而，DETR的高计算成本问题尚未得到有效的解决，这限制了DETR的实际应用，导致无法充分利用其好处。虽然DETR简化了目标检测流程（pipeline）的过程，但由于模型本身的计算成本高，很难实现实时目标检测。本文重新考虑了DETR，并对其关键组件进行了详细的分析和实验，减少了不必要的计算冗余。提出了一种实时检测器（RT-DETR），RT-DETR不仅在精度和速度方面优于目前最先进的实时检测器，而且不需要后处理，因此检测器的推理速度没有延迟，而且保持稳定，充分利用了端到端检测流程（pipeline）的优势。