本文介绍了如何结合双目视觉技术和YOLO目标检测算法实现3D测量。双目技术通过两个相机模拟人眼视觉，计算物体深度信息，适用于三维重建和距离测量。YOLO算法以其快速高效的特点，适用于实时目标检测。文章详细阐述了双目标定、立体校正、立体匹配和视差计算的原理及实现步骤，并提供了相关代码示例。通过将双目技术与YOLO结合，成功实现了3D目标检测和体积测量，展示了较高的精度，但也指出周围环境需避免杂物干扰。 在本文中，双目视觉技术和YOLO目标检测算法被结合起来进行3D测量。双目视觉是一种利用两个摄像机模拟人类的双眼视觉的算法，可以计算物体的深度信息，非常适合进行三维重建和距离测量。通过双目技术，我们可以从两个不同角度拍摄同一个物体，然后通过计算两个图像之间的视差（即同一物体在两个图像中的相对位置差异），来推算出物体的深度信息。这种技术在机器视觉、自动驾驶汽车、机器人导航等领域有着广泛的应用。 YOLO（You Only Look Once）是一种实时的目标检测算法。它的特点是速度快，效率高，能够实时地在图像中检测和定位多个物体。YOLO将目标检测问题视为一个回归问题，将图像划分为一个个格子，每个格子预测中心点落在该格子内的边界框和类别概率。这种方法极大地提高了目标检测的效率。 文章详细介绍了如何将双目视觉技术和YOLO算法结合起来进行3D测量。需要进行双目标定，即确定两个相机的内部参数和外部参数。然后进行立体校正，使得两个相机的成像平面共面，并且两个相机的主光轴平行。接着进行立体匹配，找到左图和右图之间的对应点。最后进行视差计算，计算出对应点在两个图像中的相对位置差异，即视差。通过视差和双目标定的结果，可以计算出物体的深度信息，从而实现3D测量。 文章还提供了相关的代码示例，帮助读者更好地理解和实现双目视觉和YOLO的3D测量。通过实际的案例，我们可以看到，将双目视觉技术和YOLO结合起来，可以成功实现3D目标检测和体积测量，展示了较高的精度。但是，这种方法也有其局限性，比如周围的环境需要尽量避免杂物干扰，否则可能会影响测量的精度。 双目视觉技术和YOLO目标检测算法的结合，为3D测量提供了一种新的方法。这种技术具有速度快、精度高的特点，可以在许多领域得到应用。但是，如何提高测量的精度，避免周围环境的干扰，还需要进一步的研究和改进。

计算机视觉是一门研究如何让计算机理解和解释图像信息的学科。它的发展历史悠久，从最初的三视图模型，到20世纪90年代机器学习的引入，以及最近深度学习在计算机视觉领域的突破性进展。计算机视觉的技术应用已经渗透到各个行业，包括安防、游戏娱乐、交通、医疗等领域。 计算机视觉的早期发展阶段，主要关注图像内容的建模，例如三视图建模和立体视觉。20世纪70年代，图像处理开始受到重视，而到了20世纪80年代，机器学习开始成为计算机视觉中的一个重要工具，尤其是在识别、检测和分类等应用中。1963年，美国计算机科学家拉里·罗伯茨在麻省理工大学的博士毕业论文中提出主动视觉理论和定性视觉理论，这标志着计算机视觉开始进入快速发展阶段。 进入21世纪，深度学习为计算机视觉带来了革命性的变化。2012年，Hinton的小组在ImageNet竞赛中提出了卷积神经网络AlexNet，并取得了显著的性能提升。自此之后，基于深度学习的检测与识别、图像分割以及立体视觉等技术得到了迅速发展。 GPU（图形处理器）与并行技术在计算机视觉中的应用也为计算性能带来了巨大提升。从20世纪80年代的专门运算单元到1999年NVIDIA发布GeForce 256，GPU的定义被正式提出。2000年开始尝试使用GPU加速通用计算任务，2001年GPGPU概念的提出，以及2006年CUDA的推出，这些技术的不断进步使得GPU逐渐成为深度学习训练中的标配。 基于卷积神经网络的计算机视觉应用涵盖了图像搜索、图像分类、图像分割、物体检测、人脸识别、图像描述以及生成对抗网络。深度学习模型在此基础上不断发展，极大提升了计算机视觉在各领域的实际应用效能。 全书章节涵盖了从基础的视觉色彩原理到神经网络模型，再到卷积模型与具体应用的知识。全书共分为八个章节，详细介绍了计算机视觉的基础知识与深入技术。 计算机视觉的发展历程表明，尽管让计算机像人类一样理解和解释图像仍是一个挑战，但随着深度学习和并行计算技术的不断进步，这一领域的技术正飞速发展，应用范围不断拓展，已经成为计算机科学中一个极为重要和活跃的分支。

内容概要：本文档为《2025三届人工智能工程技术赛项-样题》，涵盖自然语言处理、计算机视觉和综合工程技术三大模块的竞赛任务。参赛者需在指定.ipynb文件中完成代码编写，涉及新闻文本分类、对抗样本评测与模型加固、非均衡图像分类、目标检测（DETR模型）、开放词汇检测等任务，重点考察数据预处理、模型构建、训练优化、结果可视化及评估能力。要求选手掌握PyTorch、Transformer、ResNet、DETR、CLIP、SAM等框架与模型的应用，并完成相应代码实现与结果截图提交。 适合人群：具备一定人工智能基础，熟悉深度学习框架（如PyTorch）和常用模型（如CNN、Transformer）的高校学生或从业人员，具备1年以上AI开发经验者更佳；适合备战技能竞赛的技术人员。 使用场景及目标：①用于全国技能大赛人工智能赛项的备赛训练；②提升在NLP、CV及多模态任务中的工程实现能力；③掌握对抗样本防御、非均衡分类、目标检测优化、开放词汇检测等前沿技术的实际应用；④熟悉从数据处理到模型部署的全流程开发规范。; 阅读建议：建议结合实际代码环境边运行边学习，重点关注各模块中需补全的关键代码逻辑（如标签平滑、mixup增强、GIoU计算、匈牙利匹配、KL蒸馏等），并严格按照任务要求保存输出结果与模型文件，确保符合评分规范。

在本篇计算机视觉实验报告中，学生王培钰主要任务是使用CImg库重写和封装Canny边缘检测算法，并对算法进行优化。Canny算法是计算机视觉领域中一种经典的边缘检测方法，它通过一系列步骤有效地提取图像中的边缘。以下是实验报告中涉及的关键知识点和实现过程的详细解释： 1. **Canny边缘检测算法**：Canny算法包含以下步骤： - **灰度化**：将彩色图像转换为灰度图像，通过红、绿、蓝分量的加权平均完成。 - **高斯滤波**：使用高斯滤波器平滑图像，消除高频噪声，但保留边缘信息。这里使用了`gaussian_smooth()`函数，并通过`make_gaussian_kernel()`生成高斯核。 - **计算梯度**：通过计算一阶偏导数求得图像的梯度幅值和方向。这涉及到`derrivative_x_y()`函数，以及`angle_radians()`和`radian_direction()`来确定方向。 - **非极大值抑制**：通过比较当前像素点与其邻域内像素点的梯度值，抑制非边缘像素，以减少假阳性边缘。`non_max_supp()`函数实现此操作。 - **双阈值检测**：使用高低两个阈值确定边缘，低阈值用于连接边缘，高阈值用于去除噪声。`apply_hysteresis()`函数处理这一过程。 - **边缘连接与删除**：通过`canny_line()`函数将相邻边缘连成长线，`delete_line()`函数删除长度小于20的短线条。 2. **CImg库的使用**：CImg是一个开源的C++图像处理库，实验要求只使用CImg进行图像的读取、写入和处理。通过封装，确保了代码的简洁性和可读性。 3. **代码封装**：每个功能都封装为单独的函数，如`RGBtoGray()`、`gaussian_smooth()`等，便于代码复用和维护。 4. **参数测试与分析**：对不同参数（如高斯滤波的σ值、双阈值）进行测试，观察其对边缘检测结果的影响。这有助于理解算法的敏感性和适应性。 5. **测试与调试**：通过对每一步的结果进行可视化和数量统计（如边缘像素点的数量），验证算法的正确性和效果。例如，通过比较经过连线和删线处理后的像素点数量变化。 实验过程中，学生按照学号尾号的规则分配了需要改写的代码（Code0），并成功实现了Canny算法的各个步骤，包括图像预处理、边缘检测和后处理。测试表明，经过优化的Canny算法能够有效检测图像边缘，并能根据设定的参数调整边缘的精确度和连通性。这种实践加深了对Canny边缘检测算法的理解，并提高了编程能力。

本文详细介绍了SegFormer的使用教程，包括环境配置、训练、评估和可视化四个主要部分。环境配置部分提供了创建conda环境、安装必要依赖的详细命令。训练部分涵盖了ADE20K数据集的准备、预训练权重的下载以及模型训练的具体步骤，包括解决yapf包版本问题和SyncBN修改为BN的注意事项。评估部分介绍了模型权重的下载和验证过程，包括对metrics.py文件的修改。可视化部分则展示了如何下载CityScapes数据集权重并可视化模型预测结果。整个教程提供了从环境搭建到模型应用的完整流程，适合初学者快速上手SegFormer。 SegFormer是一种基于Transformer的高效语义分割模型，它将编码器和解码器的结构结合，旨在提升图像分割的性能与效率。在使用SegFormer之前，需要进行一系列的准备工作，包括但不限于创建合适的计算环境和安装必要的软件包。本文提供了一个详尽的使用教程，涵盖了从环境配置到模型训练、评估以及结果可视化的所有步骤。 在环境配置部分，首先需要建立一个conda虚拟环境，并在该环境下安装PyTorch以及其他依赖项。这些步骤包括了利用conda和pip命令安装指定版本的包，以确保SegFormer的正常运行。对于某些依赖包，还需要特别注意安装特定版本，因为最新的版本可能会与SegFormer不兼容。 接下来，在训练部分，教程详细介绍了如何准备ADE20K数据集，这是进行图像语义分割任务的标准数据集之一。此外，还包括了如何下载预训练权重以及启动训练过程。在这个过程中，可能会遇到一些常见问题，例如yapf包版本不兼容，或是需要将SyncBatchNorm（SyncBN）修改为普通Batch Normalization（BN）。教程中也提供了相应的解决方案，确保用户能够顺利进行模型训练。 评估部分涉及到模型权重的下载以及验证过程，通常需要对一些细节进行调整，例如修改metrics.py文件，以适应特定的评估标准。对于初学者而言，这一点非常重要，因为它直接关系到模型性能的量化评估。 在可视化部分，教程展示了如何获取CityScapes数据集权重并用它来可视化模型的预测结果。这不仅帮助用户理解模型的预测能力，还能够直观地展示模型在不同场景下的表现，为后续的模型调优提供参考。 SegFormer使用教程通过分步骤讲解，将环境搭建、数据准备、模型训练、性能评估以及结果可视化等环节串联起来，为初学者提供了一条清晰的入门路径。无论是在深度学习、语义分割还是计算机视觉领域，该教程都具有极高的实用价值。

广东工业大学的计算机视觉实验1主要涵盖了图像处理的基本操作，包括图像的模糊处理、锐化处理、去噪处理、直方图的分析以及色彩空间的转换。这些操作是数字图像处理领域中重要的基础技能，对于计算机视觉专业的学生来说，是理解和掌握图像信息分析与处理的重要过程。 实验报告的撰写要求学生遵循一定的格式规范，确保实验报告的完整性、规范性、正确性和有效性。报告需要包含实验的一般信息，如组号、实验日期、实验编号和实验时间等。实验报告的正文部分则要求详细记录实验的目的、环境、内容、步骤以及结果分析，同时还需要反映出在实验过程中遇到的问题及其解决方法。 实验目的是通过编写程序，在Python环境下使用OpenCV等软件包来执行图像的模糊、锐化、去噪等操作，学习直方图的生成和直方图均衡化，并掌握色彩空间转换的技术。 实验环境说明了完成实验所使用的硬件和软件条件，例如实验所用到的处理器型号、操作系统类型、开发工具版本等。在本例中，硬件环境为搭载了Intel(R) Core(TM) i7-10510U CPU的计算机，软件环境包括Pycharm 2022.3.2和Python 3.11。 实验内容与要求部分详细介绍了实验中所涉及的各种操作和方法。例如，均值滤波、高斯滤波和中值滤波是常用的图像平滑方法，各自有不同的特点和应用场景。直方图均衡化技术可以增强图像的对比度和亮度，改善图像的视觉效果。色彩空间转换如从RGB色彩空间转换到YUV或YIQ色彩空间，对于图像的压缩和色彩处理有着重要的意义。 实验过程与分析部分要求学生记录实验中的命令、运行结果，并通过截图和文字说明详细展示实验过程。此外，需要对实验中出现的问题进行故障分析，并说明解决办法。实验结果的总结要求学生对实验结果进行深入分析，完成相关的思考题目，并提出实验的改进意见。 通过这一系列实验，学生将学会如何利用计算机视觉技术对图像进行处理和分析，这些技能对于计算机视觉领域的研究和应用开发至关重要。

广东工业大学计算机视觉实验 广东工业大学作为一所综合性的高等学府，其计算机科学与技术专业的实力在国内高校中名列前茅。计算机视觉作为该专业的一个重要研究方向，涉及到图像处理、模式识别、人工智能等多个领域，是培养学生综合运用所学知识解决实际问题的重要途径。广东工业大学的计算机视觉实验课程内容丰富，旨在帮助学生通过实践掌握计算机视觉的基础理论知识和应用技能。 计算机视觉实验通常包含了一系列精心设计的项目，这些项目既能够帮助学生理解计算机视觉的基本概念，如图像获取、图像处理、特征提取、目标识别等，也能够让学生尝试使用现有的计算机视觉工具和库，例如OpenCV等。学生可以通过实验加深对计算机视觉算法的理解，并将其应用于解决实际问题中。 实验内容可能涵盖以下几个方面： 1. 图像采集与预处理：学习如何使用摄像头或其他设备获取图像，并进行必要的预处理操作，比如灰度化、滤波、图像增强等，为后续处理做好准备。 2. 特征提取与描述：掌握如何从图像中提取特征，并子来表示这些特征。例如，边缘检测、角点检测、SIFT特征、HOG特征等。 3. 图像识别与分类：了解并实现图像分类和识别的算法，例如支持向量机（SVM）、神经网络等，尝试将图像中的对象进行识别和分类。 4. 运动分析与目标跟踪：通过实验掌握目标跟踪的基本概念和技术，包括背景减除、光流法、卡尔曼滤波等方法。 5. 三维视觉与重建：学习三维视觉的基础知识，如立体视觉原理、深度图获取，以及如何利用这些信息进行三维场景重建。 6. 应用案例分析：通过分析特定的应用案例，了解计算机视觉在智能监控、自动驾驶、机器人导航、医疗影像等领域的应用。 这些实验内容不仅要求学生有扎实的编程基础，还需要对计算机视觉理论有一定的认识。通过实践活动，学生能够提高分析问题和解决问题的能力，为未来从事科研工作或步入相关行业打下坚实的基础。 实验的开展通常依托于计算机实验室，实验过程中可能会需要学生编写程序，操作相关的硬件设备，记录实验数据，并撰写实验报告。学生在实验过程中遇到的问题和解决方案，以及实验结果的分析，都是学习过程中的宝贵财富。 由于计算机视觉领域发展迅速，实验内容也会不断更新，以反映最新的研究进展和应用趋势。因此，实验指导书和相关资源的获取对于学生的学习和研究至关重要。广东工业大学提供的最新实验内容下载链接，正是为了方便学生及时获取更新的教学资源，保证学习内容的前沿性。 广东工业大学计算机视觉实验不仅为学生提供了理论学习的机会，更重要的是提供了丰富的实践平台，让学生在动手操作中深入理解计算机视觉技术的实质，培养解决实际问题的能力，为将来在高科技领域的发展奠定坚实的基础。

内容概要：本文档详细介绍了RF-DETR模型在自建数据集上的训练流程及遇到的问题解决方法。首先，训练环境配置要求Python版本不低于3.9，PyTorch版本需2.0以上，具体配置基于Ubuntu系统。接着，对于数据集有特定格式要求，即必须符合COCO数据集格式，若原始数据集为YOLO格式，提供了一段Python代码用于将YOLO格式转换成COCO格式，包括创建对应文件夹结构、调整图像尺寸、转换标注信息等操作。最后，给出了训练RF-DETR模型的具体代码示例，指定了预训练权重路径、数据集目录、训练轮次、批次大小等关键参数。 适合人群：具有一定深度学习基础，尤其是熟悉目标检测领域，并希望了解或使用RF-DETR模型进行研究或项目开发的研究人员和技术人员。 使用场景及目标：①帮助开发者快速搭建适合RF-DETR模型训练的环境；②指导用户按照正确格式准备数据集，特别是从YOLO格式到COCO格式的转换；③提供完整的训练代码，便于用户直接运行并调整参数以适应不同应用场景。

本文详细介绍了基于单目视觉的平面目标定位和坐标测量方法。首先，作者阐述了项目的起因和目的，即在空房间内通过视觉技术跟踪和测算遥控小车的位置。文章重点讲解了三种坐标系（相机坐标系、世界坐标系和像平面坐标系）的定义及其转换关系，以及相机的成像模型和畸变矫正原理。此外，还详细描述了相机标定的过程，包括使用棋盘标志板进行标定、求解内参矩阵和畸变系数的方法，并提供了Python代码示例。最后，文章总结了标定结果的应用，即利用已知参数的相机测算目标位置。 在现代科学技术领域，单目视觉技术已经成为了研究的热点，特别是在平面目标定位和坐标测量方面。这种技术主要依赖于单一相机来获取三维空间信息，通过一系列算法将二维图像转换为可测量的三维坐标数据。文章中所提到的项目起因和目的，是基于一种常见的应用场景，即通过视觉技术来跟踪和测算遥控小车的位置。 在进行单目视觉的坐标测量之前，需要对三种坐标系有深入的了解。相机坐标系、世界坐标系和像平面坐标系的定义及其转换关系，是单目视觉定位系统的基础。其中，相机坐标系通常是以相机的光学中心作为原点，世界坐标系则依据实际场景中物体的位置而设立，而像平面坐标系则是与成像传感器的成像平面相对应。这三者之间的转换关系对于准确测量物体在三维空间中的位置至关重要。 相机的成像模型是单目视觉研究的核心之一。这个模型模拟了光线经过相机镜头后如何成像在传感器平面上，其中包含了对相机焦距、光心以及镜头畸变等因素的考虑。畸变矫正原理是处理因镜头物理特性导致的图像失真的方法，这对于提高测量精度有着直接影响。而矫正过程通常需要一些已知的畸变模型以及矫正参数。 相机标定是单目视觉测量中的另一个重要环节。它通常使用特定的标定物体，如棋盘标志板，在不同的角度和位置对相机进行标定，以此求解出相机的内参矩阵和畸变系数。标定的准确度直接关系到整个测量系统的效果。作者提供了一系列详细的步骤，包括如何通过拍摄棋盘格来获取数据，以及如何使用这些数据来求解相关参数。此外，作者还提供了具体的Python代码示例，使得读者能够更好地理解整个标定过程，并将其应用在实际问题中。 文章总结了相机标定结果的应用。在获得了准确的相机参数后，可以利用这些参数和成像模型来测算目标在三维空间中的位置。这一过程是通过将图像坐标转换为世界坐标系中的坐标来实现的。无论是在自动驾驶汽车、机器人导航还是无人机操控等场合，这种技术都显示出了巨大的应用潜力和实用价值。 单目视觉技术因其成本低、结构简单等特点，在工业界和科研领域受到了广泛关注。在进行实际应用时，我们不仅需要精确的算法，还需要考虑各种实际因素，如光照条件、物体表面特性以及环境干扰等，这些都会影响到测量的准确性和可靠性。而随着计算机视觉技术的不断发展，单目视觉定位与坐标测量技术也在不断进步，为各个领域提供了更为高效、精确的解决方案。

内容概要：本文介绍了一种基于Swin Transformer的改进模型，结合了动态大核注意力机制（DLKA）和空间金字塔池化（SSPP）。DLKA模块通过通道注意力和空间注意力的结合，增强了特征图的表征能力；SSPP模块通过多尺度池化操作，提取不同尺度下的特征信息。文章详细展示了DLKA和SSPP模块的具体实现，包括它们的初始化和前向传播过程。此外，还介绍了如何将这两个模块集成到预训练的Swin Transformer模型中，以提升模型性能。最后，通过构建并测试了一个简单的模型实例，验证了模型的输出形状符合预期。 适合人群：对深度学习有一定了解，尤其是熟悉PyTorch框架和计算机视觉领域的研究人员或工程师。 使用场景及目标：①希望深入了解注意力机制和多尺度特征提取方法在卷积神经网络中的应用；②需要在现有模型基础上进行改进以提升模型性能的研究人员；③想要学习如何将自定义模块集成到预训练模型中的开发者。 阅读建议：由于本文涉及较多的技术细节和代码实现，建议读者在阅读时结合PyTorch官方文档，逐步理解每个模块的功能和实现方式，并尝试运行示例代码以加深理解。