RK3588 Hardware Design Guide-V1.0-P175.pdf

在嵌入式开发领域，RK3588作为一款高性能的处理器，在音视频处理和推流方面有着广泛的应用。为了实现摄像头视频推流，需要掌握一系列的技术细节和编程技巧。本项目工程代码即是围绕如何使用RK3588处理器，配合opencv、mpp和zlmediakit等开源组件，从零开始构建视频推流功能的完整过程。 opencv（Open Source Computer Vision Library）是一个跨平台的计算机视觉和机器学习软件库，它提供了大量的图像处理和视频分析的函数库。在本项目中，opencv被用于图像的采集和预处理，为视频推流打下基础。opencv的应用涵盖了从摄像头获取原始视频帧，到对视频帧进行处理以适应推流的格式和编码需求的全过程。 mpp（Media Processing Platform）是一种媒体处理平台，它为多媒体数据提供了一套处理框架。在RK3588这样的高性能处理器上，mpp可以高效地对音视频数据进行编码、解码、转码等操作。本项目的工程代码中，mpp组件负责实现视频流的编码处理，保证输出的视频数据符合网络传输的标准，同时维持较好的压缩比和质量。 zlmediakit是一个开源的多媒体处理框架，它封装了许多音视频处理的复杂细节，提供了一个简单易用的API供开发者调用。在视频推流的过程中，zlmediakit能够帮助处理诸如音视频同步、数据封装、网络传输等技术难题。利用zlmediakit可以极大地简化开发流程，加快项目进度。 在实际开发过程中，视频推流系统的构建不仅涉及到上述技术组件的使用，还包括了对硬件资源的管理、多线程编程、网络协议的理解等多个方面。工程师需要了解如何将这些开源组件有机地结合起来，解决实时视频流的采集、编码、打包、传输等问题。同时，对于视频推流过程中可能出现的延迟、卡顿、同步不准确等现象，也需要通过调优和测试来解决。 RK3588处理器具有强大的多核心架构，能够同时处理多个任务，这为高性能的音视频处理提供了可能。在本项目中，RK3588处理器被用于执行视频流的采集、处理和推流，而opencv、mpp和zlmediakit等组件则在软件层面提供了支持，使得整个推流过程得以顺利进行。 本项目工程代码的实现，不仅包含了对各个开源组件的调用和优化，还包括对RK3588处理器性能的充分利用，以及音视频推流技术的深入应用。通过这样一系列技术的综合运用，最终能够实现一个稳定、高质量的视频推流系统。

在rk3588开发板上部署yolov8，使用线程池多线程推理，ffmpeg+rtsp拉流网络摄像头，rkmpp硬件解码视频。此为python程序。c程序见https://download.csdn.net/download/m0_66021094/91250299

在rk3588开发板上部署yolov8，使用线程池多线程推理，ffmpeg+rtsp拉流网络摄像头，rkmpp硬件解码视频。cpp程序。python程序见https://download.csdn.net/download/m0_66021094/91240161

简单的封装，实现了读取两个接口，使用队列的方式使其独立。为保证线程安全加了锁。有一点不满意的地方，还不是完全的资源自己控制，在外部取用之后，因为我把资源所有权，转交给你，所以我不能自己控制它的释放，在使用时，请取出之后，自己注意释放

RK3588 GDC鱼眼矫正示例代码

内容概要：本文档详细介绍了MediaPipe人脸检测项目在Linux系统上的安装、配置和运行步骤。首先讲解了通过Bazelisk安装和管理Bazel的方法，包括下载、赋予执行权限、验证安装等步骤。接着阐述了MediaPipe的三种导入或下载方式，并重点描述了如何安装OpenCV和FFmpeg，包括使用包管理器安装预编译库、从源代码构建等方法。此外，文档还涉及了CUDA或GPU加速的配置，以及C++和Python版本的“Hello World”示例的编译与运行。最后，针对常见的编译错误如GCC版本不兼容、Python路径设置错误等提供了详细的解决方案。 适合人群：具备一定Linux操作基础，对计算机视觉或机器学习领域感兴趣的开发者，尤其是希望在嵌入式设备或Linux平台上实现人脸检测功能的研发人员。 使用场景及目标：①帮助开发者在Linux系统上快速搭建MediaPipe人脸检测环境；②解决在编译和运行过程中可能出现的技术难题；③为后续深入研究MediaPipe或其他相关项目提供基础支持。 阅读建议：由于涉及到较多命令行操作和技术细节，建议读者在实际环境中跟随文档逐步操作，同时注意根据自身环境调整相关配置参数。对于遇到的问题，可以参考文档提供的常见问题解决方案，并结合自身情况进行排查和解决。

RK3588作为一款高性能的处理器，广泛应用于多媒体播放、高端图形处理以及智能控制等场景。在这些应用中，QT（Quantum Technology）是一个跨平台的C++图形用户界面应用程序框架，它被广泛用于开发具有复杂用户界面的应用程序。当我们将QT用于实现悬浮显示功能时，通常涉及到桌面环境或操作系统中的窗口管理技术。 悬浮显示是一个用户界面特性，其中窗口可以悬停在其他应用程序或桌面背景上，提供额外的信息或操作界面。QT提供了强大的窗口控制和绘图功能，使得开发者能够在应用程序中实现悬浮窗口。 在标题“RK3588 QT 悬浮显示 QT端代码”中，我们可以推断出这套代码是针对RK3588处理器的QT应用程序的一部分，用于实现一个悬浮显示的窗口。这个窗口设计用来展示特定的信息，例如“QT OSD”。OSD代表On-Screen Display，是一种在视频画面中显示额外信息的技术，如时间、频道、菜单等。 代码文件“QTOSD demo.txt”是关于演示如何实现这一功能的文本说明文件。它可能包含了必要的步骤、示例代码或配置指南，让开发者知道如何修改文件后缀名，放到qt creator中进行编译。这里的“修改后缀名”可能指的是将文件名从.txt改为可被QT Creator识别的某种项目文件格式。 通过参考博主的文章，开发者能够获得具体的实现流程。这表明在文档或博客中可能存在更加详细的指导，包括如何设置环境、如何编写代码以及如何调试，从而实现特定的QT悬浮显示效果。 在实际开发过程中，开发者需要对QT的窗口系统有一定了解，例如如何使用QWindow类来创建窗口，以及如何利用QPainter类来绘制和显示文本或图形。还需要了解如何响应操作系统的事件，如鼠标点击、拖动等，以便能够实现窗口的精确控制。此外，对于RK3588处理器的特定功能和编程接口的理解也是必不可少的。 总体而言，这段代码的实现涉及到QT的窗口创建和管理，图形绘制，以及可能的操作系统级别的事件处理。这对于需要在RK3588处理器上实现高端用户界面功能的开发者来说，是一个重要参考。

在Linux内核中，按键驱动是用来处理硬件按键的输入事件，包括按键的按下和释放等。本文主要讨论了基于RK3588平台的按键驱动，涉及到两种类型的按键驱动：GPIO按键驱动和ADC按键驱动。 我们来看ADC按键驱动。在`adc-keys.c`文件中，`probe`函数是初始化过程的关键。它从设备树(DTS)中获取ADC的参考电压，并将其转换为mV单位。接着，驱动会读取所有ADC按键的配置，包括它们在按下时对应的电压值和键值。驱动会设置输入设备参数，创建一个循环任务，用于定期检测按键状态。循环任务会读取ADC采样的电压值，根据比较结果来判断按键是否被按下。如果按键的电压值与设定的阈值接近，就会报告按键的按下或释放事件。 然后，我们转向GPIO按键驱动。在`gpio_keys.c`文件中，`probe`函数同样负责初始化。它从DTS中读取GPIO按键的属性，如自动重复、键值、标签、中断号等。这里还会检查按键是否支持唤醒系统以及是否可禁用。防抖时间(debounce_interval)也在这里设置。接下来，驱动会为每个GPIO按键分配参数，包括GPIO口、极性、防抖机制、中断号等。中断服务程序和中断触发类型会被设置好，最后注册input设备并可能设置其唤醒功能。 当GPIO按键被按下时，会触发中断函数`gpio_keys_gpio_isr`。这个函数会判断按键是否能唤醒系统，如果是并在系统休眠时，它会触发唤醒事件。之后，会报告按键按下事件并启动延时任务。延时任务`gpio_keys_gpio_work_func`会在特定延迟后执行，读取GPIO电平并上报按键事件。 RK3588平台的按键驱动分为ADC和GPIO两种，它们都通过Linux内核的input子系统来处理按键事件。ADC驱动依赖于ADC控制器来检测电压变化，而GPIO驱动则直接监测GPIO引脚的电平状态。两者都通过中断服务程序和延时任务来确保事件的准确报告，从而为上层应用提供可靠的按键输入信息。

神经网络部署是当下深度学习领域的热点话题，特别是在高性能芯片上的应用越来越广泛。RK3588作为一款先进的AI芯片，其在神经网络部署方面的应用实践和学习更是吸引了大量专业人士的关注。本文将深入探讨RKNPU在RK3588芯片上的部署实践，以及相应的开发环境搭建和模型部署过程。 RKNPU，全称为Rockchip Neural Processing Unit，是专为神经网络计算优化的推理框架。它包括硬件层和驱动层等多个组成部分，可以极大地提升神经网络模型的运行效率和性能。RKNPU的硬件层主要包括AXI接口、AHB接口、卷积神经网络加速单元（CNA）、数据处理单元（DPU）和平面处理单元（PPU）。其中，AXI接口主要用于高性能、低延迟地与内存进行连接，获取模型和图像的相关参数与数据。而AHB接口则主要用于访问寄存器，进行RKNPU的配置、调试和测试。 在硬件层的更细致划分中，包含卷积预处理控制器、NPU内部缓存区、序列控制器、乘加运算单元和累加器等关键部分。序列控制器可自动配置和控制卷积计算序列，而乘加运算单元则用于执行卷积计算，高度并行的设计提升了其计算速度和效率。累加器负责累加卷积计算的结果。 RKNPU的发展历程也值得关注，它体现了技术的演进和对性能不断追求的过程。此外，RKNPU的软件框架部分是其软件栈整体的介绍，包含从开发环境搭建到模型部署的各个步骤。 开发环境的搭建对于整个部署流程至关重要。在PC端，通常采用虚拟机上的Ubuntu系统，并安装conda环境管理器创建虚拟环境。接着是安装RKNN-Toolkit依赖库以及RKNN-Toolkit本身，并验证安装是否成功。在板端，使用的是arm架构的Linux系统，需要装备NPU环境并确认驱动版本和连板环境。 RKNN模型是RKNPU中的核心概念之一，它是RKNN工具链介绍和RKNN软件栈整体介绍的基础。RKNN-Toolkit具备功能介绍和RKNPU-SDK。学习RKNPU部署实践的过程，还包括了模型评估工具的使用，其中包括模型精度分析、性能分析和内存评估等。 在板端实际部署方面，部署步骤涉及训练模型转换为ONNX模型，进而转换为RKNN模型。在PC端加载RKNN模型可在模拟器上运行，连接实际硬件后进行运行，并在板端通过Python和C API进行部署。 除了部署模型，还应该进行一些板端的常见操作，比如CPU、NPU的定频操作和查看NPU的占用率，以保证模型运行的稳定性和效率。 在部署过程中，可能会遇到一些挑战，例如由于OCR扫描造成的文字识别错误或漏识别，需要通过专业知识进行合理推断和理解，以确保文档内容的连贯性和准确性。 通过RK3588部署实践和学习，不仅可以掌握RKNPU部署神经网络模型的流程和方法，还可以深刻理解其背后的技术原理，对于希望深入研究神经网络部署的读者来说，本文提供了非常丰富的知识点。