本文详细介绍了基于昇腾300I-Duo推理卡部署Embedding与Rerank模型的完整流程。首先需要准备物理机环境，包括安装Docker、Ascend Docker Runtime、NPU驱动等。接着进行系统环境配置，包括Docker和驱动的验证，以及HwHiAiUser用户的创建和配置。然后下载模型权重文件，包括bge-m3和bge-reranker-large模型。最后运行容器并进行模型测试，包括rerank模型、embedding模型和Sequence Classification模型的测试。整个过程涵盖了从环境准备到模型测试的各个环节，为相关开发者提供了详细的参考。 本文是一篇详细介绍如何在昇腾300I-Duo推理卡上部署深度学习模型的实践操作指南。文章首先指出，部署工作开始前需要确保物理机环境已经搭建好，这涉及到必要的软件安装，如Docker容器技术平台，以及特定的Ascend Docker Runtime环境。这些准备工作是后续步骤顺利进行的基础。 随后，文章提到系统环境配置的重要性。在此过程中，作者强调了验证Docker和驱动安装的正确性，以及创建并配置HwHiAiUser用户的重要性。HwHiAiUser用户是为了后续操作更加便捷而专门设置的一个用户角色，它的配置是系统安全和高效运行的关键。 在环境搭建完成后，文章详细指导了如何下载模型权重文件。在本项目中，涉及到了两个特定的模型文件：bge-m3和bge-reranker-large。这两者的下载对于后续模型的测试和验证是必不可少的步骤。权重文件的下载通常需要从模型库中获取，这一步骤确保了模型具有足够的训练数据以执行有效的推理。 紧接着，文章进入模型测试环节。在这一部分中，作者详细介绍了如何运行容器，并在容器内部署和测试包括rerank模型、embedding模型和Sequence Classification模型在内的多个模型。这些模型的测试不仅包括了运行模型，还涵盖了对模型性能的评估和结果的分析。整个测试过程对于确保模型能够准确地进行预测和分类至关重要。 整个部署流程的描述，从开始的环境准备到最终模型测试的每个环节，文章都提供了详尽的指导和清晰的步骤。这对于那些需要在昇腾300I-Duo推理卡上部署Embedding与Rerank模型的开发者来说，无疑是一份宝贵的参考资料。 文章不仅限于提供操作步骤，还贯穿了对相关技术的解释和对最佳实践的建议。通过阅读本文，开发者可以更好地理解在昇腾300I-Duo推理卡上部署模型的整个过程，并且能够高效地解决在部署过程中可能遇到的问题。此外，文章还体现了作者在软件开发和模型部署方面的深厚经验，为读者提供了深入学习和实践的机会。 文章对使用的软件包进行了说明，指出这些软件包和源码是整个部署过程中的重要组成部分。开发者能够通过这些代码包来重现本文描述的部署过程，确保模型的快速部署和高效运行。

本文详细介绍了如何在华为昇腾Ascend 300I Pro 310P芯片上单卡运行DeepSeek-R1-Distilled-Qwen-7B模型。首先介绍了昇腾310P芯片的架构设计、性能特点及典型应用场景，包括其硬件集成、内存与带宽、编解码能力等。接着详细说明了准备工作，包括物理安装、固件与驱动安装、模型选择和下载。然后详细描述了镜像下载、加载和容器搭建的步骤，包括修改精度、新建容器和容器内环境配置。最后介绍了模型运行和性能测试，包括VLLM接口的使用和稀疏量化的步骤。整个过程涵盖了从硬件准备到模型部署的完整流程，适合需要在昇腾310P芯片上运行大模型的开发者参考。 华为昇腾Ascend 300I Pro 310P芯片是面向边缘计算场景设计的AI处理器，其架构设计旨在提供高效的计算性能与低功耗运行。该芯片具备强大的神经网络计算能力，其性能特点包括高计算密度、多样的AI接口和灵活的硬件扩展性，支持多种AI应用的典型应用场景。310P芯片的硬件集成包括了专用的AI处理器核心、高性能的CPU核心和先进的内存子系统，内存与带宽的优化设计保证了数据处理的流畅性。同时，它的编解码能力使得数据输入输出更加高效，尤其适合处理大量实时数据的场景。 为了在310P芯片上成功运行DeepSeek-R1-Distilled-Qwen-7B模型，准备工作是必不可少的。这一阶段主要涉及硬件安装和软件配置。物理安装方面，需要将310P芯片正确地集成到目标系统中。固件与驱动的安装则确保了硬件的正常运行和软件层面的兼容性。在模型选择和下载环节，根据具体的应用需求，开发者需要获取相应的模型文件，并确保模型的兼容性和完整性。 在配置环境与搭建容器方面，需要下载指定的镜像文件，并根据步骤进行加载，以确保容器环境的正确搭建。这一步骤涉及对精度的调整，以适应模型运行的需要。创建新的容器，并在容器内配置环境变量，为模型的部署做好充分准备。 当硬件和软件环境准备就绪后，开发者可以进行模型的运行和性能测试。在这个环节，使用VLLM（Very Long Learning Model）接口是一种有效的模型部署和运行方法。稀疏量化是提高模型运行效率的重要步骤，它通过减少模型中的冗余数据来降低计算复杂度，并保持模型的准确性和性能。稀疏量化后，310P芯片能够在保持高精度的同时，展现出更快的推理速度和更低的资源消耗。 整个部署和运行流程是一个复杂的过程，涵盖了硬件安装、软件配置、模型准备、环境搭建到最终的模型运行与优化等步骤。这对于在310P芯片上运行大型深度学习模型的开发者来说，是一份详细且实用的指南。通过这些步骤的细致指导，开发者可以高效地在310P芯片上部署并运行DeepSeek-R1-Distilled-Qwen-7B模型，实现高效的AI计算。

其中包括：嵌入式AI---yolov8模型转化为华为昇腾om模型教程文件和相关的代码文件 执行YOLOv8模型的图片视频推理代码 执行YOLOv5模型的图片视频推理代码 示例YOLOv8的.om模型 相关执行结果

近期，小北参与了华为昇腾CANN训练营2024第二季的学习，这次训练营聚焦于Ascend C算子开发能力认证（中级），为我提供了一个深入学习昇腾AI基础软硬件平台的机会。通过系统的课程学习和实践操作，我不仅掌握了算子开发的基本技能，还了解了昇腾原生开发的全流程，这对于小北在大数据和AI领域的进一步研究具有重要意义。

昇腾微认证＞Ascend C算子开发能力认证考试（中级）

本文主要介绍通过MindStudio全流程开发工具链，将PaddlePaddle模型转成om模型，并在昇腾环境上进行推理的流程

Atlas 200 AI加速模块是一款高性能的AI智能计算模块。集成了海思Ascend 310 AI处理器，可以实现图像、视频等多种数据分析与推理计算，可广泛用于智能监控、机器人、无人机、视频服务器等场景，此为Ascend 310的windows下sdk

想要了解AI框架的核心功能【自动微分】吗？一起学习讨论，到底什么是自动微分、自动微分怎么实现的吧！

MindStudio_5.0.RC2_linux.tar.gz

HUAWEI（华为） atlas 200 DK环境配置方法、网络配置、例程速跑及强化学习示例 内容涵盖华为Atals基本配置、昇腾华为Atals代码仓使用示例、MobaXterm使用示例等说明。 前言： ① 本文主要部分参考Atlas 200 DK开发者套件官方文档等资料。 ② 本文在官方环境部署的基础上简化了有读卡器情形下的制卡过程，更方便部署。 ③ 本文通过学习者的视角，对每一步操作进行了细致的解读并着重介绍了终端工具MobaXterm软件的相关使用方法，适用于方便地管理文件和传输文件，对初学者更为友好。 ④ 本文为学习笔记及说明书类学习资料。