《Excel PQ教程：提升数据分析能力的关键》 Excel作为一款广泛使用的数据处理工具，其Power Query（简称PQ）功能在近年来越来越受到重视。这是一门深度学习Excel的课程，旨在帮助用户通过PQ提高自己的数据处理和分析能力，进而提升整体的实力。 PQ是Excel中的一个强大组件，它为用户提供了数据清洗、转换和集成的强大工具，使得复杂的数据处理工作变得简单易行。在本教程中，我们将会深入探讨以下几个关键知识点： 1. **认识PQ**：我们需要理解PQ的基本概念和作用。PQ提供了一种直观的界面，用于查询和编辑数据源，无论是本地文件还是在线数据，都能进行高效管理。 2. **自定义列**：在第02课中，我们将学习如何根据需求自定义数据列，例如添加新列、修改列名或更改列的数据类型，这是对数据进行预处理的重要步骤。 3. **追加查询**：在第03课中，将讲解如何合并多个数据源，这对于整合分散在不同文件中的数据尤为实用，极大地提升了数据处理的效率。 4. **连接类型**：第04课会详细阐述6种不同的连接类型，包括内连接、外连接等，这些连接方式能帮助我们处理多表之间的关联，实现更复杂的数据分析。 5. **逆透视与分组依据**：第06课的逆透视功能可以让用户将数据从列转换为行，便于分析。而分组依据则可以帮助我们将数据按特定条件进行分类，便于统计和比较。 6. **M函数**：第09课将深入M语言，讲解如`List.Max`这样的函数，掌握M函数可以让我们在PQ中实现更复杂的计算和逻辑判断。 7. **处理空行、空值和错误值**：第08课将介绍如何处理数据中的异常情况，比如空行、空值和错误值，这是确保数据质量的关键步骤。 8. **制作笛卡尔积表**：在第12课中，我们将学习如何创建笛卡尔积表，这是一种将两个或更多表格的每一行组合的方式，用于生成所有可能的组合，常用于模拟和预测分析。 通过这个全面的Excel PQ课程，你不仅能掌握基本的数据处理技能，还能深入理解数据的内在联系，从而在工作中更加游刃有余。配合"全部课程观看链接.txt"，你可以按照课程顺序系统学习，不断提升自己的Excel技能，为职业生涯添加强大的竞争力。无论你是数据分析师、业务人员还是学生，这个教程都将是你提升数据处理能力的宝贵资源。

标题中的“多种隧道裂缝数据集可用于目标检测分类”揭示了这个资源的核心内容，这是一个专门针对隧道裂缝检测的数据集，设计用于训练和评估目标检测模型。目标检测是计算机视觉领域的一个重要任务，它不仅要求识别图像中的物体，还要精确地定位这些物体的位置。在这个场景中，目标就是隧道裂缝，这对于隧道安全监测、维护工作以及结构健康评估具有重要意义。 描述进一步提供了具体信息，指出该数据集包含了2100多张经过人工打标签的图片，这意味着每张图片都已标记出裂缝的位置，这对于深度学习模型的训练至关重要。标签有两种格式：txt和xml。txt文件通常包含简洁的坐标信息，而xml文件则可能包含更详细的对象边界框信息，如顶点坐标和类别信息。这两种格式为不同的模型训练库提供了灵活性，比如PASCAL VOC和YOLO系列模型支持xml格式，而某些其他库可能更适合txt格式。 提到的YOLOv8是You Only Look Once (YOLO)目标检测框架的最新版本，这是一个实时目标检测系统，以其快速和高效著称。作者表示使用YOLOv8训练得到的模型在数据集上的平均精度（mAP）达到了0.85，这是一个相当高的指标，表明模型在识别和定位隧道裂缝方面表现出色。 结合“检测分类”和“深度学习数据集”的标签，我们可以理解这个数据集不仅用于定位裂缝，还可能涉及分类任务，即区分不同类型的裂缝，这在工程实践中可能是必要的，因为不同类型的裂缝可能预示着不同的结构问题。 这个压缩包提供的数据集是一个专为隧道裂缝检测定制的深度学习资源。它包括大量带有精确标注的图像，适配多种标签格式，并且已经过YOLOv8模型的验证，具有较高的检测性能。这样的数据集对于研究者和工程师来说非常有价值，他们可以利用这些数据来开发或改进自己的目标检测算法，以提升隧道安全监控的自动化水平和效率。同时，由于数据集的质量和规模，它也适用于教学和学习深度学习，尤其是目标检测和图像分类领域的实践项目。

IEC 61850 报文解析 IEC 61850 是一种智能电网通信标准，用于变电站自动化和 industrial automation。该标准定义了一种基于客户端-服务器架构的通信协议，用于智能电子设备（IED）之间的数据交换。 1. 相关术语简介 IED（Intelligent Electronic Device）：智能电子设备，指具有自动化控制和数据交换功能的电子设备。 ICD（Intelligent Configuration Description）：智能电子设备配置描述，指用于描述 IED 的配置信息的文件。 SCD（Substation Configuration Description）：变电站配置描述，指用于描述变电站的配置信息的文件。 CID（Configured ICD）：配置的 ICD，指从 SCD 文件中导出的与各自 IED 相关的内容形成的文件。 SCL（Substation Configuration Language）：变电站配置语言，指用于描述变电站的配置信息的语言。 AccessPoint：访问点，指 IED 上的网络接口。 PHD（Physical Device）：物理设备，指实际的电子设备。 LD（Logical Device）：逻辑设备，指 IED 的逻辑表示。 LN（Logical Node）：逻辑节点，指 IED 的逻辑节点。 FC（Functional Constraint）：功能约束，指 IED 的功能约束。 FCD（Functional Constraint Data）：功能约束数据，指 IED 的功能约束数据。 FCDA（Functional Constraint Data Attribute）：功能约束数据属性，指 IED 的功能约束数据属性。 GOCB（GOOSE Control Block）：GOOSE 控制块，指 IEC 61850 中的 GOOSE 控制块。 LLN0（Logical Node 0）：逻辑节点 0，指 IED 的逻辑节点 0。 SGCB（Set Group Control Block）：定值控制块，指 IEC 61850 中的定值控制块。 DO（Data Object）：数据对象，指 IED 的数据对象。 DA（Data Attribute）：数据属性，指 IED 的数据属性。 2. ICD/CID 模型文件简介 ICD/CID 模型文件是一种树状层次结构，包括 PHD、LD、LN、DO 和 DA 五个层次。其中，PHD 是物理设备，LD 是逻辑设备，LN 是逻辑节点，DO 是数据对象，DA 是数据属性。 2.1 模型文件结构 ICD/CID 模型文件结构如图 2-1-1 所示： PHD（物理设备）→LD（逻辑设备）→LN（逻辑节点）→DO（数据对象）→DA（数据属性） 2.2 ICD 模型文件内容与数据库信号的对应 ICD 模型文件内容与数据库信号的对应关系可以分为两类：遥测信号和遥信信号。 2.2.1 遥测信号 遥测信号是指 IED 的测量信号，例如电压、电流等。在 ICD 模型文件中，遥测信号的内容可以分为两部分：数据集定义和实例化后的遥测数据。 数据集定义是指 ICD 模型文件中 LD 下面的数据集定义，如图 2-2-1-2 所示： 图 2-2-1-2 icd 遥测数据集定义 实例化后的遥测数据是指 ICD 模型文件中 LN 下面的实例化后的遥测数据，如图 2-2-1-3 所示： 图 2-2-1-3 遥测数据实例 2.2.2 遥信信号 遥信信号是指 IED 的控制信号，例如开关信号、告警信号等。在 ICD 模型文件中，遥信信号的内容可以分为两部分：数据集定义和实例化后的遥信数据。 数据集定义是指 ICD 模型文件中 LD 下面的数据集定义，如图 2-2-2-2 所示： 图 2-2-2-2 icd 遥信数据集定义 实例化后的遥信数据是指 ICD 模型文件中 LN 下面的实例化后的遥信数据，如图 2-2-2-3 所示： 图 2-2-2-3 遥信数据实例 通过本文档，我们可以了解 IEC 61850 报文解析的基本概念和模型文件结构，并且了解 ICD 模型文件内容与数据库信号的对应关系。这将有助于我们更好地理解和应用 IEC 61850 报文解析技术。

《YOLOv8在RKNN3588上的混合量化实践》 YOLOv8是一款高效、精确的实时目标检测模型，它在前几代YOLO的基础上进行了优化，提升了检测速度和准确性。而RKNN3588是基于ARM架构的高性能AI计算平台，其强大的计算能力和低功耗特性使得它在嵌入式设备上运行深度学习模型成为可能。本文将详细介绍如何将YOLOv8模型通过混合量化技术移植到RKNN3588平台上。 理解混合量化是关键。混合量化是指在模型转换过程中，结合全精度和低精度数据类型，以达到兼顾模型性能和计算效率的目的。在YOLOv8模型上应用混合量化，可以有效减小模型体积，降低内存消耗，同时尽可能保持预测精度。 在将YOLOv8模型部署到RKNN3588之前，我们需要进行模型的ONNX格式转换。`onnx2rknn_step1.py`和`onnx2rknn_step2.py`是两个关键的Python脚本，它们分别对应模型转换的不同阶段。`onnx2rknn_step1.py`用于将原始的YOLOv8模型转换为ONNX（Open Neural Network Exchange）格式，这是跨框架的模型表示，方便进一步处理。然后，`onnx2rknn_step2.py`则将ONNX模型转换为专为RKNN3588优化的RKNN模型，这一步通常包括模型的量化操作。 在转换过程中，开发者需要根据实际需求调整量化策略，如选择哪些层进行量化，是全通道量化还是通道分组量化，以及设定不同的量化位宽。这个过程需要对模型的结构和运算特性有深入理解，以确保量化后的模型在保持检测性能的同时，能充分发挥硬件的计算能力。 `dataset.txt`文件通常是模型训练或验证时使用的数据集描述文件，里面包含了样本图片的路径和对应的类别标签。在部署模型到RKNN3588之前，我们需要对模型进行校准，以确定最佳的量化参数。这个过程通常需要用到一部分代表性的数据集，通过运行模型并观察输出结果，从而调整量化参数以达到最优性能。 总结来说，YOLOv8在RKNN3588上的混合量化涉及模型的ONNX转换、量化策略的定制、模型校准和最终的RKNN模型生成。这一系列步骤需要对深度学习模型、量化技术以及目标硬件平台有深入的理解。通过合理的设计和优化，我们可以实现一个在嵌入式设备上高效运行的目标检测系统，满足实时性和准确性的双重需求。

German-Credit-Risk UCI Machine Learning Dataset models = pd.DataFrame({'Models':['Random Forest Classifier', 'Support Vector Classifier', 'Logistic Regression', 'Gradient Boost Classifier'],'Score':[score_rfc ,score_svc, score_lr, score_gbc]}) models.sort_values(by='Score', ascending = False)

Motif编程学习

使用Python和Keras框架开发深度学习模型对CIFAR-10图像分类的项目是一个典型的机器学习任务，涉及到构建、训练和评估一个深度神经网络来识别图像中的不同类别。以下是这个项目的详细描述： ### 项目概述 CIFAR-10是一个包含60,000张32x32彩色图像的数据集，分为10个类别，每个类别有6,000张图像。这些类别包括飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船和卡车。项目的目标是构建一个深度学习模型，能够自动将新的图像分类到这10个类别中的一个。 技术细节 卷积神经网络（CNN）：由于图像数据具有空间层次结构，CNN能够有效地捕捉这些特征。 归一化：将图像像素值归一化到0-1范围内，有助于模型训练的稳定性和收敛速度。 批量归一化：加速模型训练，提高模型对初始化权重不敏感的能力。 丢弃层（Dropout）：防止模型过拟合，通过随机丢弃一些神经元来增加模型的泛化能力。 优化器：如Adam，它结合了RMSprop和Momentum两种优化算法的优点。 损失函数：binary_crossentropy适用于多分类问题，计算模型输出与真实标签之间的差异。

github官网下载的，深度学习 with PyTorch 中文版， 项目网页地址：https://tangshusen.me/Deep-Learning-with-PyTorch-Chinese/#/ 基本摘录版（Essential Excerpts），共141页， 内容包括以下五个部分： 1.深度学习与PyTorch简介 2.从一个张量开始 3.使用张量表示真实数据 4.学习机制 5.使用神经网络拟合数据

离线强化学习（Offline Reinforcement Learning, ORL）是一种机器学习方法，它允许算法通过观察预先收集的数据集来学习策略，而无需与环境实时交互。PyTorch 是一个流行的深度学习框架，它提供了灵活的计算图和易于使用的API，使得实现复杂的深度强化学习算法变得相对简单。本资源集中了七种基于PyTorch实现的离线强化学习算法，分别是：行为克隆（Behavior Cloning, BC）、BCQ、BEAR、TD3-BC、保守Q学习（Conservative Q-Learning, CQL）、独立Q学习（Independent Q-Learning, IQL）以及优势加权Actor-Critic（Advantage Weighted Actor-Critic, AWAC）。 1. **行为克隆（Behavior Cloning, BC）**：这是一种监督学习方法，通过模仿专家示例的动作来学习策略。BC的目标是最大化动作概率的似然性，即让模型预测的数据尽可能接近于专家数据。 2. **BCQ（Bootstrapped DQN with Behavior Cloning）**：该算法结合了行为克隆和Bootstrapped DQN，旨在处理离线数据的分布偏移问题。它使用多个Q函数的集合，并结合行为克隆来提高稳定性。 3. **BEAR（Bootstrapped Environments with Adversarial Reconstructions）**：BEAR是一种确保策略接近原始数据分布的方法，通过最小化策略动作与离线数据中的动作之间的距离，避免了样本分布不匹配导致的问题。 4. **TD3-BC（Twin Delayed Deep Deterministic Policy Gradient with Behavior Cloning）**：TD3是DDPG（Deep Deterministic Policy Gradient）的一个改进版本，而TD3-BC在TD3的基础上加入了行为克隆，进一步提高了离线学习的稳定性。 5. **保守Q学习（Conservative Q-Learning, CQL）**：CQL引入了一个额外的损失项，以防止Q值过高估计，从而保持对离线数据分布的保守估计，避免选择超出数据范围的行动。 6. **独立Q学习（Independent Q-Learning, IQL）**：IQL是针对多智能体强化学习的一种方法，但在离线设置下也可以应用。每个智能体独立地学习Q值函数，以最大化其自己的长期奖励。 7. **优势加权Actor-Critic（Advantage Weighted Actor-Critic, AWAC）**：AWAC结合了Actor-Critic架构和优势函数，通过在目标策略更新中考虑优势函数，使得策略更倾向于选择在离线数据中表现良好的动作。 这些算法在不同的强化学习环境中进行测试，如MuJoCo模拟器中的连续控制任务，通过比较它们的性能，可以深入理解各种离线强化学习方法的优缺点。对于研究者和开发者来说，这个资源包提供了一个宝贵的平台，用于探索和比较不同的离线学习策略，有助于推动强化学习领域的发展。在实际应用中，可以根据特定任务的特性选择合适的算法，或者将这些方法作为基础进行进一步的研究和改进。

强化学习的倒立摆程序，用MATLAB语言编写，可在maltab上运行。