kettle版本需9.4.0.0-343 1、解压后放入data-integration\plugins目录下 2、重启spoon 3、在转换下批量加载中可以看到此插件 4、插件配置：其中Fenodes应配置“ip:端口”端口为http_port默认8030 5、数据库信息按情况填写，其他内容保持默认即可。注意表字段的大小写要和流字段的保持一致 Kettle-Spoon是Pentaho公司的一款开源ETL工具，用于进行数据转换和抽取。doris是一个高性能的分析型数据库，适用于海量数据的实时分析。doris官方提供的doris-stream-loader是Kettle-Spoon的一个插件，用于将数据高效地从Kettle抽取到doris数据库中。 使用该插件需要首先检查Kettle的版本是否满足要求，即为9.4.0.0-343版本。一旦确认版本无误，便可以将doris-stream-loader插件解压并放入data-integration\plugins目录下。操作完成后，需要重启spoon，即Kettle的图形化界面，以确保插件能够被正确加载和识别。 重启后，在spoon界面的“转换”下选择“批量加载”，便可以看到新增的doris-stream-loader插件。这时，便可以对插件进行配置。配置主要包括两部分，首先是Fenodes配置。Fenodes指的是doris集群中的节点，需要按照“ip:端口”的格式进行配置，而端口通常情况下是http_port，其默认值为8030。还需要填写数据库信息。在配置数据库信息时，需要注意表字段的大小写要与流字段保持一致，以避免数据不匹配的问题。 doris-stream-loader插件的使用大大提高了数据从Kettle抽取到doris数据库的效率，这对于需要进行大数据量处理的用户来说是一个福音。但需要注意的是，使用该插件时，对Kettle和doris的版本和配置都有一定的要求，只有在严格遵循操作步骤和配置要求的前提下，才能确保数据抽取的顺利和高效。

1 使用glm4-flash免费的API进行文本QA问答数据抽取，40个煤矿领域安全的规章文本，最终抽取出837个样本共8万token进行微调 2 使用第一步抽取的文本QA问答数据基于glm4-flash微调出一个煤矿安全大模型，并进行测试 在人工智能领域，文本问答系统一直是一个热门的研究方向，尤其是在特定领域内，如矿山安全，这样的系统能够有效地提供专业信息查询和问题解答。本项目展示了如何利用glm4-flash免费API进行文本问答数据的抽取，以及基于这些数据训练和微调一个针对煤矿安全的大模型。 项目从40个煤矿领域的安全规章文本中抽取了837个样本，总共涉及8万token（token是文本处理中的一个单位，可以是一个词、一个字母或一个符号）。这一步骤至关重要，因为它决定了模型能否获取到足够且高质量的数据来进行学习。通过使用glm4-flash的API，研究人员能够有效地从这些规章文本中识别和抽取出与问答相关的数据，为后续的模型训练提供了原材料。 接下来，使用第一步中抽取的问答数据对一个基础模型进行了微调。微调是指在预训练模型的基础上，用特定任务的数据对模型进行进一步的训练，以提高模型在该任务上的表现。在这个案例中，研究人员将模型微调为一个专门针对煤矿安全问答的“大模型”。这个模型经过微调后，不仅能够理解煤矿安全相关的专业术语和概念，还能够对相关问题给出准确的答案。 在这个过程中，所用到的技术和方法包括自然语言处理（NLP）、机器学习（ML）、以及深度学习等。特别是，深度学习中的预训练模型如BERT、GPT等，因其强大的语义理解和生成能力，在文本问答系统中扮演了重要角色。而glm4-flash API的使用，显示了利用现有工具和资源，即使是免费的，也可以取得相对良好的效果。 此外，本项目的研究成果不仅仅限于模型的训练和微调，还包括了模型的测试阶段。测试是一个验证模型性能和准确度的重要环节，通过一系列的测试，可以确保模型在实际应用中的可靠性和稳定性。对于煤矿安全这样一个对准确性要求极高的领域，这一点显得尤为重要。 本项目的标签为“数据集”、“矿山安全”和“大模型”，这准确地概括了项目的核心内容和应用方向。数据集是人工智能研究的基础，提供了模型学习的材料；矿山安全强调了应用的领域和目的；大模型则体现了模型的规模和复杂性，以及背后的技术深度。 该项目展示了如何利用现有资源进行高效的数据抽取，进而训练出一个针对特定领域（煤矿安全）的问答大模型。这种方法论不仅适用于矿山安全领域，也可以被广泛地应用到其他专业领域，推动人工智能在更多场景中的实际应用。

第三章对线性调频雷达的干扰 第三章对线性调频雷达的干扰 雷达的工作原理是通过对回波信号的检测发现目标并测量目标的参数信息 的，所以干扰的重点就落在了对雷达信号的利用上面。干扰的目的就是要破坏雷 达这样一个工作的流程，让干扰信号能够尽可能多的进入到雷达接收机，使雷达 不能正常的对目标信息进行探测或者得到错误的目标参数信息。 对雷达干扰的分类有很多种，按是否辐射电磁能量可以分为有源干扰和无源 干扰。利用干扰机产生电磁能量，主动施放电磁能量的方式称为有源干扰。本身 不主动辐射，而是反射、改变敌方的辐射能量称为无源干扰。例如箔条干扰，就 是利用箔条对雷达波的反射，在雷达接收机中产生较强的噪声，形成对雷达的电 磁压制干扰效果，因而它属于无源压制干扰。有源干扰按干扰效果可以分为压制 式干扰和欺骗式干扰。压制式干扰利用噪声和类似噪声的干扰信号进入雷达接收 机，压制真实目标的回波信号，使雷达不能正确的得到目标的参数信息。欺骗式 干扰是通过转发或者直接发射携带假目标信息的信号到雷达的接收机，使雷达的 目标检测和跟踪系统不能正常的检测出真实目标，同时将产生的假目标误认为是 真目标，从而达到以假乱真的目的。 目前对LFM雷达的干扰研究较多∞刮，主要是因为LFM信号其压缩的原理是利 用了不同频率分量经过匹配滤波器后的延迟特性不同来达到压缩效果的。对LFld 雷达的干扰主要有：射频噪声干扰，噪声调制干扰，延时转发干扰，移频干扰，等 间隙取样干扰等。噪声干扰由于通过匹配滤波器几乎不会获得压缩处理增益，所 以，需要能发送大功率信号的干扰机，这给工程实现带来了困难。于是干扰界提 出了基于卷积噪声的灵巧干扰方法，一方面利用信号的压缩特性，一方面利用噪 声的随机性来产生干扰信号，这种方法能获得很好的压制干扰效果。延时转发干 扰是将截获到的雷达信号存储后通过不断的转发在雷达的距离轴上产生距离拖引 的干扰效果。移频干扰是人为的对收到的雷达信号加一个多普勒频率调制，从而 使产生的假目标相对于真实目标有一个距离上的延时，以达到欺骗干扰效果。等 间隔取样干扰是通过低采样率对信号欠采样，利用不同频率分量的加权幅度不一 致来产生成串具有随机性的假目标，主假目标产生欺骗干扰效果，其他旁瓣假目 标产生压制的干扰效果。

离线数据处理 任务一：数据抽取

kettle7.1可用版本

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

（1）Kettle数据抽取---全量抽取

datax-web-2.1.2，大数据、etl工具、数据抽取

excel数据抽取到kafka

此为kettle工具的一个pdf文档说明手册，仅供参考，备注：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。它允许你管理来自不同数据库的数据，通过提供一个图形化工具。