深度学习中，对不同类的数据集图片进行分类，使得训练集、测试集、验证集中含有的图片类别不冲突。例如我手头有一个医学图像处理的数据集，我要检测图片中的病变类别，分清他是肿瘤、创伤还是其它问题，因为每一类图片都对应着多个病人，但在实际训练过程中，同一个病人的病变图片差不多，如果分属于训练集、验证集、测试集，那么检测精度一定会有是会有所下降，所以需要先进行一次分类。这个程序就是起到这样一个作用。classify.py #读取图片前六位 def sixTop(fileList): sixTopName = list() for name in fileList: sixTopName.append(name[0:6]) return sixTopName #判断前六位数字是否重复，输出次数 def imgRepeat(L): repeatList = [] setList = set(L) flag=True if len(L) != len(setList): flag=False

超全的 3D 视觉数据集汇总.pdf 21个深度学习开源数据集分类汇总.pdf 行人检测.docx 15个目标检测开源数据集汇总.pdf 10个工业检测数据集.docx

使用最新的github源程序打包的单个可执行程序Labelme.exe文件! 省去了安装anaconda环境后再配置Label环境的步骤，直接双击Windows环境下使用，便于协同标注，提高标注效率。 labelme工具主要用于图像分割领域制作自己的数据集； labelme可以自己制作像MaskRCNN模型做图像分割训练需要的数据集。

如何从少数训练样本中学习并识别新的类别对于深度神经网络来说是一个具有挑战性的问题。针对如何解决少样本学习的问题，全面总结了现有基于深度神经网络的少样本学习方法，涵盖了方法所用模型、数据集及评估结果等各个方面。具体地，针对基于深度神经网络的少样本学习方法，提出将其分为数据增强方法、迁移学习方法、度量学习方法和元学习方法四种类别；对于每个类别，进一步将其分为几个子类别，并且在每个类别与方法之间进行一系列比较，以显示各种方法的优劣和各自的特点。最后强调了现有方法的局限性，并指出了少样本学习研究领域未来的研究方向。

类别变量（categorical variable）：只有有限个值得变量，如性别就是一个类别变量，类似于这种。 如果不对这些变量做预处理，训练出来的模型可能是错误的。 主要有三种方法来处理这个变量。 如何从数据中找到类别变量？ 我们可以对每一列检查它的数据类型，某列的数据类型为”object”，表明该列有文本（也可能是其他的，但对我们的目标来说不重要），某列是数据是文本，则该列表示类别变量。 代码如下： # 获得类别变量的列名，存放在列表中 s = (X_train.dtypes == 'object') object_cols = list(s[s].index) 1.直接删除类别变量。

电力系统负荷（电力需求量，即有功功率）预测是指充分考虑历史的系统负 荷、经济状况、气象条件和社会事件等因素的影响，对未来一段时间的系统负荷 做出预测。负荷预测是电力系统规划与调度的一项重要内容。短期（两周以内） 预测是电网内部机组启停、调度和运营计划制定的基础；中期（未来数月）预测 可为保障企业生产和社会生活用电，合理安排电网的运营与检修决策提供支持； 长期（未来数年）预测可为电网改造、扩建等计划的制定提供参考，以提高电力 系统的经济效益和社会效益。 复杂多变的气象条件和社会事件等不确定因素都会对电力系统负荷造成一 定的影响，使得传统负荷预测模型的应用存在一定的局限性。同时，随着电力系 统负荷结构的多元化，也使得模型应用的效果有所降低，因此电力系统负荷预测 问题亟待进一步研究。

ExploratoryDataProject1 说明该作业使用来自UC Irvine机器学习存储库的数据，该存储库是机器学习数据集的流行存储库。 特别是，我们将使用我在课程网站上提供的“个人家庭用电量数据集”：数据集：电力消耗[20Mb]说明：测量一个家庭中一个家庭的电力消耗的方法-在近4年内的分钟采样率。 提供不同的电量和一些子计量值。 数据集中9个变量的以下描述来自UCI网站：日期：以dd / mm / yyyy格式表示的时间时间：以hh：mm：ss格式表示的时间Global_active_power：家庭全球分钟平均有功功率（以千瓦为单位） ）Global_reactive_power：家庭全球平均每分钟平均无功功率（以千瓦为单位）电压：每分钟平均平均电压（以伏特为单位）Global_intensity：家庭全球每分钟的平均平均电流强度（以安培为单位）Sub_metering_1：

该文件为python学习资料，涵盖python的基础学习、提升的爬虫学习、数据分析学习以及一些实践项目。希望对你有帮助！ PS:解压密码见文件名

Cicflowmeter工具，加拿大实验室用来产生以太网数据标签，解压即可使用。 使用方法：         1.进入bin         2.点击CICFlowMeter.bat         3.选择需要解析的.pcap文件，进行解析 用了都说好。 CICFlowMeter是一个开源工具，它从pcap文件生成Biflow，并从这些流中提取特征。 CICFlowMeter是一个网络流量生成器，可从这里获得。它可用于生成双向流，其中第一个数据包确定前进（源到目的地）和后向（目的地到源）方向，因此可以在向前和向后方向上分别计算与统计时间相关的特征。其他功能包括从现有功能列表中选择功能、添加新功能以及控制流超时的持续时间。 注意：TCP 流通常在连接断开时终止（通过 FIN 数据包），而 UDP 流则因流超时而终止。流超时值可以由单个方案任意分配，例如，TCP 和 UDP 的 600 秒。

这是 ShowMeAI 持续分享的速查表系列！本速查表是《数据科学家知识要点图》。数据科学、机器学习、大数据分析……如果我们想成为一名数据科学家，应该如何开始呢？需要了解哪些工具和技术？ 这份速查表用“地铁图”的可视化方式，描绘了成为数据科学家的学习路径。每个领域表示为一条“地铁线”，内容主题按照序号标示为一个个车站。你可以选择一条线路，搭乘地铁并穿过所有车站（主题），最终到达目的地或者中途切换到下一条线路。