近年来，恶意软件呈现出爆发式增长势头，新型恶意样本携带变异性和多态性，通过多态、加壳、混淆等方式规避传统恶意代码检测方法。基于大规模恶意样本，设计了一种安全、高效的恶意软件分类的方法，通过提取可执行文件字节视图、汇编视图、PE 视图3个方面的静态特征，并利用特征融合和分类器集成学习2种方式，提高模型的泛化能力，实现了特征与分类器之间的互补，实验证明，在样本上取得了稳定的F1-score（93.56%）。

前端react 后端springboot 数据库mysql

进行学习机器学习，需要很多数据集进行练习，本数据集就是给开始学习人工智能的朋友准备的初级数据集，不再需要自己到处寻找数据集。

收割 一个简单的基于机器学习的网站，推荐最佳农作物，肥料和农作物所患疾病 动机 农业是影响一国经济增长的主要部门之一。 在像印度这样的国家，大多数人口以农业为生。 机器学习和深度学习等许多新技术正在农业中实施，因此农民可以更轻松地发展并最大程度地提高产量。 在这个项目中，我提供一个网站，其中实现了以下应用程序； 作物推荐，肥料推荐和植物病害预测。 在农作物推荐应用程序中，用户可以从他们的侧面提供土壤数据，并且该应用程序将预测用户应该种植哪种农作物。 对于肥料推荐应用程序，用户可以输入土壤数据和他们正在生长的农作物的类型，该应用程序将预测土壤缺乏或过量的土壤，并会提出改进建议。 对于最后一个应用程序，即植物病害预测应用程序，用户可以输入患病植物叶片的图像，该应用程序将预测它是什么病害，并且还会提供有关该病害的一些背景知识以及如何治愈该病害的建议。 数据源 （定制数据集） （定制数

生成视频字幕的pytorch代码

深圳公路交通数据集，可以用来机器学习预测交通数据流量

@参考Python 机器学习基础教程 鸢尾花分类 一个简单的机器学习应用，构建第一个模型。 对鸢尾花的分类，根据测量数据进行，该测量数据则为特征。测量数据：花瓣的长度和宽度、花萼的长度和宽度，所有测量结果的单位为cm 我们的目标是构建一个机器学习模型 因为有已知品种的鸢尾花的测试数据，所以这是一个监督学习问题。我们要在多个选项中预测其中一个（品种）。这是一个分类（classsification）问题。可能的输出（鸢尾花的不同品种）叫做类别（class）。数据集中共有三个类别（setosa、versicolor、virginica）。对于一个数据点来说，它的品种叫做标签（label）。 1、初识

机器学习的时间序列预测 一组预测时间序列的不同机器学习模型，具体来说是给定货币图表和目标的市场价格。 要求 必需的依赖项： numpy 。 其他依赖项是可选的，但是为了使最终模型更多样化，建议安装以下软件包： tensorflow ， xgboost 。 经过python版本测试：2.7.14、3.6.0。 取得资料 有一个内置的数据提供程序，可以从获取数据。 目前，所有模型都已通过加密货币图表进行了测试。 提取的数据格式是标准安全性：日期，最高，最低，打开，关闭，交易量，报价量，weightedAverage。 但是模型与特定的时间序列特征无关，并且可以使用这些特征的子集或超集进行训练。 要获取数据， 从根目录运行脚本： # Fetches the default tickers: BTC_ETH, BTC_LTC, BTC_XRP, BTC_ZEC for all time periods. $ ./run_fetch.py 默认情况下，将提取Poloniex中所有可用时间段（天，4h，2h，30m，15m，5m）的数据，并将其存储在_data目录中。 您可以通过命令行参

日志异常检测器 日志异常检测器是一个名为“ Project Scorpio”的开源项目代码。 LAD也简称为LAD。 它可以连接到流媒体源并生成对异常日志行的预测。 在内部，它使用无监督机器学习。 我们结合了许多机器学习模型来实现这一结果。 另外，它在回路反馈系统中还包括一个人。 项目背景 该项目的最初目标是开发一种自动方法，根据用户应用程序日志中包含的信息，在用户的应用程序出现问题时通知用户。 不幸的是，日志中充满了包含警告甚至是可以忽略的错误的消息，因此简单的“查找关键字”方法是不够的。 另外，日志的数量在不断增加，没有人愿意或无法监视所有日志。 简而言之，我们的最初目标是使用自然语言处理工具进行文本编码，并使用机器学习方法进行自动异常检测，以构建一种工具，该工具可以通过突出显示最日志来帮助开发人员针对失败的应用程序更快地执行根本原因分析如果应用程序开始产生高频率的异常日志，则很可能

----------------- # DFace • [](https://opensource.org/licenses/Apache-2.0) | **`Linux CPU`** | **`Linux GPU`** | **`Mac OS CPU`** | **`Windows CPU`** | |-----------------|---------------------|------------------|-------------------| | [](http://pic.dface.io/pass.svg) | [](http://pic.dface.io/pass.svg) | [](http://pic.dface.io/pass.svg) | [](http://pic.dface.io/pass.svg) | **基于多任务卷积网络(MTCNN)和Center-Loss的多人实时人脸检测和人脸识别系统。** [Github项目地址](https://github.com/kuaikuaikim/DFace) [Slack 聊天组](https://dfaceio.slack.com/) **DFace** 是个开源的深度学习人脸检测和人脸识别系统。所有功能都采用　**[pytorch](https://github.com/pytorch/pytorch)**　框架开发。pytorch是一个由facebook开发的深度学习框架，它包含了一些比较有趣的高级特性，例如自动求导，动态构图等。DFace天然的继承了这些优点，使得它的训练过程可以更加简单方便，并且实现的代码可以更加清晰易懂。 DFace可以利用CUDA来支持GPU加速模式。我们建议尝试linux GPU这种模式，它几乎可以实现实时的效果。 所有的灵感都来源于学术界最近的一些研究成果，例如　[Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks](https://arxiv.org/abs/1604.02878) 和 [FaceNet: A Unified Embedding for Face Recognition and Clustering](https://arxiv.org/abs/1503.03832) **MTCNN 结构**　　  ** 如果你对DFace感兴趣并且想参与到这个项目中, 以下TODO是一些需要实现的功能，我定期会更新，它会实时展示一些需要开发的清单。提交你的fork request,我会用issues来跟踪和反馈所有的问题。也可以加DFace的官方Q群 681403076 也可以加本人微信 jinkuaikuai005 ** ### TODO(需要开发的功能) - 基于center loss 或者triplet loss原理开发人脸对比功能，模型采用ResNet inception v2. 该功能能够比较两张人脸图片的相似性。具体可以参考 [Paper](https://arxiv.org/abs/1503.03832)和[FaceNet](https://github.com/davidsandberg/facenet) - 反欺诈功能，根据光线，质地等人脸特性来防止照片攻击，视频攻击，回放攻击等。具体可参考LBP算法和SVM训练模型。 - 3D人脸反欺诈。 - mobile移植，根据ONNX标准把pytorch训练好的模型迁移到caffe2,一些numpy算法改用c++实现。 - Tensor RT移植，高并发。 - Docker支持，gpu版 ## 安装 DFace主要有两大模块，人脸检测和人脸识别。我会提供所有模型训练和运行的详细步骤。你首先需要构建一个pytorch和cv2的python环境，我推荐使用Anaconda来设置一个独立的虚拟环境。目前作者倾向于Linux Ubuntu安装环境。感谢山东一位网友提供windows DFace安装体验，windos安装教程具体 可参考他的[博客](http://www.alearner.top/index.php/2017/12/23/dface-pytorch-win64-gpu) ### 依赖 * cuda 8.0 * anaconda * pytorch * torchvision * cv2 * matplotlib ```shell git clone https://gitee.com/kuaikuaikim/dface.git ``` 在这里我提供了一个anaconda的环境依赖文件environment.yml （windows请用environment-win64.yml），它能方便你构建自己的虚拟环境。 ```shell cd dface conda env create -f environment.yml ``` 添加python搜索模块路径 ```shell export PYTHONPATH=$PYTHONPATH:{your local DFace root path} ``` ### 人脸识别和检测 如果你对mtcnn模型感兴趣，以下过程可能会帮助到你。 #### 训练mtcnn模型 MTCNN主要有三个网络，叫做**PNet**, **RNet** 和 **ONet**。因此我们的训练过程也需要分三步先后进行。为了更好的实现效果，当前被训练的网络都将依赖于上一个训练好的网络来生成数据。所有的人脸数据集都来自　**[WIDER FACE](http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/)** 和 **[CelebA](http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html)**。WIDER FACE仅提供了大量的人脸边框定位数据，而CelebA包含了人脸关键点定位数据。以下训练除了　生成ONet的人脸关键点训练数据和标注文件　该步骤使用CelebA数据集，其他一律使用WIDER FACE。如果使用wider face的 wider_face_train.mat 注解文件需要转换成txt格式的，我这里用h5py写了个 [转换脚本](https://gitee.com/kuaikuaikim/dface/blob/master/dface/prepare_data/widerface_annotation_gen/transform.py). 这里我提供一个已经转换好的wider face注解文件 [anno_store/wider_origin_anno.txt](https://gitee.com/kuaikuaikim/dface/blob/master/anno_store/wider_origin_anno.txt), 以下训练过程参数名--anno_file默认就是使用该转换好的注解文件。 * 创建 dface 训练数据临时目录，对应于以下所有的参数名　--dface_traindata_store ```shell mkdir {your dface traindata folder} ``` * 生成PNet训练数据和标注文件 ```shell python dface/prepare_data/gen_Pnet_train_data.py --prefix_path {注解文件中图片的目录前缀,就是wider face图片所在目录} --dface_traindata_store {之前创建的dface训练数据临时目录}　--anno_file {wider face 注解文件,可以不填，默认使用anno_store/wider_origin_anno.txt} ``` * 乱序合并标注文件 ```shell python dface/prepare_data/assemble_pnet_imglist.py ``` * 训练PNet模型 ```shell python dface/train_net/train_p_net.py ``` * 生成ＲNet训练数据和标注文件 ```shell python dface/prepare_data/gen_Rnet_train_data.py --prefix_path {注解文件中图片的目录前缀，就是wider face图片所在目录} --dface_traindata_store {之前创建的dface训练数据临时目录} --anno_file {wider face 注解文件,可以不填，默认使用anno_store/wider_origin_anno.txt} --pmodel_file {之前训练的Pnet模型文件} ``` * 乱序合并标注文件 ```shell python dface/prepare_data/assemble_rnet_imglist.py ``` * 训练RNet模型 ```shell python dface/train_net/train_r_net.py ``` * 生成ONet训练数据和标注文件 ```shell python dface/prepare_data/gen_Onet_train_data.py --prefix_path {注解文件中图片的目录前缀，就是wider face图片所在目录} --dface_traindata_store {之前创建的dface训练数据临时目录} --anno_file {wider face 注解文件,可以不填，默认使用anno_store/wider_origin_anno.txt} --pmodel_file {之前训练的Pnet模型文件} --rmodel_file {之前训练的Rnet模型文件} ``` * 生成ONet的人脸五官关键点训练数据和标注文件 ```shell python dface/prepare_data/gen_landmark_48.py ``` * 乱序合并标注文件(包括人脸五官关键点) ```shell python dface/prepare_data/assemble_onet_imglist.py ``` * 训练ONet模型 ```shell python dface/train_net/train_o_net.py ``` #### 测试人脸检测 ```shell python test_image.py ``` ### 人脸对比 @TODO 根据center loss实现人脸识别 ##　测试效果  ### QQ交流群(模型获取请加群) #### 681403076  #### 本人微信 ##### jinkuaikuai005  ## License [Apache License 2.0](LICENSE)