《数据挖掘》 Weka实验报告 姓名 ＿ 学号＿ 指导教师 开课学期 2015 至 2016 学年 2 学期 完成日期 2015年6月12日 1.实验目的 基于http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+WiscOnsin+%28Ori - ginal%29的数据，使用数据挖掘中的分类算法，运用Weka平台的基本功能对数据集进 行分类，对算法结果进行性能比较，画出性能比较图，另外针对不同数量的训练集进行 对比实验，并画出性能比较图训练并测试。 2.实验环境 实验采用Weka平台，数据使用来自http://archive.ics.uci.edu/ml/Datasets/Br- east+Cancer+WiscOnsin+%28Original%29，主要使用其中的Breast Cancer Wisc- onsin (Original) Data Set数据。Weka是怀卡托智能分析系统的缩写，该系统由新西兰怀卡托大学开发。Weka使 用Java写成的，并且限制在GNU通用公共证书的条件下发布。它可以运行于几乎所有操作 平台，是一款免费的，非商业化的机器学习以及数据挖掘软件。Weka提供了一个统一界 面，可结合预处理以及后处理方法，将许多不同的学习算法应用于任何所给的数据集， 并评估由不同的学习方案所得出的结果。 3.实验步骤 3.1数据预处理 本实验是针对威斯康辛州(原始)的乳腺癌数据集进行分类，该表含有Sample code number（样本代码)，Clump Thickness（丛厚度），Uniformity of Cell Size（均匀的细胞大小）， Uniformity of Cell Shape （均匀的细胞形状），Marginal Adhesion（边际粘连），Single Epithelial Cell Size（单一的上皮细胞大小），Bare Nuclei（裸核），Bland Chromatin（平淡的染色质），Normal Nucleoli（正常的核仁）， Mitoses（有丝分裂），Class（分类），其中第二项到第十项取值均为1- 10，分类中2代表良性，4代表恶性。 通过实验，希望能找出患乳腺癌客户各指标的分布情况。 该数据的数据属性如下： 1. Sample code number（numeric），样本代码； 2. Clump Thickness（numeric），丛厚度； 3.Uniformity of Cell Size（numeric）均匀的细胞大小； 4. Uniformity of Cell Shape（numeric），均匀的细胞形状； 5.Marginal Adhesion（numeric），边际粘连； 6.Single Epithelial Cell Size（numeric），单一的上皮细胞大小； 7.Bare Nuclei（numeric），裸核； 8.Bland Chromatin（numeric），平淡的染色质； 9. Normal Nucleoli（numeric），正常的核仁； 10.Mitoses（numeric），有丝分裂； 11.Class（enum），分类。 3.2数据分析 由http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+WiscOnsin+%28Ori- ginal%29得到一组由逗号隔开的数据，复制粘贴至excel表中，选择数据——分列——下 一步——逗号——完成，该数据是有关乳腺癌数据集，有11个属性，分别为Sample code number（样本代码)，Clump Thickness（丛厚度），Uniformity of Cell Size（均匀的细胞大小），Uniformity of Cell Shape （均匀的细胞形状），Marginal Adhesion（边际粘连），Single Epithelial Cell Size（单一的上皮细胞大小），Bare Nuclei（裸核），Bland Chromatin（平淡的染色质），Normal Nucleoli（正常的核仁）， Mitoses（有丝分裂），Class（分类），因为复制粘贴过来的数据没有属性，所以手工 添加一行属性名。Weka分类数据需把excel保存为一个csv文件。 3.2.1 .csv -> .arff 将CSV转换为ARFF最迅捷的办法是使用WEKA所带的命令行工具。 打开weka,之后出现GUI界面，如图1所示： （图1） 点击进入"Exploer"模块，要将.csv 格式转换为 .arff格式，点击open file...,打开刚保存的"乳腺癌数据集.csv 数据挖掘实验报告主要探讨了如何使用Weka这一数据挖掘工具对乳腺癌数据集进行分类和分析。实验的目标是基于UCI机器学习库中的Breast Cancer Wisconsin (Original)数据集，利用Weka的分类算法进行预测，并对不同算法的性能进行比较。Weka是由新西兰怀卡托大学开发的开源软件，它支持多种操作系统，并提供了丰富的数据预处理、学习算法和评估工具。 实验环境主要涉及Weka平台和乳腺癌数据集。乳腺癌数据集包含了11个属性，包括丛厚度、细胞大小均匀性、细胞形状均匀性等，以及一个分类标签，表示肿瘤是良性还是恶性。实验者需要先对数据进行预处理，例如在Excel中整理数据，并将其转换为Weka可读的CSV格式。 在数据预处理阶段，首先需要了解每个属性的意义，然后导入数据，通常需要手动添加属性名称。由于Weka需要ARFF格式的数据，因此需要将CSV文件转换为ARFF。这可以通过Weka的命令行工具或图形用户界面（GUI）实现，比如在“Explorer”模块中选择打开CSV文件，系统会自动将其转换为ARFF格式。 数据分析阶段，实验者可能应用了Weka中的一系列分类算法，如决策树、贝叶斯网络、随机森林等，并对这些算法的性能进行了评估。性能比较通常包括准确率、召回率、F1分数等指标，同时通过绘制混淆矩阵和ROC曲线来直观地展示模型的优劣。此外，实验可能还涉及到训练集大小对模型性能的影响，通过改变训练集的数量，观察并比较不同规模训练集下的分类效果。 通过这样的实验，可以学习到数据挖掘的基本流程，包括数据清洗、特征工程、模型构建和评估。同时，还能掌握Weka工具的使用，理解不同分类算法的工作原理和适用场景。实验报告最后会总结实验结果，提出可能的改进策略，例如特征选择、参数调优等，以提高模型的预测能力。这样的实践对于理解数据挖掘技术在实际问题中的应用具有重要意义。

不用辛苦外网下载了，又慢又不稳定，支持python3.5及以上 前置资源需要下载：numpy、scipy、matplotlib

数据集齐全（60k+数据） 所用方法多，不论老师要求什么，总有符合用得上（分类，逻辑回归，时间序列） 代码+数据集+报告一条龙服务。 内容说明： 数据预处理，数据清洗，对数据进行描述性分析，统计分析，相关性分析，用ggplot2画图。并分别用逻辑回归和决策树分类建立模型。和用时间序列预测数据。 难度不低于课程实践

西电数据挖掘作业_SVM图像分类实验报告

大数据期末大作业 数据挖掘， 爬虫相关，朴素贝叶斯分类器python 简介： 运用爬虫技术以及朴素贝叶斯分类对抓取的新闻进行分类， 分析每种新闻在网站中的占比 已定义的新闻类别： 财经 科技 汽车 房产 体育 娱乐 其他 1. 环境以及依赖 python环境 python==3.9 依赖的第三方库： jieba parseurl bs4 numpy 2. 使用模型 朴素贝叶斯分类器 实现：纯python实现 3. 数据来源 新闻共分7类，新闻信息在此采集： 1 财经 http://finance.qq.com/l/201108/scroll_17.htm 2 科技 http://tech.qq.com/l/201512/scroll_02.htm 3 汽车 http://auto.qq.com/l/201512/scrollnews_02_2.htm 4 房产 http://gd.qq.com/l/house/fcgdxw/more_7.htm 5 体育 http://sports.qq.com/l/201512/scrollnews_01_2.htm 6 娱乐 http

PEMS 数据集是由美国加利福尼亚州的交通部门联合其他伙伴机构建立的统一公开交通数据库。美国加利福尼亚州的交通部门在交通路网上大约设置了超过39000 个交通监测站，交通管理部门安装在路网上的各类传感器可以实时地收集所在高速公路上的交通状况信息，越是接近市区人口密集的地区，传感器布置的也越密集，从分布上来看，这些传感器大多被安置在靠近市区的路段上。PEMS提供了超过十年的历史交通状况数据，整合了有关加州运输公司以及其他交通机构系统的各类信息。 PemsD7 交通数据集：数据由分布在加利福尼亚州高速公路系统（CalTrans）中选择 228 个站点数据。数据集从30 秒的数据样本聚合到5 分钟的时间间隔内。时间范围在 2012 年5 月和6 月的工作日的228 个站点交通速度信息，数据包括邻接矩阵和特征矩阵。 邻接矩阵是通过分析已有时空交通数据的特性，构建一种新的具有相似交通流量模式的 矩阵，特征矩阵是每个传感器节点的时间序列特征矩阵。

针对海量数据背景下K-means聚类结果不稳定和收敛速度较慢的问题，提出了基于MapReduce框架下的K-means改进算法。首先，为了能获得K-means聚类的初始簇数，利用凝聚层次聚类法对数据集进行聚类，并用轮廓系数对聚类结果进行初步评价，将获得数据集的簇数作为K-means算法的初始簇中心进行聚类；其次，为了能适应于海量数据的聚类挖掘，将改进的K-means算法部署在MapReduce框架上进行运算。实验结果表明，在单机性能上，该方法具有较高的准确率和召回率，同时也具有较强的聚类稳定性；在集群性能上，也具有较好的加速比和运行速度。

这是基于python爬虫技术编程写的全球外贸数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。

算法实验使用sklearn完成。 代码内容包括： 1.特征相关性热力图 2.特征筛选 3.使用： 'k近邻', '逻辑回归', '神经网络', '决策树', 'SVC', '集成学习随机森林', '集成学习adaboost', '梯度提升树', 'Xgboost' 共9类分类算法实验以及测试的结果。

力窃漏电用户自动识别 1.背景与数据分析目的 a.通过电力系统采集到的数据，提取出窃漏电用户的关键特征， b.构建窃漏电用户的识别模型:以实现自动检查、判断用户是否是存在窃漏电行为。 2.数据预处理 通过对拿到的数据进行数据质量分析，检查原始数据中存在的脏数据，通过查看原始数据中抽取的数据，发现存在数据缺失的现象，使用朗格拉日插值法：选取缺失值前5个数据作为前参考组，缺失值后5个数据作为后参考组，处理缺失值程序. 3.挖掘建模 从专家样本中随机选取20%作为测试样本，剩下的80%作为训练样本，初步选择常用的分类预测模型：CART决策树和LM神经网络。 3.1 构建CART决策树模型 3.2 LM神经网络模型 3.3 CART和LM模型对比 结论：LM神经网络的ROC曲线比CART决策树更加靠近单位方形的左上角且LM神经网络的ROC曲线下的面积更大，则LM神经网络预测模型的分类性能更好，更适合应用于窃漏电用户自动识别当中。 将处理后的数据作为模型输入数据，利用构建好的模型（位于工程的tmp中）计算用户的窃漏电结果，并与实际调查结果做对比，对模型进行优化，进一步提高识别准确率。 ——