此资源还是hadooponwindows-master，原地址为https://github.com/sardetushar/hadooponwindows/，为了方便上传，我把它换了一个名字，无意修改。 方便观看博客的人能够使用，请谅解。

花了N久时间在win10_x64下编译的hadoop2.7.1版本的hadoop.dll和winutils.exe，ECLIPSE下集成开发使用，供大家下载。(里面两个压缩包，其中一个是winutils-master 从github弄下来参考用的)

hadoop-eclipse-plugin-2.2.0.jar hadoop安装eclipse必备插件，亲测可用，欢迎大家下载，交换下载币，谢谢！

Hadoop集群完整搭建，直接跳过部署Hadoop集群

一．实验内容 Hadoop安装使用： 1）在PC机上以伪分布式模式安装Hadoop； 2）访问Web界面查看Hadoop信息。 二．实验目的 1、熟悉Hadoop的安装流程。 2、熟悉Hadoop访问Web界等基本操作。 ### Hadoop安装及使用知识点详解 #### 一、实验内容概览 本次实验的主要目标是掌握Hadoop在PC机上的安装及使用方法，具体包括： 1. **伪分布式模式下的Hadoop安装**：通过在一台PC机上模拟多台机器的行为来搭建Hadoop集群。 2. **Web界面访问**：安装完成后，通过Web界面监控和管理Hadoop集群的状态。 #### 二、实验目的 1. **熟悉Hadoop安装流程**：从环境准备、软件安装到配置调试，全面了解Hadoop部署的全过程。 2. **掌握基本操作**：学会如何通过Web界面等工具进行集群状态监控和管理。 #### 三、实验过程知识点详解 1. **SSH无密码登录配置**： - **生成SSH密钥对**：使用`ssh-keygen -t rsa`命令生成一对RSA类型的公钥和私钥。这一步骤是为了后续能在没有密码的情况下实现SSH登录。 - **添加公钥至authorized_keys文件**：将生成的公钥文件内容追加到`.ssh/authorized_keys`文件中，实现SSH免密码登录。 2. **Java环境配置**： - **JDK安装**：首先下载JDK压缩包，并将其解压到指定目录。 - **配置环境变量**：通过编辑`~/.bashrc`文件，设置JAVA_HOME等环境变量，并使用`source ~/.bashrc`命令使更改立即生效。 3. **Hadoop的安装与配置**： - **Hadoop安装**：从官方网站下载Hadoop压缩包，并将其解压到`/usr/local`目录下。 - **配置核心文件**：编辑`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`四个配置文件，设置Hadoop的关键参数。 - **格式化HDFS**：使用`hdfs namenode -format`命令格式化Hadoop的NameNode，这是启动集群前的必要步骤。 - **启动Hadoop集群**：通过执行`start-dfs.sh`和`start-yarn.sh`脚本启动Hadoop服务，可通过`jps`命令查看是否成功启动NameNode、DataNode以及SecondaryNameNode进程。 4. **Web界面访问**： - **查看集群状态**：通过浏览器访问`http://localhost:9870`来查看Hadoop集群的Web界面，可以监控集群的状态和性能指标。 #### 四、实验总结及心得体会 **实验总结**： - **虚拟机搭建**：使用virtualBox创建多个虚拟机，模拟多台服务器的环境。 - **JDK安装**：在每个虚拟机上安装JDK，为Hadoop提供必要的运行环境。 - **Hadoop配置**：通过编辑配置文件，完成Hadoop集群的部署和启动。 - **功能测试**：通过简单的程序验证集群的功能性，确认数据能在各节点间正常传输和处理。 **心得体会**： - **虚拟机技术**：熟练掌握了virtualBox等虚拟机软件的使用，提高了在虚拟环境中搭建分布式系统的技能。 - **Hadoop安装过程**：深入了解了Hadoop的安装流程，包括在不同操作系统上的安装配置技巧。 - **分布式系统架构**：通过实验加深了对Hadoop分布式平台架构和组件的理解，为后续大数据项目的实施积累了宝贵经验。 - **Linux技能提升**：在实验过程中，通过编写和执行Shell脚本来管理集群，提高了Linux命令行操作的能力。 - **大数据处理**：对大数据处理有了更深刻的认识，了解了Hadoop在大数据处理中的作用及其发展前景。 通过本次实验，不仅提升了个人技能和理论知识，也为未来的职业发展打下了坚实的基础。

3．1 需求分析 需求分析是任何一个项目开发过程中的一个决定性环节，一份完整好的需求分 析，开发者可以准确的熟悉整个软件或者系统的功能，要求，设计条件等具体要求， 进而确定项目要去完成的具体模块。需求分析对整个开发国政具有决定性，是项目 做好，高质的重要保证。 3.1.1 开发背景及目标 本文的数据来源于校园区域内学生上网搜狗搜索日志，每条日志通常都代表一 个学生的访问行为，本位所使用的数据是搜狗一天内的 500 万条搜索日志记录，其 格式为：访问时间，用户 ID，查询词，该 URL 在返回结果中的排名，点击顺序号， 点击 URl。 其中用户 ID 是根据用户使用浏览器访问搜索引擎的自动复制，同一次使用浏 览器输入的不同查询词对应于同一 ID。五条用户查询记录如表 3.1 所示： 表 3.1 用户查询记录 访问时间 用户 ID 查询词 返回结果 排名 点击顺 序号 点击 URL 2011123000 0005 f31f594bd1f31472 98bd952ba35de84d 傲视千雄 3 1 http://web. 4399.com 2011123000 0017 2ebbc38bf56753b0 9c945de813a443c3 人在囧途 2 1 http://tv.s ogou.com 2011123000 0020 072fa3643c91b29b d586aff29b402161 12306.cn 1 1 http://www. 12306.cn 2011123000 0016 16c3b69cc93e838f 89895b49643cef1d 王小丫 6 1 http://www. 94caobi.com 2011123000 0018 3d1acc7235374d53 1de1ca885df5e711 满江红 2 2 http://www. baidu.com 从上面的这几条日志中，我们可以得到很多有价值的信息，例如搜索者的 ID、 访问的时间、查询的关键词、点击的 URL 等。 毫无疑问，搜狗搜索日志中包含了

hadoop-docker 前言 本项目使用docker-compose在单机上快速构建hadoop进行，方便基于hadoop的开发与测试。 快速启动 1.准备 本地需要提前安装 && 2.创建 hadoop容器将分为主机和从属两个类型，其中master容器中运行namenode和ResourceManager，slave容器中运行datanode和NodeManager。 容器将在../hdfs_data位置存储namenode和datanode hadoop-master容器配置参数 namenode文件夹地址： /root/hdfs/namenode 环境 IMAGE_ROLE 容器类型为从属容器，当IMAGE_ROLE标记为master表示此容器为master容器，根据此标记容器启动时自动执行格式namenod && start-dfs && start-yarn等命令 奴

本资源为燕山大学大数据三级项目，包括项目报告（英文版）和源码（可直接在虚拟机上运行），实现了新闻聚类和新闻分类。利用hadoop、spark和scala。其中有参考文件为如何在虚拟机上将scala文件提交到spark中 ；源码test.scala实现了新闻聚类，里面有分词（需要安装两个jar包），特征提取，利用kmeans聚类。output.libsvm为老师给的数据集的特征提取，就是spark官网上的代码总是读取libsvm，利用这个可直接读取，进行分类；分类有朴素贝叶斯和逻辑回归其中朴素贝叶斯准确率较高，逻辑回归准确率较低。navie为朴素贝叶斯源码，classify为逻辑回归源码。

本资源为燕山大学大数据实验报告，包括四个实验hadoop和spark下载，使用mllib实现线性回归算法，使用mllib实现支持向量机算法，使用mllib实现支持k-means算法。其中支持向量机算法求解了recall,precision，f1-score和accracy来实现算法评估。 ### 大数据分析实验报告知识点概览 #### 实验一：Hadoop与Spark环境构建及应用开发 ##### 实验目的与要求 本实验旨在使学生掌握Hadoop与Spark环境的搭建方法，并能正确启动Spark服务流程，进而实现Spark应用程序并确保其正常运行。 1. **Hadoop与Spark环境构建**： - 要求学生能够独立完成Hadoop与Spark环境的安装配置。 - 学生需具备启动Hadoop与Spark服务的能力。 2. **Spark应用开发**： - 学生应能够编写并运行简单的Spark应用程序。 - 通过实践加深对Spark工作原理的理解。 ##### 实验环境与软件配置 - **虚拟机平台**：VMware Workstation Pro 16 - **操作系统**：Ubuntu 14.04 Server (AMD64) - **JDK版本**：1.8 - **Scala版本**：2.12.6 - **Hadoop版本**：2.7.7 - **Spark版本**：2.4.4 (含Hadoop 2.7) ##### 实验内容 - 在Linux系统或虚拟机上安装配置Hadoop与Spark环境，并启动相应的守护进程。 - 使用Spark实现WordCount程序的开发与运行。 1. **数据准备**： - 输入数据：`input.txt` 2. **代码实现**： ```scala import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.log4j.{Level, Logger} object WordCount { def main(args: Array[String]): Unit = { Logger.getLogger("org").setLevel(Level.OFF) val conf = new SparkConf().setAppName("WordCount").setMaster("local[*]") val sc = new SparkContext(conf) val input = sc.textFile("file:/home/liqing/桌面/input.txt") val words = input.flatMap(line => line.split(" ")) val wordCounts = words.map(word => (word, 1)).reduceByKey(_ + _) val result = wordCounts.collect() result.foreach(println) sc.stop() } } ``` 3. **测试结果**： - 访问Hadoop集群管理界面：`192.168.37.146:50070` - 访问Spark UI：`192.168.37.146:8080` - WordCount程序运行结果展示。 由于WordCount程序不涉及分类或回归任务，因此无法用Precision、Recall等指标进行评估。 #### 实验二：使用Spark MLlib实现线性回归算法 ##### 实验目的与要求 1. **理解线性回归的基本原理**：要求学生能够准确理解线性回归算法的基本原理。 2. **实现线性回归算法**：要求学生能够利用Spark MLlib实现基本的线性回归算法，并进行实际数据集上的训练与测试。 ##### 实验内容 1. **数据准备**：准备用于训练和测试的样本数据集。 2. **模型训练**：利用Spark MLlib提供的API实现线性回归模型训练过程。 3. **模型评估**：使用测试集数据对训练好的模型进行评估，计算准确率、精确率、召回率以及F1分数等指标。 本实验报告通过Hadoop与Spark环境的构建、WordCount程序的实现，以及基于Spark MLlib的线性回归算法的实现与评估，全面涵盖了大数据处理与分析的核心技术要点。学生在完成这些实验后，将对Hadoop、Spark及其机器学习库有更深入的认识与理解。

在当前的数字化时代，电商平台面临着海量数据的处理挑战，如何从这些数据中挖掘价值并提供个性化的用户体验成为了关键。基于Hadoop和Spark的个性化推荐系统是解决这一问题的有效方案。这个项目实战旨在深入理解大数据处理技术和推荐系统的核心原理，通过实际操作提升分析和构建推荐系统的能力。 **Hadoop** 是一个开源的分布式计算框架，它允许在廉价硬件上处理大规模数据。Hadoop主要由两个核心组件组成：Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS提供了高容错性的分布式存储，而MapReduce则为大规模数据集的并行处理提供了编程模型。在这个项目中，Hadoop将用于存储和预处理电商大数据，例如用户行为日志、商品信息等。 **Spark** 是一种快速、通用且可扩展的大数据处理引擎，它在内存计算方面表现优秀，比Hadoop更高效。Spark提供了更丰富的数据处理API，包括DataFrame和Spark SQL，使得数据科学家和工程师可以更便捷地进行数据分析和机器学习任务。在推荐系统中，Spark可用于执行协同过滤、基于内容的推荐或深度学习模型训练，以实现用户和商品之间的精准匹配。 推荐系统主要分为两大类：**基于内容的推荐** 和 **协同过滤推荐**。前者依赖于用户的历史行为和商品的属性，通过比较新商品与用户过去喜欢的商品之间的相似性来进行推荐。后者则是通过分析大量用户的行为模式，找出具有相似兴趣的用户群体，然后将某一群体中一部分人喜欢的但另一部分人还未发现的商品推荐给他们。 在这个电商大数据项目中，我们需要使用Hadoop的MapReduce对原始数据进行预处理，如清洗、转换和聚合。接着，将预处理后的数据导入Spark，利用Spark的DataFrame和Spark SQL进行数据探索和特征工程，构建用户和商品的画像。然后，可以运用Spark MLlib库中的协同过滤算法，或者使用TensorFlow、PyTorch等深度学习框架在Spark上构建神经网络模型，训练推荐模型。根据模型预测结果生成个性化推荐列表，并实时更新以适应用户行为的变化。 为了适应B2B（企业对企业）和B2C（企业对消费者）的不同场景，推荐系统需要考虑不同的推荐策略。B2B推荐可能更多地关注商品的兼容性、业务合作等因素，而B2C则侧重于用户个人喜好和购买历史。因此，在项目实施过程中，需要针对这两种情况设计不同的评价指标和优化目标。 基于Hadoop和Spark的个性化推荐系统项目涵盖了大数据处理、分布式计算、机器学习以及推荐系统等多个领域的知识。通过实践，我们可以深入了解这些技术在实际电商应用中的作用，同时提升解决复杂问题的能力。