项目一Spark离线处理
本项目来源于企业级电商网站的大数据统计分析平台,该平台以?Spark 框架为核心,对电商网站的日志进行离线和实时分析。?
该大数据分析平台对电商网站的各种用户行为(访问行为、购物行为、广告点击行为等)进行分析,根据平台统计出来的数据,辅助公司中的?PM(产品经理)、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。?本项目使用了?Spark 技术生态栈中最常用的三个技术框架,Spark Core、Spark SQL 和?Spark Streaming,进行离线计算和实时计算业务模块的开发。实现了包括用户访问?session 分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计?4 个业务模块。通过合理的将实际业务模块进行技术整合与改造,该项目几乎完全涵盖了?Spark Core、Spark SQL 和?Spark Streaming 这三个技术框架中大部分的功能点、知识点,学员对于?Spark 技术框架的理解将会在本项目中得
1