项目一Spark离线处理 本项目来源于企业级电商网站的大数据统计分析平台,该平台以?Spark 框架为核心,对电商网站的日志进行离线和实时分析。? 该大数据分析平台对电商网站的各种用户行为(访问行为、购物行为、广告点击行为等)进行分析,根据平台统计出来的数据,辅助公司中的?PM(产品经理)、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。?本项目使用了?Spark 技术生态栈中最常用的三个技术框架,Spark Core、Spark SQL 和?Spark Streaming,进行离线计算和实时计算业务模块的开发。实现了包括用户访问?session 分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计?4 个业务模块。通过合理的将实际业务模块进行技术整合与改造,该项目几乎完全涵盖了?Spark Core、Spark SQL 和?Spark Streaming 这三个技术框架中大部分的功能点、知识点,学员对于?Spark 技术框架的理解将会在本项目中得
1
由于公司内部项目众多,大量的项目使用同-套流程做CICD,那么势必会存在大量的重复代码,因此本章主要通过使用groovy实现Jenkins的sharedL ibrary的开发,以提取项目在CICD实践过程中的公共逻辑,提供一系列的流程的接口供公司内各项目调用,开发完成后,还是以Django的demo项目为例,进行Jenkinsfle的改造,最后仅需通过简单的Jenkinsfle的配置,即可优雅的完成CICD流程的整个过程,此方式已在大型企业内部落地应用。
1
【超实用课程内容】 深度学习在图像处理领域的发展过程; 解析经典的卷积神经网络; 垃圾分类实战。本课程将使用Pytorch深度学习框架进行实战,并在ubuntu系统上进行演示,包括:不同标注文件下的数据集读取、编写卷积神经网络、训练垃圾分类数据集、测试训练网络模型、网络可视化、性能评估等。 【课程如何观看?】 PC端:https://edu.csdn.net/course/detail/26295 移动端:CSDN 学院APP(注意不是CSDN APP哦) 【学员专享增值服务】 源码开放 课件、课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化 下载方式:电脑登录https://edu.csdn.net/course/detail/26295,点击右下方课程资料、代码等打包下载
1
该课程从基础讲起,再讲项目实战,从项目构建到项目部署;技术涉及到tableau的绝大数据知识点范围,能让学员用极短的时间,掌握所有内容;适合初高级程序员及学生,同时提供了详细教程。
1
涉及内容: 注意,学习此视频必须有一定基础的同学 区块链相关知识、钱包相关知识、p2p相关知识、uniapp相关知识 ? ? 01前言 ? ? 02成果展示 ? ? 03前言区块链概念和六层模型介绍 ? ? 04翻译一个带币的js简单例子原理介绍 ? ? 05区块链springboot工程搭建和区块相关实现 ? ? 06区块链中加密算法相关介绍以及实现 ? ? 07钱包相关实体类介绍 ? ? 08redis数据库等配置和工具类的介绍 ? ? 09区块链相关实体类介绍 ? ? 10挖矿相关实体类和POW相关的介绍 ? ? 11 p2p 点对点 server和client代码 ? ? 12 p2p 原理的简单介绍 ? ? 13 节点钱包相关启动实现 ? ? 14 web控制层逻辑基础代码 ? ? 15 web功能的整体介绍 ? ? 16 web钱包功能-创建钱包账户的完整功能实现 ? ? 17 web钱包功能-获取挖矿钱包信息和根据钱包地址获取信息 ? ? 18 web钱包功能-获取当前节点所有钱包 ? ? 19 全节点钱包轻钱包中心化钱包的概念 ? ? 20 p2p三个节点的相关配置并启
1
以flink处理kafka消息流场景为例,将接受到的kafka消息sink到mysql、elastic、hdfs、kafka,通过真实的案例,助你入门flink计算框架。课程案例代码也可移植到其它业务系统,实现快速开发。
1
大数据发展史: Flink和storm sparkstreaming对比 实时框架如何选择1:需要关注流数据是否需要进行状态管理 2:At-least-once或者Exectly-once消息投递模式是否有特殊要求 3:对于小型独立的项目,并且需要低延迟的场景,建议使用storm 4:如果你的项目已经使用了spark,并且秒级别的实时处理可以满足需求的话,建议使用sparkStreaming5:要求消息投递语义为 Exactly Once 的场景;数据量较大,要求高吞吐低延迟的场景;需要进行状态管理或窗口统计的场景,建议使用flink 针对以上知识我们通过flink读取kafka保存到redis方式快速让大家学习flink如何使用,以及我们如果搭建高性能的flink应用,这个课程属于快速实战篇。 Flink + kafka + redis 实时计算
1
istio+k8s[kubernetes]技术讲解【基础+进阶版】
1
本套视频课程分为两部分内容,第一部分定位于Hyper-V基础篇,主要内容包括服务器虚拟化的概念、用途,探索Hyper-V 2012 R2的新功能,了解Hyper-V架构,安装和配置Hyper-V主机,Hyper-V软件界面及各组件功能介绍; 第二部分定位于Hyper-V管理篇,主要内容包括虚拟机的迁移、复制、Hyper-V虚拟化群集技术。理论到位,实战突出,是学习Hyper-V技术首选课程。
1