操作步骤: 一.数据采集:视频网站访问日志(编辑python脚本) 1.Python日志产生器开发URL ,ip信息,状态码,时间等 2.python日志产生器测试并将日志写入到文件中 3.通过定时调度工具每一分钟产生一批数据 4.使用flume实时收集日志信息 5.对接实时数据到kafka并输出到控制台 6.spark streaming对接kafka的数据进行消费 数据采集详情:项目其他\数据采集.docx 二.数据清洗:见项目 使用spark streaming完成数据清洗操作 三.数据分析:见项目 功能一: 统计到今天为止视频的访问量 yyyyMMdd courseId 使用数据库来进行存储我们的统计结果 sparkstreaming把统计结果写入到数据库里面 hbase表设计:create 'aqy_video_clickcount','info' RowKey设计:day_videoid 功能二: 统计今天到现在为止从搜索引擎引流过来的实战课程的访问量 功能1+从搜索引擎引流过来的 HBase表设计: create 'aqy_video_search_clickcount','info' rowkey设计:根据业务需求20200529+search 功能具体实现步骤: 1.数据库访问dao层方法定义 2.hbase操作工具类开发 3.将spark streaming的处理结果写到hbase中 4.映射到hive数据仓库中 四.数据可视化:见数据可视化项目
2021-08-31 10:57:46 349KB spark 大数据
1
Flink Streaming 在滴滴的大规模生产_罗江宇@滴滴出行.pdf
2021-08-24 15:06:21 1.62MB flink
NATS .NET C# 流媒体客户端 NATS Streaming 是一个由提供支持的极其高性能、轻量级、可靠的流媒体平台。 NATS Streaming 提供以下高级功能集: 基于日志的持久性 At-Least-Once Delivery 模型,提供可靠的消息传递 基于每个订阅匹配的费率 重播/重启 最后值语义 笔记 请通过提出问题或提出问题。 对于一般性讨论,请访问我们的 slack 频道。 可以在提出加入请求。 入门 在 .NET 项目中开始使用 NATS 流客户端的最简单且推荐的方法是使用 NuGet 包。 有关如何使用客户端的示例,请参见下文或任何包含的示例项目。 使用源代码启动并运行 首先,下载源代码: git clone git@github.com:nats-io/stan.net.git 项目文件 存储库包含多个项目,都位于src\ STAN.Client-N
1
高清完整3737页版本。书籍地址:https://www.amazon.cn/dp/1491983876/ref=sr_1_1?ie=UTF8&qid=1539237846&sr=8-1&keywords=streaming+systems
2021-08-20 15:50:24 7.35MB google stream 流式计算
1
Darwin Streaming server 6.0.3 dss-6.0.3.patch dss-hh-20080728-1.patch
2021-08-18 15:37:26 19.34MB Darwin Streaming server
1
Apowersoft Streaming Audio Recorder(录音精灵)是一款来自Apowersoft公司的专业级电脑录音软件,能够极大提升用户听觉盛宴的录音工具,支持从各大音乐网站、视频平台及音乐电台录制音频流媒体文件,Apowersoft录音精灵可为用户提供诸如MP3、AAC、FLAC、WMA等在内多样化的输出格式,以便于您可以在任意播放器及便携式设备中轻松享受音乐的乐趣,如果大家需要一款更好用的电脑录音软件的话试试Apowersoft录音精灵吧,威航软件园提供最新版本的录音精灵官方下载。
1
行业分类-作业装置-一种基于Spark+Streaming的动态更新共享数据方法.7z
2021-08-10 14:03:04 271KB 行业分类-作业装置-一种基于Sp
使用流数据构建无服务器应用程序 此示例应用程序展示了如何为流数据工作负载构建灵活的无服务器后端。 此示例应用程序称为Alleycat 。 该应用程序是一个家庭健身系统,允许用户参加一系列激烈的 5 分钟虚拟自行车比赛。 一次多达 1,000 名赛车手骑上马鞍,突破节奏和阻力的极限,创造个人记录并在排行榜上排名。 该软件将固定式健身车与处理来自数千个远程设备的数据的后端应用程序连接起来。 前端允许用户配置他们的比赛并查看实时排行榜和历史排名。 要了解有关此应用程序如何工作的更多信息,请参阅 AWS 计算博客上的 5 部分系列: 第 1 部分: : 。 第 2 部分: : 。 第 3 部分: : 。 第 4 部分: : 。 第 5 部分: : 。 :warning: 运行此应用程序会产生费用。 它使用不在 AWS 免费套餐中的应用程序并生成大量消息。 重要提示:此应用
2021-08-04 14:05:59 288KB nodejs aws lambda vuejs
1
合流 在浏览器中使用 whatwg 流构建和读取 zip 文件。 /ˈkänˌfləks/ (名词)两个或多个流的流动 极速 ~100 kB 导入 使用流,最小化内存开销 兼容性 Chrome合金 :check_mark_button: 苹果浏览器 :check_mark_button: 边缘 :check_mark_button: 火狐 :check_mark_button: 例子 用法 导入 Conflux 包管理器 # With Yarn yarn add @transcend-io/conflux # With NPM npm install --save @transcend-io/conflux import { Reader , Writer } from '@transcend-io/conflux' ; CDN < script src =" https://cdn.jsdelivr.net/npm/@transcend-io/conflux@3 " > </ script > cons
2021-08-03 18:04:56 181KB streaming privacy compression streams
1