对个人来说，推荐系统起着信息过滤的作用；对Web/App来说，推荐系统起着满足用户个性化需求，提升用户满意度的作用。亚马逊推荐产生的成交额占其GMV的30%以上；Netflix推荐系统每年帮其节省了近10亿美金的业务费用。推荐系统越来越实时化。当一个会员访问Netflix，Netflix希望能够帮助他在几秒钟之内就找到他感兴趣的影片，以免他去寻找别的娱乐方式。下文为您介绍如何基于阿里云实时计算快速搭建一套实时推荐系统。推荐就是把用户的兴趣与物品做链接。但通常情况下，用户和物品之前不会有直接的关系（比如用户根本没看过这个物品，自然也不会有浏览、点击、收藏、喜欢等联系），需要一些中间元素来做桥

实时计算在字节跳动的发展与展望.pdf

互联网领域的实时计算一般都是针对海量数据进行的，除了像非实时计算的需求（如计算结果准确）以外，实时计算最重要的一个需求是能够实时响应计算结果，一般要求为秒级。实时计算的今天，业界都没有一个准确的定义，什么叫实时计算？什么不是？今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。一．实时计算的概念实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。1)数据源是实时的不间断的，要求用户的响应时间也是实时的（比如对于大型网站的流式数据：网站的访问PV/UV、用户访问了什么内容、搜索了什么内容等，实时的数据计算和分析可以动态实时地刷新用户

随着互联网技术的迅速发展，用户对于数据处理的时效性、准确性与稳定性要求越来越高，如何构建一个稳定易用并提供齐备的监控与预警功能的实时计算平台也成了很多公司一个很大的挑战。自2015年携程实时计算平台搭建以来，经过两年多不断的技术演进，目前实时集群规模已达上百台，平台涵盖各个SBU与公共部门数百个实时应用，全年JStorm集群稳定性达到100%。目前实时平台主要基于JStorm与SparkStreaming构建而成，本次分享将着重于介绍携程如何基于SparkStreaming构建实时计算平台，文章将从以下几个方面分别阐述平台的构建与应用：携程实时平台在接入SparkStreaming之前，JSt

这是一个国内IP归属地映射文件，通过该文件可以查询指定ip的归属地的省市名称，可以采用二分法来查询，方法简单，易于实现。

Samza是一款优秀的分布式流处理框架，非常像Twitter的流处理系统Storm（即Lambda架构Hadoop+Storm）。不同的是Samza基于Hadoop，而且使用了LinkedIn自家的Kafka分布式消息系统（即Kappa架构Kafka+Samza）。其优势在于：相对于Storm大部分是用Clojure实现的而言，Samza底层的实现语言是Scala和Java，而且代码不到万行，堪称小而美，从而可以更加低成本地去了解其实现，并作扩展和优化。因此，Samza成为越来越流行的流处理首选框架。本教程高屋建瓴，深入浅出，全面地介绍了Samza的基本概念和框架结构，系统地剖析了Samza的运行机理，并从其数据流处理逻辑的角度详解了其主要的API。本教程适合初学者快速入门，能让你在迅速掌握Samza的同时深刻理解流计算系统。

Spark学习，基础知识加发展史

BAT等各大互联网巨头企业关于Flink实际应用及优化案例

哮天犬告警平台 哮天犬是一个通用的统一告警平台，提供配置化、流程化、标准化的能力。可以选择对接日志中心日志类监控、实时计算类的监控能力，各业务方也可以直接在代码中埋点上报告警，同时我们团队也可以定制化开发既能满足业务需求又能快速复用告警平台的监控系统，实现监控告警全场景覆盖。 开始使用 # 拉去子模块 git clone https://github.com/tal-tech/alarm-dog.git --recursive # 根据实际情况修改 docker-compose.yml 中以下参数 VUE_APP_STATIC_PREFIX=//127.0.0.1:8081/admin/ VUE_APP_BASE_API=//127.0.0.1:8081/api/ # 启动docker docker-compose up -d # 导入sql docker exec -it alarm-d

重磅，实时数仓技术资料与最佳实践资料合集，共46份。 一、阿里云实时数仓入门资料合集 阿里云实时数仓视频课程 基于 Apache Flink + Hologres 的实时推荐系统架构解析 基于Hologres的实时数仓新架构 实时计算 Flink 版 SQL 实践 实时计算 Flink 版总体介绍 实时数仓助力互联网实时决策和精准营销 Hologres 数据导入/导出实践 Hologres 性能调优实践 二、实时数仓技术资料与最佳实践合集 大数据之数据仓库开发规范 阿里巴巴搜索推荐实时数仓演进之路 阿里实时数仓技术入门一本通 阿里云实时计算产品案例——实时数据仓库 菜鸟进口实时数仓2.0 菜鸟实时数据技术架构的演进 从Storm到Flink，有赞五年实时计算效率提升实践 基于 Flink 的滴滴实时数仓实践 基于 Flink 的典型 ETL 场景实现-实时数仓篇 基于 Hudi 和 Kylin 构建准实时高性能数据仓库 基于Apache Flink SQL构建实时数仓 基于DorisDB构建实时数据仓库 基于Flink+Iceberg构建企业级实时数据湖 基于Hologres的实时数仓实践 基于TiDB与Flink的实时数仓最佳实践的白皮书 京东实时数仓治理与实战 快手基于Flink构建实时数仓的场景化实践 离线实时一体化数仓与湖仓一体-云原生大数据平台的持续演进 美团基于 Flink 的实时数仓建设实践 美团实时数据仓库解决方案 美团外卖实时数仓建设实践 实时计算 Flink 版 & Hologres 全域实时数仓实践 数仓面试题汇总 腾讯基于Flink + Iceberg 全场景实时数仓的建设实践 腾讯看点基于Flink构建万亿数据量下的实时数仓及实时查询系统 万里牛实时数仓的演进之路 网易流批一体的实时数仓平台实践 网易实时数仓实践与展望 网易游戏基于 Flink 的流式 ETL 建设 网易云音乐基于Flink实时数仓实践 小米流式平台架构演进与实践 字节跳动 Jstorm 到 Apache Flink 的迁移实践 Apache Kudu在网易实时数仓的实践&mdash Clickhouse玩转每天千亿数据 Delta Lake在实时数仓中的应用实践 Flink + TiDB，体验实时数仓之美 Flink Hologres云原生实时数仓最佳实践 OPPO基于Apache Flink的实时数仓实践