传统的性能优化往往只注重一个技术指标, 最终的业务结果很难量化。本次演讲向大家介绍一个基于大数据准确度量性能对电商业务的回报的方法。也就是说,任何一个微小的局部性能优化(investment)带来的新增订单(return)可以被精确估算出来。因此,我们在性能上的投入产出比(ROI)就可以被准确的度量出来。 这种准确的度量, 不但帮助我们更理智的决策在性能的投入, 而且带来了新的跨团队、可拆分、并且是可以大规模协同、和跨领域复制的全新的性能优化模式。 因为一个小的性能优化可以局部测试后再分批、分阶段、分团队、跨领域大规模复制。 利用这种模式,阿里巴巴的AliExpress团队在6个月内通过性能优化带来10.5%的订单增长。 并且这个模式被复制到了阿里巴巴全集团十几个BU, 其中包括淘宝、天猫、聚划算和阿里云。 听众受益: (1)学习大数据性能建模方法和基于大数据的实时度量性能损耗(因为性能不好而损失的订单占比)方法 (2)学习各分项性能指标比如说下单页面白屏,首屏,和全屏加载TP50和TP99数据采集方案和监控方式。 (3)对比不同优化方案的的结果和投入产出比:比如说专线回源、网络层权威DNS部署、CDN动态加速、AJAX请求合并、网络协议升级和图片编码优化等。
2022-04-02 13:23:14 17.46MB 电商系统架构
1
大数据分析平台总体架构——数据存储层 业务系统前日增量数据 缓存数据,支持后续ELT数据处理 数据内容 主要用途 数据模型 保留周期 用户 访问模式 工作负载 平台要求 贴源数据模型 保存最近7天数据 贴源数据区和主题数据区批量作业访问 无最终用户访问 I/O敏感,连续小批量的数据抽取和加载 少量量数据使用Hive的Load命令,大量数据使用MR程序 与主题区/贴源区/集市区构成一个Hadoop集群(Hive) 无单点故障,7×24小时+非工作日有限停机 主题数据区、集市数据区和沙盘演练数据区批量作业访问 无最终用户访问 I/O敏感,日终批量ETL 以ELT形式通过Hive SQL执行 与主题区/贴源区/集市区构成一个Hadoop集群(Hive) 无单点故障,7×24小时+非工作日有限停机 贴源数据模型 不保存历史 业务系统前日快照数据和一段时间的流水数据 数据标准化,为后续主题模型、集市和沙盘演练提供数据 临时数据区 贴源数据区
2022-02-18 20:56:33 5.01MB 大数据 电商 系统架构
1
本文来自于cnblogs,对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述,并给出一个架构参考。用户多,分布广泛大流量,高并发海量数据,服务高可用安全环境恶劣,易受网络攻击功能多,变更快,频繁发布从小到大,渐进发展以用户为中心免费服务,付费体验高性能:提供快速的访问体验。高可用:网站服务一直可以正常访问。可伸缩:通过硬件增加/减少,提高/降低处理能力。安全性:提供网站安全访问和数据加密、安全存储等策略。扩展性:方便地通过新增/移除方式,增加/减少新的功能/模块。敏捷性:随需应变,快速响应;分层:一般可分为应用层、服务层、数据层、管理层与分析层;
1
可供参考的流程图-跨境电商系统架构,在此模版下各位按照自己的情况进行修改,设计出自己或公司所需要的流程图。
2021-11-23 20:26:20 128KB 流程图 跨境电商架构图
1
双十一电商系统架构
2021-11-01 18:07:28 651KB 双十一电商系统架构图
1
大数据分析平台总体架构——数据质量管理 数据质量管理框架蓝图如下,其中数据质量提升是改进数据质量的手段和质量考评的目的: 数据质量要求确认,根据业务要求制定和明确数据质量要求,同时也需要符合数据标准的要求; 数据质量考评,对数据质量的量化评价 制定数据质量问题解决方案,根据数据质量考评和日常工作中发现的数据质量问题,实施相应的措施,提升数据质量 数据质量要求 业务规则 数据一致性要求 数据完整性要求 数据唯一性要求 数据准确性要求 数据及时性要求 数据质量 标准 数据质量 验证规则 数据质量 考核指标 数据质量提升 数据补录 手工修正 自动修正 数据质量考评 数据质量监控 不定期数据质量检查 数据质量 分析报告
2021-08-07 23:07:08 5.01MB 大数据 电商 系统架构
1
大数据分析平台总体架构——数据安全管理 数据安全管理可分为数据安全分级管理和数据访问授权管理两个部分: 数据安全分级:根据业务要求,制定一系列的数据安全分级标准和政策,为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础。 数据访问授权:数据访问授权的主要工作是根据数据安全分级标准,定义数据访问的授权方法及流程,建立基于数据安全分级的数据使用授权机制,实现数据访问和信息披露的安全。 数据安全分级 数据敏感度 数据安全 等级定义 数据访问授权 数据重要性 数据使用需求 数据使用者权责 数据访问 授权规则 安全技术
2021-07-13 13:44:57 5.01MB 大数据 电商 系统架构
1