1、基础框架基础框架里面有什么东西,为什么有他,比如说多环境适配,因为我们整套数据平台的解决方案是对外输出的,有公有云环境,有专有云环境,这些环境底下的基础设施都不一样,比如说包括租户和账户体系,权限体系,流程体系,审批流这类东西,所以正是通过基础框架搭我们底层的环境。最主要目的其实是提供一些我们上层数据应用的通用能力以及把底层的数据环境的差异给屏蔽掉。 2、核心能力: ① 数据安全:数据安全就会涉及到数据资产的分类、分级。不同类别的资产,他的安全等级是不一样的,他在安全里面需要有权限的话,他的审批策略是不一样的,这是数据安全这一块,可能还涉及一些比如脱敏,我们消费端接触到这些数据怎么脱敏; ② 隐私保护:隐私保护更偏重,比如说隐私保护还有一个叫法是数据安全、数据合规,我们想要做什么事情,就是我们要去透明化的看到各个公司数据流通,比如有哪些数据,这些数据的安全等级是什么样的,涉及到用户哪些数据; ③ 数据质量:主要是在我们数据研发过程当中,数据周期从发布到线上调度,调度完了怎么去做数据质量的监测,检测完了以后,比如说我们做离线调度的时候最重要的一个就是数据产出时效,所以有一个基线。这都是怎么去保障我们任务的基线; ④ 元数据中心:元数据中心大家都知道,因为我们下面有各种各样不同的引擎,有Spark,有ODPS,有MySQL这些东西,怎么去把它当中的数据统一的元数据中心; ⑤ 数据治理:数据治理的逻辑就是配合数据质量把我们现有的数据给盘清楚。 3、数据引擎 ① 任务执行与调度引擎:我们在做ETL的时候大多数都是这种任务执行与调度; ② 数据科学引擎:数据科学引擎主要是做分析,做业务洞察这一类,今天的数据业务平台可能更多的就是依赖于数据科学引擎,后面会详细介绍; ③ 决策服务引擎:决策引擎比如说给大家举一个场景,芝麻分大家都知道,那首先假如我有一个业务在线上,在线上做策略的时候,或者给大家看不同的页面的时候,不同的芝麻分的等级看到的页面或者等级是不一样的,这种东西是需要数据决策的,或者直白的来说,是需要这个人的芝麻分,这个通过统计数据服务会去配一个决策规则,相当于这里的决策引擎里面支持一种决策的DSL配置,简单来讲就是if……else……,if…else……,能够配置这样一套规则后,给在线业务场景提供服务,这是决策服务引擎。整个数据内核就这么多东西。
2021-06-16 17:01:41 9.12MB 数据分析 基础框架 数据安全 数据中台
精通ASP.NET 4.0网络编程:基础、框架与项目实战_源码
2021-06-09 20:21:16 24.34MB ASP.NET 网络编程
1
HL7 V3 基础框架 • HL7 V3 基础框架 • HL7 V3 (说明)
2021-06-07 17:09:02 2.58MB HL7、基础框架
1
vue,element,vuex基础框架
2021-05-24 09:01:31 1.23MB vue element-ui
1
1,包含dpdk的基本输入输出接口,程序和多核的绑定; 2,包含ipv4/ipv6的分片重组 3,包含dpdk hash lib的基本用法 4,包含自己项目中使用的完整的启动脚本 5,用户可以在此基础上构建自己的应用
2021-05-04 13:01:32 20KB dpdk dpdk基础框架 dpdk分片重组 dpdkhash
1
swift砖块系列:UI基础框架,有各种工具方便快速搭建APP --- SwiftBrick-master.zip
2021-04-03 17:11:14 308KB iOS开发
1
vue3.0后台管理系统框架,集成element,echarts等
2021-03-23 12:05:48 709KB vue3.0 element
1
C#实现窗体缩放基础框架
2021-03-17 09:05:52 433KB c#
包括数据分析的基本框架、python基础内容和数据分析的初始操作内容。 适合对数据分析基础的初步了解。
2021-03-12 16:12:46 579KB python基础框架 数据分析框架
1、无需写一行代码即可实现单表的增删改查功能。 2、自定义@Table @Column等注解,支持列的别名。 3、支持自定义查询条件,支持分页查询。 4、独立jar,通过maven依赖,代码可扩展性强。 5、采用mybatis3,跨表复杂查询支持自定义sql。 6、代码简化,可作为基础支撑框架。 7、比较适合新系统从零搭建的平台,可快速集成构建增删改查能力。 8、主要技术有spring注解、反射、maven父子、异常、mybatis等。也适合初学者分析框架代码与学习。