适用于数据质量检查工作:完整性性检查、规范性检查、一致性检查、准确性检查、唯一性检查、关联性检查、及时性检查和逻辑性检查;
1
针对企业物资域数据质量管控,通过对数据的“诊断评估-机制建设—过程监督—成效评价”,将业务管理优化与数据质量管理相融合,为物资数据质量提升提供实践借鉴。
2021-12-22 09:54:33 512KB 数据质量治理
1
Apache Griffin是一个应用于分布式数据系统中的开源数据质量解决方案。在Hadoop, Spark, Storm等分布式系统中,提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。  Apache Griffin填补了开源世界里在大数据质量领域的空白。就像空气质量,水和食品安全等无时不刻地在影响人类的生命一样,数据质量在数据科学领域是至关重要的。在大数据时代,企业决策调整,商机发现等越来越依赖于大数据的数据分析和数据挖掘,而数据质量的保证是所有一切数据分析和数据挖掘的基础。系统架构:核心优势:主要功能:企业应用:Apache Griffin已经部署在eBay的生产环境中,为eBay系统提供核心数据质量检测服务(例如:实时的个性化数据平台,Hadoop 数据集等),每天验证的记录超过8亿条,数据量约1.2PB。团队成员:Apache Griffin现在的团队成员全部来自eBay中国卓越技术中心,这又是一个由国人自主研发并贡献出来的开源项目。目前正在将Apache Griffin项目迁移到Apache社区,我们非常欢迎热心于开源软件的程序猿们,数据猿们参与进来,一起推动Apache Griffin更快更好的发展,回馈给全球软件开发者们。 标签:Apache
2021-12-13 09:33:58 7.14MB 开源项目
1
水文数据质量评价方法的研究,武晓斌,朱跃龙,从目前国内水文数据质量现状出发,结合对水文水资源进行数据质量评价的需求,建立水文水资源数据质量评价模型。并利用当前主要的
2021-12-04 15:11:54 264KB 水文数据质量
1
数据质量管理分析软件,运用于数据仓库数据分析校验
2021-12-03 14:11:32 14.08MB datacleaner 数据质量
1
k-匿名隐私保护模型中,k取值同时影响着k-匿名表的隐私保护程度和数据质量,因此,如何选择k值以达到隐私保护和数据质量的共赢具有重要意义.在对k取值和隐私保护、数据质量关系分析和证明的基础上,根据不同情况下的k-匿名表隐私泄露概率公式,对满足隐私保护要求的k取值范围进行了分析;根据k-匿名表的数据质量公式对满足数据质量要求的k取值范围进行了分析.根据满足隐私保护和数据质量要求的k取值之间的关系,给出了k值的优化选择算法.
1
整理数据治理资料,包含数据标准,数据质量,数据仓库,数据湖,元数据管理各种资料,5年研究心血打造
为了实现自动化的数据质量评估,提出了一种在背景范围内的数据质量量化方法QDC(Quantify Dimensions within Context)。数据质量可以用数据和其对应实体的“完美表达”间的差距来衡量。由于“完美表达”很难获得或代价很高,因此提出在多数据源条件下,数据的“完美表达”可以在其背景范围内用投票获得的“最近似”来替代,从而确定了数据质量评估参照的标准。同时提出利用信息论中信息熵指标,将不同类型数据的质量维度统一为通用的度量。作为一种自动化的数据质量评估方法,QDC方法不仅能够对数据的准确性和完整性维度给出准确的评估值,并且具有很高的计算效率。
2021-11-24 10:23:51 1.06MB 论文研究
1
数据质量校验工具.xlsm
1
数据治理体系建设说明,包含组织架构、规章制度、核心领域包括元数据、数据标准、数据质量、数据资产、数据安全以及治理场景
2021-11-10 13:56:54 4.39MB 数据治理 元数据 数据标准 数据质量
1