数据治理

数据治理

  • DataHub:流行的元数据架构介绍

    DataHub:流行的元数据架构介绍

    时至今日,我们正生活在数据的黄金时代。当数据科学家加入数据驱动型公司时,他们希望找到一种数据发现工具(即数据目录),可以用来找出公司中存在哪些数据集,以及如何使用这些数据集来测试新假设和产生新见解。大多数数据科学家并不真正关心这个工具在幕后是如何工作的,只要它能使他们富有成效。

    查看全文
  • Apache Atlas 概述

    Atlas是一组弹性的且可扩展的核心基础治理服务,使企业能够在Hadoop中高效地满足其要求,并能与企业整个数据生态系统集成。Apache Atlas 为组织提供开放的元数据管理和治理能力,以构建其数据资产的目录,对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协

    查看全文
  • 数据治理的定义

    《DAMA-DMBOK2 DAMA数据管理知识体系指南》数据治理(Data Governance, DG)的定义是在管理数据资产的过程中行使权力和管控,包括计划、监控和实施。数据治理职能是指导所有其他数据管理领域的活动。数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据。而数据管理的整体驱

    查看全文
  • Griffin 数据质量监控工具

    数据,已经成为当今企业非常依赖的新型重要资产。数据质量的好坏直接关系到信息的精准度,也影响到企业的生存和竞争力。Michael Hammer(《Reengineering the Corporation》一书的作者)曾说过,看起来不起眼的数据质量问题,实际上是拆散业务流程的重要标志。 数据质量管理是

    查看全文
  • 一种基于Hive的数据质量检核方法

    本发明提出了一种数据质量检核方法、装置、设备及可读存储介质,所述方法包括如下步骤:1)根据质量检核需求,对多业务系统数据进行关联建模,生成关联建模结果;2)根据所述关联建模结果,配置数据质量检核规则,获取数据配置结果;3)将所述数据配置结果导入规则解析器,生成检核脚本;4)将所述检核脚本导入脚本执行器,生成检核明细表;5)对所述检核明细表进行汇总统计,生成检核结果报告。本发明通过针对不同的检核要求,将多业务系统数据进行临时关联汇总,初步对待检核数据进行筛选,限定数据范围,可以大大提升质量检核结果的准确性和有效性,以及降低使用和维护成本。

    查看全文