治数之道

治数之道

博观而约取,厚积而薄发

Scroll Down

最新文章

  • DataHub:流行的元数据架构介绍

    DataHub:流行的元数据架构介绍

    时至今日,我们正生活在数据的黄金时代。当数据科学家加入数据驱动型公司时,他们希望找到一种数据发现工具(即数据目录),可以用来找出公司中存在哪些数据集,以及如何使用这些数据集来测试新假设和产生新见解。大多数数据科学家并不真正关心这个工具在幕后是如何工作的,只要它能使他们富有成效。

    查看全文
  • Apache Atlas 概述

    Atlas是一组弹性的且可扩展的核心基础治理服务,使企业能够在Hadoop中高效地满足其要求,并能与企业整个数据生态系统集成。Apache Atlas 为组织提供开放的元数据管理和治理能力,以构建其数据资产的目录,对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协

    查看全文
  • 2021年07月01日

    数字化对企业的价值与意义

    1、聪明经营“先知、先觉、先行”的经营决策。通过大数据分析,总结行业发展规律,找到相比竞争对手的差异,识别市场机遇与挑战,从而在纷繁复杂的环境中看清本质,提前做出正确决策。例如,平安年报涉及数十家专业公司,非常复杂,通过数据治理的书架化,数据传输与分析计算的自动化,实现提前3个月、仅耗时34天就可完

    查看全文
  • 一种异常地址识别方法

    技术领域本发明涉及异常地址识别技术领域,具体涉及一种异常地址识别方法、设备和计算机可读存储介质。背景技术2020年5月,中国银保监会办公厅下发了《关于开展监管数据质量专项治理工作的通知》,以切实提升银行业保险业监管数据质量。其中,数据质量治理主要关注数据四大质量,包括数据真实性、准确性、完整性、及时

    查看全文
  • 数据治理的定义

    《DAMA-DMBOK2 DAMA数据管理知识体系指南》数据治理(Data Governance, DG)的定义是在管理数据资产的过程中行使权力和管控,包括计划、监控和实施。数据治理职能是指导所有其他数据管理领域的活动。数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据。而数据管理的整体驱

    查看全文
  • Griffin 数据质量监控工具

    数据,已经成为当今企业非常依赖的新型重要资产。数据质量的好坏直接关系到信息的精准度,也影响到企业的生存和竞争力。Michael Hammer(《Reengineering the Corporation》一书的作者)曾说过,看起来不起眼的数据质量问题,实际上是拆散业务流程的重要标志。 数据质量管理是

    查看全文
  • 2020年10月01日

    数据治理是数据价值化的基础

    数据要充当数字经济关键的基础性要素,需经过数据价值化的转换过程,在这一关键转化过程中,数据治理是基础,只有通过数据治理,打通企业内部不同层级、不同系统之间的数据壁垒,全面提升数据质量,实现对内支撑业务应用和管理决策、对外加强数据服务能力输出,从而提升数据潜在价值向实际业务价值的转化率。数字化转型分为

    查看全文
  • Zeppelin架构原理分析

    一、Zeppelin整体架构分析首先上一张官方给出的Zeppelin整体架构图Apache Zeppelin的架构比较简单直观,总共分为3层:Zeppelin 前端Zeppelin ServerZeppelin InterpreterZeppelin前端是基于AngularJS(目前社区正在升级改造

    查看全文
  • Hive1.2开发MD5用户自定义函数UDF

    因为公司使用的Hive版本是1.2,没有自带md5函数, 于是通过开发udf函数来实现该功能。我们使用IDEA和Maven来开发和构建。创建项目打开IntelliJ IDEA。File => New => Project =>Maven =>勾选 Create from ar

    查看全文
  • 一种基于Hive的数据质量检核方法

    本发明提出了一种数据质量检核方法、装置、设备及可读存储介质,所述方法包括如下步骤:1)根据质量检核需求,对多业务系统数据进行关联建模,生成关联建模结果;2)根据所述关联建模结果,配置数据质量检核规则,获取数据配置结果;3)将所述数据配置结果导入规则解析器,生成检核脚本;4)将所述检核脚本导入脚本执行器,生成检核明细表;5)对所述检核明细表进行汇总统计,生成检核结果报告。本发明通过针对不同的检核要求,将多业务系统数据进行临时关联汇总,初步对待检核数据进行筛选,限定数据范围,可以大大提升质量检核结果的准确性和有效性,以及降低使用和维护成本。

    查看全文