大数据质量管制规范示例
大数据质量管制规范示例
开源元数据治理平台Datahub部署指南(小白版)
举例， 现在需要管理MySQL数据源的元数据， 需要先集成mysql的数据源插件。
数据仓库-数据治理小厂实践
数据治理贯穿数仓中数据的整个生命周期，从数据的产生、加载、清洗、计算，再到数据展示、应用，每个阶段都需要对数据进行治理，像有些比较大的企业都是有自己的数据治理平台或者会开发一些便捷的平台，对于没有平台的公司，这里根据自己的亲身实践简单整理一下。
数据治理（十五）：Ranger管理Hive安全
访问Hive有两种方式：HiveServer2和Hive Client，Hive Client需要Hive和Hadoop的jar包，配置环境。HiveServer2使得连接Hive的Client从Yarn和HDFS集群中独立出来，不需要每个节点都配置Hive和Hadoop的jar包和一系列环境。Ra
数据治理建设管理方案（参考）(一)
1、多数企业内部系统建设多，数据分散，各系统数据共享困难，信息化建设“烟囱式”严重；2、企业各部门系统口径不一致，数据标准不统一，数据质量无法整体评估；3、数据不可知，数据挖掘不到位。数据使用者未知数据多，无法得知这些数据与业务的联系，不知如何管理数据；4、数据不可控，数据使用者对汇集数据、处理数据
【大数据技术】终于有人把数据质量管理讲明白了！数据质量：数据治理的核心
导读随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时，数据的唯一性、完整性、一致性等等校验就开始受到关注，而通常做法是根据业务特点，额外开发job如报表或
什么是数据治理？
本文认真地辨析了数据治理、数据管理的概念，并说明了在国内语境下，数据治理与数据管理的使用习惯。
【实战讲解】数据血缘落地实施
在复杂的社会分工协作体系中，我们需要明确个人定位，才能更好的发挥价值，数据也是一样，于是，数据血缘应运而生。今天这篇文章会全方位的讲解数据血缘，并且给出具体的落地实施方案。........................
为什么要做数据治理以及如何进行数据治理？
多国将数据战略上升为国家战略数据治理是促进数据价值实现重要保障数据开放共享是释放数据价值基础条件数据质量管理是释放数据价值的关键环节流程化提供工作流程与模板将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段， 并规定每个阶段的输入输出内容及模板自动化提供产品
为什么要做数据治理以及如何进行数据治理？
多国将数据战略上升为国家战略数据治理是促进数据价值实现重要保障数据开放共享是释放数据价值基础条件数据质量管理是释放数据价值的关键环节流程化提供工作流程与模板将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段， 并规定每个阶段的输入输出内容及模板自动化提供产品
【DataOps】- 数据开发治理一体化之网易数帆数据治理2.0实践分享
【DataOps】- 数据开发治理一体化之网易数帆数据治理2.0实践分享要做好数据治理个人认为的有两个方向可以去尝试：1.像网易做的一体化方案，直接从数据开发，数据建模源端就开始进行管控 2.先定义好标准, 数据治理平台便是数据抽象层(标准层),实现一种数据注册的机制将原先的开发过程+设计+需求抽象
数据治理（十一）：数据安全管理Ranger初步认识
目录数据安全管理Ranger初步认识一、Ranger介绍二、Ranger架构数据安全管理Ranger初步认识在大数据平台中，有海量数据存储，通畅在采集数据过程中敏感数据有意或者无意的进入大数据平台中，数据安全管理非常重要。我们不希望一些敏感数据被他人访问，希望可以按照一种规则给部分人访问权限，以防止
数据治理（八）：Atlas集成Hive
目录Atlas集成Hive一、配置hive-site.xml二、修改Hive-env.sh三、复制$ATLAS_HOME/conf/atlas-application.properties文件到$HIVE_HOME/conf下，并追加内容四、复制导入Hive元数据必须的jar包五、执行同步Hive
数据治理（九）：Atlas界面操作
Atlas界面操作安装好Atlas之后，可以操作Atlas页面这里主要查看导入Hive的元数据信息。一、查看同步过来的Hive表二、 查看表的properties:三、查看表的Lineage,这里首次导入看不到血缘关系：四、查看表的关系：五、查看表类别：六、查看表审计信息，包含修改时间，详情等:七、
数据治理（五）：元数据管理
目录元数据管理一、大数据中为什么要元数据管理二、元数据管理工具-Atlas三、Atlas架构原理四、Atlas特性1、元数据类型 & 实例2、分类3、血缘4、搜索/发现5、安全和数据屏蔽元数据管理一、大数据中为什么要元数据管理元数据（Metadata），通常的定义为"描述数据的数据"。元数据
数据治理（一）：为什么要数据治理
为什么要数据治理在大数据各个企业数据积累过程中，很多公司都注重了数据的“量”，很少有公司关注数据的“质”，仿佛只要有了海量的数据就可以解决所有问题。真实的情况是公司有了海量的数据，如果不能够保证一定的数据质量不但不能够解决问题，反而还会制造更多的麻烦，例如：企业数据标准、命名规则不一致、企业数据口径
