一文读懂《制造业数字化转型行动方案》
制造企业在数据治理方面，重点在于建立统一的数据标准与规范，实现多源数据的集成与共享，同时确保数据安全与隐私保护，加强数据质量监控与元数据管理，以构建高效、可信的数据基础。比如能耗数据采集与监测场景即对车间生产过程中各类能耗量数据进行有效采集和监测的过程，通过数字化仪器仪表实时采集用电、用水、用气以及
7个流行的开源数据治理工具
在元数据建模中阅读元数据建模。大数据有大用途，但是也可能隐藏着巨大的风险，特别是如果我们对数据的情况不是很了解的时候，我们便不能够掌握到底存储了什么信息以及如何使用它，在一堆数据中是否存在垃圾数据或者可能被遗忘的高质量数据，甚至是否存在数据安全问题。OpenMetadata是一个统一的元数据平台，用
【数据治理】隐私计算：数据治理中的安全守护者
隐私计算是一种在不直接暴露原始数据的情况下，对数据进行分析和处理的技术集合。它通过多种加密和数据脱敏手段，确保数据在传输和使用过程中不会泄露敏感信息，同时保证数据处理的准确性和完整性。
跨域数据流动：数据提取过程中的治理与安全双轮驱动
跨域数据流动为社会发展带来了极大的便利，但同时也带来了治理和安全的双重挑战。通过构建有序的数据流动体系和加强数据安全保障措施，实现治理与安全的双轮驱动策略，可以确保跨域数据流动的有序性和安全性，为社会发展提供有力支撑。在跨域数据流动的背景下，治理和安全是相辅相成的两个方面。在跨域数据流动的背景下，数
数据湖与数据仓库中的数据提取：平衡治理与安全的新策略
如何在这两种环境中有效地提取数据，同时确保数据治理和安全的平衡，是企业面临的重要挑战。本文提出了平衡治理与安全的新策略，包括制定明确的治理策略和安全策略，建立跨部门的数据治理组织，加强数据治理和安全培训等。首先，企业需要明确数据的来源和用途，建立数据目录和数据字典，以便于数据的管理和查询。数据仓库则
大数据质量管制规范示例
大数据质量管制规范示例
开源元数据治理平台Datahub部署指南(小白版)
举例， 现在需要管理MySQL数据源的元数据， 需要先集成mysql的数据源插件。
数据仓库-数据治理小厂实践
数据治理贯穿数仓中数据的整个生命周期，从数据的产生、加载、清洗、计算，再到数据展示、应用，每个阶段都需要对数据进行治理，像有些比较大的企业都是有自己的数据治理平台或者会开发一些便捷的平台，对于没有平台的公司，这里根据自己的亲身实践简单整理一下。
数据治理（十五）：Ranger管理Hive安全
访问Hive有两种方式：HiveServer2和Hive Client，Hive Client需要Hive和Hadoop的jar包，配置环境。HiveServer2使得连接Hive的Client从Yarn和HDFS集群中独立出来，不需要每个节点都配置Hive和Hadoop的jar包和一系列环境。Ra
数据治理建设管理方案（参考）(一)
1、多数企业内部系统建设多，数据分散，各系统数据共享困难，信息化建设“烟囱式”严重；2、企业各部门系统口径不一致，数据标准不统一，数据质量无法整体评估；3、数据不可知，数据挖掘不到位。数据使用者未知数据多，无法得知这些数据与业务的联系，不知如何管理数据；4、数据不可控，数据使用者对汇集数据、处理数据
【大数据技术】终于有人把数据质量管理讲明白了！数据质量：数据治理的核心
导读随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时，数据的唯一性、完整性、一致性等等校验就开始受到关注，而通常做法是根据业务特点，额外开发job如报表或
什么是数据治理？
本文认真地辨析了数据治理、数据管理的概念，并说明了在国内语境下，数据治理与数据管理的使用习惯。
【实战讲解】数据血缘落地实施
在复杂的社会分工协作体系中，我们需要明确个人定位，才能更好的发挥价值，数据也是一样，于是，数据血缘应运而生。今天这篇文章会全方位的讲解数据血缘，并且给出具体的落地实施方案。........................
为什么要做数据治理以及如何进行数据治理？
多国将数据战略上升为国家战略数据治理是促进数据价值实现重要保障数据开放共享是释放数据价值基础条件数据质量管理是释放数据价值的关键环节流程化提供工作流程与模板将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段， 并规定每个阶段的输入输出内容及模板自动化提供产品
为什么要做数据治理以及如何进行数据治理？
多国将数据战略上升为国家战略数据治理是促进数据价值实现重要保障数据开放共享是释放数据价值基础条件数据质量管理是释放数据价值的关键环节流程化提供工作流程与模板将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段， 并规定每个阶段的输入输出内容及模板自动化提供产品
【DataOps】- 数据开发治理一体化之网易数帆数据治理2.0实践分享
【DataOps】- 数据开发治理一体化之网易数帆数据治理2.0实践分享要做好数据治理个人认为的有两个方向可以去尝试：1.像网易做的一体化方案，直接从数据开发，数据建模源端就开始进行管控 2.先定义好标准, 数据治理平台便是数据抽象层(标准层),实现一种数据注册的机制将原先的开发过程+设计+需求抽象
数据治理（十一）：数据安全管理Ranger初步认识
目录数据安全管理Ranger初步认识一、Ranger介绍二、Ranger架构数据安全管理Ranger初步认识在大数据平台中，有海量数据存储，通畅在采集数据过程中敏感数据有意或者无意的进入大数据平台中，数据安全管理非常重要。我们不希望一些敏感数据被他人访问，希望可以按照一种规则给部分人访问权限，以防止
数据治理（八）：Atlas集成Hive
目录Atlas集成Hive一、配置hive-site.xml二、修改Hive-env.sh三、复制$ATLAS_HOME/conf/atlas-application.properties文件到$HIVE_HOME/conf下，并追加内容四、复制导入Hive元数据必须的jar包五、执行同步Hive
数据治理（九）：Atlas界面操作
Atlas界面操作安装好Atlas之后，可以操作Atlas页面这里主要查看导入Hive的元数据信息。一、查看同步过来的Hive表二、 查看表的properties:三、查看表的Lineage,这里首次导入看不到血缘关系：四、查看表的关系：五、查看表类别：六、查看表审计信息，包含修改时间，详情等:七、
数据治理（五）：元数据管理
目录元数据管理一、大数据中为什么要元数据管理二、元数据管理工具-Atlas三、Atlas架构原理四、Atlas特性1、元数据类型 & 实例2、分类3、血缘4、搜索/发现5、安全和数据屏蔽元数据管理一、大数据中为什么要元数据管理元数据（Metadata），通常的定义为"描述数据的数据"。元数据
- 1
- 2
