Kimball维度模型之构建数据仓库先决条件
成功的DW/BI项目通常共享上述一系列关键特征，而失败的项目则往往面临各种问题，其中一些问题可以总结自数据仓库专家Kimball的观点。失败的DW/BI项目因素：失败的项目往往出现在业务发起人缺乏深刻业务理解或技术发起人无法有效沟通业务需求的情况下。成功的项目通常建立在业务和技术团队紧密协作的基础上
【华为数据之道学习笔记】9-3构建以元数据为基础的安全隐私保护框架
在数字时代，随着数据资产的膨胀，数据风险标识工作量非常巨大，字段的数量是数据表数量的100倍有余，依靠人工的方式无法识别全面，需要通过工具，基于规则（正则表达式）以及AI机器学习的方式，构建自动推荐、识别风险标识的能力。在数字时代，数据的安全隐私也得到了越来越多企业的重视，这其中也包括非数字原生企业
数据仓库和数据湖的区别
而数据湖则是一种原始、未经处理的数据存储，它可以包含结构化、半结构化和非结构化数据，数据以原始格式存储，没有强制的模式和架构。而数据湖通常提供更灵活的数据访问方式，可以使用不同的工具和技术来处理和分析数据，如数据科学家可以使用Python或R来开展分析工作。在实际应用中，可以将数据湖作为底层的数据存
离线数据仓库
数据中台：利用大数据技术，对海量数据统一进行采集、计算和存储、并统一数据标准和口径，该架构需要维护两套代码：离线架构代码和实时架构代码。随取随用、只有在使用时才进行数据转换等处理。数据中台：包含数据仓库和其他服务中间件。对原始数据进行清洗、转换和预处理。作为数据仓库或数据集市的数据源，更适合进行数据
DataHub调研&数据血缘
在DataHub中可以通过GraphQL API轻松的创建和添加任何实体标签，这样随着时间的推移，实体的属性回越来越丰富。当有一天我们想要查看某一标签的相关实体信息时，只需要在标签位置点击该标签，就会将所有相关的实体数据 列出来。
【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
2022年底DataFun发布《DataFun数据智能知识地图》，一看就做得很用心，内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领域、15大数据模块，拆解了数据流转全流程。其中，就包含数据仓库、大数据平台、数据中台的定义，但是我确实不太认同，乍一看就感觉不太对，怎么成了“洋葱模型”，大
企业级数据中台应用架构和技术架构
数据中台是一种将企业沉睡的数据变成数据资产，持续使用数据、产生智能、为业务服务，从而实现数据价值变现的系统和机制。通过数据中台提供的方法和运行机制，形成汇聚整合、提纯加工、建模处理、算法学习，并以共享服务的方式将数据提供给业务使用，从而与业务联动。再者，结合业务中台的数据生产能力，最终构建数据生产一
Data Mesh和数据中台
虽然“数据中台”这个概念在近年来逐渐流行起来，但它并不是一个严格的定义，而是一个比较模糊的概念，具有一定的抽象性。在实际应用中，“数据中台”往往表达的是一种数据的使用和管理方式，而不是一个具体的技术平台。
基于Druid的HiveSQL血缘解析
我说过做Python的SQL解析算是一个对AST解析树的深入理解。没想到的是基于sqlparse的工具做出sql解析是可行的，这涉及到较多的递归和判断，但是我写的程序应对的SQL语句应该是不多的1，很多条SQL语句都没有测试完还是有一定的风险的。如果大家有想要解析的SQL可以私信发我，将免费提供SQ
数据中台建设（十一）：数据中台解决方案参考与未来发展方向
各个行业的数据中台解决方案类似，只是涉及到的业务不同，建设框架类似。下面以零售行业构建数据中台和网易构建的数据中台为例，说明构建数据中台的解决方案。
数据中台建设（八）：数据服务体系建设
数据服务是数据中台能力的出口，是支撑数据应用的重要支撑。数据资产只要形成数据服务被企业使用，才能体现价值，传统做法是根据某个应用产品的需求，独立构建非常多的数据接口与应用产品对接，这会造成大量接口的重复建设，且修改、运维、监控的成本都很大。我们可以构建可管理、可复用、可监控的统一标准下的数据服务体系
