【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
2022年底DataFun发布《DataFun数据智能知识地图》，一看就做得很用心，内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领域、15大数据模块，拆解了数据流转全流程。其中，就包含数据仓库、大数据平台、数据中台的定义，但是我确实不太认同，乍一看就感觉不太对，怎么成了“洋葱模型”，大
听闻Teradata退出中国，我想起了我经历过的一个数仓项目
昨天，Teradata撤出中国，我想起了我在20年前做的数据仓库项目。想当年Teradata是数据仓库的代名词啊，就如同现在搜索东西好多人说百度一下一样。可惜我没有用过Teradata。2002年，我基于SQLServer的数据仓库+商业智能做了一套所谓的决策支持系统。决策支持系统DSS，这样的名字
[1142]hive中如何新增字段
文章目录新增字段1、方法1cascade知识2、方法2 （适用于外部表）3、方法3（下下策）修改字段删除列新增字段1、方法1alter table 表名 add columns (列名 string COMMENT '新添加的列') CASCADE; alter table 表名 add colum
河北工业大学数据挖掘实验一 数据预处理
河北工业大学数据挖掘实验 实验一 数据预处理 实验报告
【平台数仓设计——2023】
平台数仓设计
DolphinScheduler3.0正式版本安装教程
1 启动 Standalone Server 服务： bash ./bin/dolphinscheduler-daemon.sh start standalone-server 2 停止 Standalone Server 服务 : bash ./bin/dolphinscheduler-dae
数据仓库相关面试题
数据仓库相关面试题
什么是数据治理？
本文认真地辨析了数据治理、数据管理的概念，并说明了在国内语境下，数据治理与数据管理的使用习惯。
hive中常用的日期处理函数
常用的日期函数
【实战讲解】数据血缘落地实施
在复杂的社会分工协作体系中，我们需要明确个人定位，才能更好的发挥价值，数据也是一样，于是，数据血缘应运而生。今天这篇文章会全方位的讲解数据血缘，并且给出具体的落地实施方案。........................
springboot+mybatis+echarts +mysql制作数据可视化大屏
成果展示：1）可以使用自己的MySQL数据库；2）使用我提供的数据。（免费下载）gmall_report用于可视化的SQL文件-MySQL文档类资源-CSDN下载MySQLIDEAjdk1.8Maven创建springboot项目有二种方式：1）在IDEA中创建2）在官网上创建我喜欢在官网创建官网地
GaussDB(DWS)介绍
数据仓库服务（Data Warehouse Service，GaussDB（DWS））是一种基于公有云基础架构和平台的在线数据处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。1. 简介GaussDB（DWS）是基于华为融合数据仓库GaussDB产品的云原生服务，兼容标准ANSI SQL
【电商数仓】关系建模与维度建模、维度表和事实表、几种维度模型、数仓建模原则
维度建模一定要选定一个中心，这个中心就是需要做的业务，如电商的核心业务就是订单，那么在对电商业务进行维度建模的时候，就可以将订单放到中心的位置。描述订单的方式一般为：和人，何时，何地，下的什么订单，一个用户，一个维度；例如，需要统计，什么时间下的订单多，哪个地区下的订单多，哪个用户下的订单多。在业务
数据中台介绍
主题：即高层次的互不折叠的数据分类，用于管理其下一级的业务对象数据标准：基于公司或者一具体的业务线制定的需要公司共同遵守的属性层数据含义和业务规则，描述了公司对某个数据的共同理解，这些理解确定后就应该作为标准在企业内被共同遵守。数据仓库-ODS层：存储源数据的简单落地数据仓库-DWI层：又称为数据整
MATLAB实战应用-【数据处理篇】数据清洗（从方法论到实战应用）
数据清洗也叫数据清理，是指从数据库或数据表中更正和删除不准确数据记录的过程。广义地说，数据清洗包括识别和替换不完整、不准确、不相关或有问题的数据和记录。数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据
基于数字孪生技术的元宇宙空气污染物浓度推断模型
元宇宙世界是现实世界的映射，在元宇宙平台实现的场景模拟演练是最贴近现实的。开发编码器，构建跨工况迁移生成模型，将空气污染物浓度数据和输入数据的高层语义变量映射到生成模型中的非规范化嵌入空间，通过初始规范化嵌入空间，允许模型在规范化嵌入空间中等概率地生成多种工况的仿真数据样本，通过梯度更新约束模型，在
【离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计】
离线数仓-9-数据仓库开发DWS层设计要点-1d/nd/td表设计
DataX使用、同步MySQL数据到HDFS案例
emps;DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。
数据仓库简介
首先，各个部门的分析结果就会不一致，因为如果两个部门是在不同的时间抽取的同一个业务数据库的数据进行分析，结果肯定会不一致。其次，每个部门都要建立数据抽取系统，就会产生资源的浪费，每个数据抽取系统都要数据库的权限，数据库的权限管理也会变得麻烦。同时还会降低数据库的性能。一般最长调用的都是最近的数据，过
Dolphinscheduler 3.0 windows 部署手册
Dolphinscheduler 3.0 windows集群部署
