关于ETL的两种架构（ETL架构和ELT架构）
在ELT架构中，ELT只负责提供图形化的界面来设计业务规则，数据的整个加工过程都在目标和源的数据库之间流动，ELT协调相关的数据库系统来执行相关的应用，数据加工过程既可以在源数据库端执行，也可以在目标数据仓库端执行（主要取决于系统的架构设计和数据属性）。当ETL过程需要提高效率，则可以通过对相关数据
五种常见软件架构风格
描述五种软件架构风格
本地数据仓库项目(一) —— 本地数仓搭建详细流程
搭建离线数仓，并实现数据采集到简单数据分析过程
新一代数据仓库SnowFlake
Snowflake是一种多租户、事务性、安全、高度可扩展的弹性系统，具备完整的SQL支持和半结构化和schema-less数据模式支持。用户只需将数据导入云上，就可以立即利用他们熟悉的工具和界面进行管理和查询。从2012年底，Snowflake开始计划实施，到2015年6月，Snowflake已经可
数仓工具——DolphinScheduler任务调度工具
数仓学习——DolphinScheduler任务调度工具前言一、DolphinScheduler简介1.DolphinScheduler概述2.DolphinScheduler组件3.DolphinScheduler核心架构二、DolphinScheduler部署说明1.软硬件环境要求1.1 操作系
基于Apache Doris数仓平台架构设计
Apache Doris数仓平台架构设计
数据仓库介绍（DW）
数据仓库介绍
20分钟了解物联网开源数据库部署解决方案
本文针对物联网数据存储提供解决方案的思路，项目特点：结构化数据、传感器节点多(>100)、传感器类型多（>30）、采样频率高（1HZ），在此背景下，一般的关系型数据库已经不能够支撑数据存储，基于免费开源的软件完成数据存储工作，提高数据的读写能力。
Hive--时间函数大全
hive时间函数1. current_date()：获取当前格式化日期2. current_timestamp()：获取当前格式化时间3. unix_timestamp()：获取当前unix时间戳4. from_unixtime()：把unix时间戳转化为格式化时间5. to_date(): 当前格
大数据面试题--数仓
目录数据仓库理论数据分层E T L星形模型与雪花模型的区别？维度建模（dimensional modeling）：数据仓库项目最重要或需要注意的是什么，以及如何处理？关系建模与维度建模拉链表：维度表和事实表数据仓库中的维度和粒度维度建模步骤：如何构建数据仓库？Flink面试题Flink的重启策略：F
【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
2022年底DataFun发布《DataFun数据智能知识地图》，一看就做得很用心，内容涵盖数据采集与治理、数据架构、数据能力、数据应用等四大领域、15大数据模块，拆解了数据流转全流程。其中，就包含数据仓库、大数据平台、数据中台的定义，但是我确实不太认同，乍一看就感觉不太对，怎么成了“洋葱模型”，大
听闻Teradata退出中国，我想起了我经历过的一个数仓项目
昨天，Teradata撤出中国，我想起了我在20年前做的数据仓库项目。想当年Teradata是数据仓库的代名词啊，就如同现在搜索东西好多人说百度一下一样。可惜我没有用过Teradata。2002年，我基于SQLServer的数据仓库+商业智能做了一套所谓的决策支持系统。决策支持系统DSS，这样的名字
[1142]hive中如何新增字段
文章目录新增字段1、方法1cascade知识2、方法2 （适用于外部表）3、方法3（下下策）修改字段删除列新增字段1、方法1alter table 表名 add columns (列名 string COMMENT '新添加的列') CASCADE; alter table 表名 add colum
河北工业大学数据挖掘实验一 数据预处理
河北工业大学数据挖掘实验 实验一 数据预处理 实验报告
【平台数仓设计——2023】
平台数仓设计
DolphinScheduler3.0正式版本安装教程
1 启动 Standalone Server 服务： bash ./bin/dolphinscheduler-daemon.sh start standalone-server 2 停止 Standalone Server 服务 : bash ./bin/dolphinscheduler-dae
数据仓库相关面试题
数据仓库相关面试题
什么是数据治理？
本文认真地辨析了数据治理、数据管理的概念，并说明了在国内语境下，数据治理与数据管理的使用习惯。
hive中常用的日期处理函数
常用的日期函数
【实战讲解】数据血缘落地实施
在复杂的社会分工协作体系中，我们需要明确个人定位，才能更好的发挥价值，数据也是一样，于是，数据血缘应运而生。今天这篇文章会全方位的讲解数据血缘，并且给出具体的落地实施方案。........................
