Maxwell参数化建模和优化设计
Maxwell参数化建模和优化设计
数据仓库-基础知识(维度建模)
数据仓库基础知识，包含维度建模中事实表、维度表、模型的详细说明
2006-2019年283个地级市二氧化碳排放数据含原始数据和计算过程
2006-2019年283个地级市二氧化碳排放数据
数据密集型应用存储与检索设计
本文内容翻译自《数据密集型应用系统设计》（大名鼎鼎的 DDIA）。
Hive行列转换
1.多行转多列姓名(name)学科(subject)成绩(score)A语文70A数学80A英语90B语文75B数学85B英语95行列转换思路分析及实现多行转多列如果需要将上⾯的样例表转换为姓名 | 语⽂成绩 | 数学成绩 | 英语成绩这样的格式，就是 多行转多列思路：涉及到行转成列，肯定是会按照某
业务数据采集模块
业务数据采集模块
数据库总结/个人总结
数据Data需要永久保存在数据库中学号(字段) 姓名(字段) 专业(字段)1001 小王 计算机1002 小李 计算机1003 小赵 计算机数据库DB是运行在操作系统上的一个软件数据库管理系统DBMS是管理数据库的一个软件学习数据库就是学习如何使用DBMS创建、使用数据仓库来管理数据。
hive只复制表结构不复制表数据
hive
大数据工程师、数据挖掘师和数据分析师有啥区别
随着互联网技术的不断提升，数据已经成为各大企业新的战场，而对于从业者来说，如果你对数据科学领域的工作感兴趣的话，肯定首先要了解一下数据科学领域都有哪些岗位。从岗位性质和主要工作内容不同我们可以把数据科学的岗位大概分为四类：数据产品经理、大数据工程师、数据挖掘师、数据分析师。数据产品经理显而易见就是精
大数据项目实战之数据仓库：用户行为采集平台——第1章 数据仓库概念
大数据项目实战之数据仓库：用户行为采集平台——第1章 数据仓库概念
拉链表详解
拉链表数据生成的思路是：ods更新或者新增的数据 + union +dwd拉链表历史数据（要更改历史数据中状态发生改变的字段）。设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据（SCD2）的一种常见方式。
如何解决ClickHouse的表处于只读状态
在使用ClickHouse的过程中，经常会遇到某个副本的表A处于readonly状态，无法更新数据。原因：说是zookeeper的压力大（建议data和log分开存储到不同的磁盘），metadata元数据丢失。此时通常有两种解决办法：1）创建一个和该表A结构相同的表A'，然后将数据从A表导入到A'，
Bi系统跟数据中台的区别是什么？
换句话来说，BI是一套完整的解决方案，可以将来自企业的不同业务系统（如ERP、CRM、OA、BPM等，包括自己开发的业务系统软件）的数据，提取出有用的数据进行整合清洗，在保证数据正确性的同时，进行数据分析和处理，并利用合适的查询和分析工具快速、准确地为企业提供报表展现与分析，为企业提供决策支持。总的
datax与多种数据库间数据类型映射
datax与数据库的数据类型映射
OLTP vs OLAP 区别和联系
但是OLAP本身就不是面向业务交易信息的，不对业务过程负责，并且数据也不会频繁修改，所以是没有完整性约束这一说的。OLAP系统主要是面向分析型应用准备的，因此在底层数据库即数据仓库的设计上通常会采用反三范式的方式，比如Kimball 的维度建模方式，刻意的保留数据冗余，很适合分析查询操作。当然，在O
从多个数据源中提取数据进行ETL处理并导入数据仓库
本文介绍了如何使用Python进行ETL数据处理的实战案例，包括从多个数据源中提取数据、对数据进行清洗和转换，以及将转换后的数据加载到目标系统中进行存储和分析。在实际工作中，ETL是数据处理的重要环节，它可以帮助我们从多个数据源中提取、清洗和整理数据，以便进行更好的数据分析和业务决策。在本次实战案例
湖仓一体（Lakehouse）是什么？
湖仓一体（Lakehouse）是一种新的大数据存储架构，结合了数据仓库和数据湖的最佳功能。湖仓一体为你的所有数据（结构化、半结构化和非结构化）提供单一的存储库，同时可以实现机器学习、商业智能（BI）和实时计算等功能。
数据仓库、数据集市、数据湖，你的企业更适合哪种数据管理架构？
到了大数据时代，虽然企业数据仓库和数据湖在各个企业都已经普及，但是每个部门自身也有对业务数据进行处理分析统计的需求，而且不涉及到和其他数据交互，因此特定的部门不希望在数据量大的数据仓库进行操作（因为操作慢，而且可能影响到其他人处理数据），所以建立一个新的存储系统，把数据仓库里关联自己的数据存储到这个
干货 | 携程酒店实时数仓架构和案例
作者简介秋石，携程数据仓库专家，关注大数据、数据仓库、数据治理等领域；九号，携程数据技术专家，关注数据仓库架构、数据湖、数据治理；魁伟，携程资深数据工程师，关注实时&离线大数据产品及技术。一、实时数仓当前，企业对于数据实时性的需求越来越迫切，因此需要实时数仓来满足这些需求。传统的离线数仓的数
