数据库总结/个人总结
数据Data需要永久保存在数据库中学号(字段) 姓名(字段) 专业(字段)1001 小王 计算机1002 小李 计算机1003 小赵 计算机数据库DB是运行在操作系统上的一个软件数据库管理系统DBMS是管理数据库的一个软件学习数据库就是学习如何使用DBMS创建、使用数据仓库来管理数据。
hive只复制表结构不复制表数据
hive
大数据工程师、数据挖掘师和数据分析师有啥区别
随着互联网技术的不断提升，数据已经成为各大企业新的战场，而对于从业者来说，如果你对数据科学领域的工作感兴趣的话，肯定首先要了解一下数据科学领域都有哪些岗位。从岗位性质和主要工作内容不同我们可以把数据科学的岗位大概分为四类：数据产品经理、大数据工程师、数据挖掘师、数据分析师。数据产品经理显而易见就是精
大数据项目实战之数据仓库：用户行为采集平台——第1章 数据仓库概念
大数据项目实战之数据仓库：用户行为采集平台——第1章 数据仓库概念
拉链表详解
拉链表数据生成的思路是：ods更新或者新增的数据 + union +dwd拉链表历史数据（要更改历史数据中状态发生改变的字段）。设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变化数据（SCD2）的一种常见方式。
如何解决ClickHouse的表处于只读状态
在使用ClickHouse的过程中，经常会遇到某个副本的表A处于readonly状态，无法更新数据。原因：说是zookeeper的压力大（建议data和log分开存储到不同的磁盘），metadata元数据丢失。此时通常有两种解决办法：1）创建一个和该表A结构相同的表A'，然后将数据从A表导入到A'，
Bi系统跟数据中台的区别是什么？
换句话来说，BI是一套完整的解决方案，可以将来自企业的不同业务系统（如ERP、CRM、OA、BPM等，包括自己开发的业务系统软件）的数据，提取出有用的数据进行整合清洗，在保证数据正确性的同时，进行数据分析和处理，并利用合适的查询和分析工具快速、准确地为企业提供报表展现与分析，为企业提供决策支持。总的
datax与多种数据库间数据类型映射
datax与数据库的数据类型映射
OLTP vs OLAP 区别和联系
但是OLAP本身就不是面向业务交易信息的，不对业务过程负责，并且数据也不会频繁修改，所以是没有完整性约束这一说的。OLAP系统主要是面向分析型应用准备的，因此在底层数据库即数据仓库的设计上通常会采用反三范式的方式，比如Kimball 的维度建模方式，刻意的保留数据冗余，很适合分析查询操作。当然，在O
从多个数据源中提取数据进行ETL处理并导入数据仓库
本文介绍了如何使用Python进行ETL数据处理的实战案例，包括从多个数据源中提取数据、对数据进行清洗和转换，以及将转换后的数据加载到目标系统中进行存储和分析。在实际工作中，ETL是数据处理的重要环节，它可以帮助我们从多个数据源中提取、清洗和整理数据，以便进行更好的数据分析和业务决策。在本次实战案例
湖仓一体（Lakehouse）是什么？
湖仓一体（Lakehouse）是一种新的大数据存储架构，结合了数据仓库和数据湖的最佳功能。湖仓一体为你的所有数据（结构化、半结构化和非结构化）提供单一的存储库，同时可以实现机器学习、商业智能（BI）和实时计算等功能。
数据仓库、数据集市、数据湖，你的企业更适合哪种数据管理架构？
到了大数据时代，虽然企业数据仓库和数据湖在各个企业都已经普及，但是每个部门自身也有对业务数据进行处理分析统计的需求，而且不涉及到和其他数据交互，因此特定的部门不希望在数据量大的数据仓库进行操作（因为操作慢，而且可能影响到其他人处理数据），所以建立一个新的存储系统，把数据仓库里关联自己的数据存储到这个
干货 | 携程酒店实时数仓架构和案例
作者简介秋石，携程数据仓库专家，关注大数据、数据仓库、数据治理等领域；九号，携程数据技术专家，关注数据仓库架构、数据湖、数据治理；魁伟，携程资深数据工程师，关注实时&离线大数据产品及技术。一、实时数仓当前，企业对于数据实时性的需求越来越迫切，因此需要实时数仓来满足这些需求。传统的离线数仓的数
接口优化的目录（建议收藏）
许多开发者可能经历过这样的情形：一旦完成了代码的编写和发布，就觉得工作完成了，不再关注代码优化和改进。这是很常见的现象，因为在紧张的开发进程中，优化代码可能会成为一项非常困难的任务，需要花费大量的时间和精力。但是，如果您想成为一位高级开发人员，您需要了解一些优化技术，以提高代码的性能和可维护性。但是
数据集市与数据仓库的区别
数据集市：按照某一特定部门的数据模型建立的，由于每个部门有自己特定的需求，因此，他们对数据集市的期望也不同。而数据集市则是部门级的，一般只能为某个局部范围内的管理人员服务，因此也称之为部门级数据仓库。独立数据集市的数据子集来源于各生产系统，许多企业在计划实施数据仓库时，往往处于投资方面的考虑，首先建
Hive的Rank排名（rank函数，dense_rank函数，row_numer函数）
rank函数，dense_rank函数，row_numer函数
ACDC：开箱即用的多租户数据集成平台
新东方的一些核心业务存在单元写、中心入仓的场景，因此需要将数据从各单元的关系型数据库同步到中心，并异构存储到数据仓库之中。技术团队最初使用 Apache Sqoop 以批的方式实现了这个能力。随着数据量的增长，这个方案很快暴露出了一些问题，如：
数据库浅谈之 LLVM
LLVM
数据挖掘(2.4)--数据归约和变换
在数据离散化中也可以引入这种思想，对于一个属性的两个相邻的取值区间，“属性值处于哪一个的区间”与“数据属于哪一个类别”这两个变量的独立性可以表明是否应该合并两个区间。主成分分析(PCA)是一种正交线性变换，它将数据通过正交变换到新的坐标系中,其中第一个分量有最大的方差，第二个分量有第二大的方差，依此
2023版最新最强大数据面试宝典
2023年最新大数据面试宝典，目前已更新到第4版，广受好评！
