hive复杂类型数据详解—array,map,struct
hive复杂数据类型有三种，map，array，struct。本文会详细介绍三种类型数据的建表、查询、相关函数以及与其他数据类型的相互转换。目录一、简介二、建表语句三、类型构建四、查询array类型map类型struct类型五、与其他数据类型转换将array和map转化为基本数据类型（行转列）基本数
数仓及其维度(分层)建模(ODS DWD DWS DWT ADS)
一. 数仓及其维度1. 什么是数仓？数据仓库，简称数仓,（ Data Warehouse ）。从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大。数仓主要是为企业制定决策，提供数据支持的。当业务简单，可以用数据库来存储，分析，制表。
CDC工具之Canal
CDC 的全称是 Change Data Capture ，在广义的概念上，只要能捕获数据变更的技术，我们都可以称为 CDC 。我们通常所描述的CDC 技术主要是指面向数据库的变更，是一种用于捕获数据库中数据变更的技术。
Hive Lateral View + explode 详解
hive中的函数分为3类,UDF函数、UDAF函数、UDTF函数UDF：一进一出 UDAF:聚集函数，多进一出，类似于：count/max/min UDTF:一进多出,如explore()、posexplode()，UDTF函数的时候只允许一个字段百度explode()时，经常会出现lateral
hive的开窗函数篇
hive的开窗函数over（）
重点| 系统集成项目管理工程师考前50个知识点
4、电子商务是在Internet开放的网络环境下，基于浏览器/服务器应用方式，实现消费者的网上购物，商户之间的网上交易和在线电子支付的一种新型的商业运营模式。（5）UDP支持的应用层协议主要有：NFS（网络文件系统）、SNMP（简单网络管理协议）、DNS（主域名称系统）、TFTP（通用文件传输协议）
ETL工具大全：Kettle、DataCleaner、canal、DataX
Kettle是一款国外开源的ETL工具，使用Java语言编写，可以运行在Windows、Linux、Unix上，数据抽取高效、稳定。Kettle包含Spoon、Pan、Chef、Encr和Kitchen等组件，Spoon是一个图形用户界面，可以方便直观地完成数据转换任务。Spoon可以运行转换和任务
DolphinScheduler 3.1.0 海豚集群部署配置
dolphinscheduler3.1.0 以上
Hive 删除一个字段
如何删除hive表中的一个字段？
【维度建模】维度模型设计详细步骤
数据仓库建设过程中，维度建模的详细步骤和要注意的点
Doris最全使用手册
doris常用的理论基础
hive中get_json_object函数
hive中get_json_object函数
hive窗口函数(开窗函数)
hive开窗函数
数据库基础（超详细版）
简介：数据库（DataBase，DB）：指长期保存在计算机的存储设备上，按照一定规则组织起来，可以被各种用户或应用共享的数据集合。数据库管理系统（DataBase Management System，DBMS）：指一种操作和管理数据库的大型软件，用于建立、使用和维护数据库，对数据库进行统一管理和控制
【Hive 基础】-- 数据倾斜
由于数据分布不均匀，导致大量数据集中到一点，造成数据热点。常见现象：一个 hive sql 有100个 map task， 有一个运行了 20分钟，其他99个 task 只运行了 1分钟。
【数据仓库-4】-- 提取、转换、装载(ETL)
又如，性别字段，有些系统使用的是1和0，有些是"M"和"F"，有些是"男’和"女"，统一成"M"和"F"。假设一个数据仓库系统，在每天夜里的业务低峰时间从操作型源系统抽取数据，那么增量抽取只需要过去24小时内发生变化的数据。对于流水表（只增加，不修改的表），全量数据入仓后，后续的数据，只需要按分区存
什么是数据埋点？有何作用？
数据埋点是指基于业务需求(如淘宝双 11 促销页面统计每个 banner 的点击 次数)、产品需求(如推荐系统统计推荐商品的曝光次数及点击人数)，对每一个用户行为事件对应的位置进行埋点，并通过 SDK 上报埋点的数据结果，将记录数据汇总后进行分析，以推动产品优化或指导运营。
数据仓库建模（四）：维度表的设计
数据仓库建模（四）：维度表的设计维度表的结构维度表的结构
MySQL 8.0.30 安装详解教程-保姆级
本文将详细描述MySQL 8.0.30 的安装教程，目录多但实际内容很少，便于初学者理解和学习
用flink cdc sqlserver 将数据实时同步到clickhouse
flink cdc 终于支持 sqlserver 了。现在互联网公司用sqlserver的不多，大部分都是一些国企的老旧系统。我们以前同步数据，都是用datax，但是不能实时同步数据。现在有了flinkcdc，可以实现实时同步了。1、首先sqlserver版本：要求sqlserver版本为14及以上
