【数据库技术】金管局计算机岗位——数据仓库（⭐⭐⭐⭐）
数据仓库（Data Warehouse）,是为了企业所有级别的决策制定计划过程，提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为需要业务智能的企业,指导业务流程改进，时间、成本、质量的控制等。（1）数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库；（
SQL时间函数
SQL语句 时间函数
hive 动态分区-动态分区数量太多也会导致效率下降&只设置非严格模式也能执行动态分区
百亿数据动态分区处理
Hive 的权限管理
hive自身支持三种权限管理模型，默认情况下是不开启的，这样会导致所有的用户都具有相同的权限，且默认都是超级管理员，超管对hive中的所有表都有查看和改动的权利，这样是不符合一般数据仓库的安全原则的，今天我们就来探究下Hive的权限管理
Hive 常用DML操作
1.加载文件数据到表1.1 语法LOCAL 关键字代表从本地文件系统加载文件，省略则代表从 HDFS 上加载文件：从本地文件系统加载文件时， `filepath` 可以是绝对路径也可以是相对路径 (建议使用绝对路径)；从 HDFS 加载文件时候，`filepath` 为文件完整的 URL 地址：如
Hive 知识点八股文记录 ——（二）优化
1.count distinct时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1。2.如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行union；where条件优化，join的过程中，对小表先进
2023.11.13 hive数据仓库之分区表与分桶表操作,与复杂类型的运用
创建分区表: create [external] table [if not exists] 表名(字段名 字段类型 , 字段名 字段类型 , ... )partitioned by (一级分区字段名 分区字段类型, 二级分区字段名 分区字段类型 , ...);-------------------
hive的工作机制
hive的工作机制
SAP ABAP中的数据类型 Data Types
ABAP数据类型
HIVE建表详细教程
hadoop.hive.serde2.lazy.LazySimpleSerDe，这其实就是^A分隔符，hive中默认使用^A(ctrl+A)作为列分割符，如果用户需要指定的话，等同于row format delimited fields terminated by '\001'，因为^A八进制编码体
hive字段关键字问题处理
最近在xxl_job部署shell调度任务时,发现在编写Hql时，对一些使用关键字命名的字段无法解析，按开发规范，字段命名不应该有关键字,但是数据来源是第三方,无法修改,需要通过flume对从kafka的数据到hdfs上，数据是json格式,所以需要对关键字字段进行处理,最初是通过 `,',",‘
Hive中生成自增序列的常用方法
在日常业务开发过程中，通常遇到需要hive数据表中生成一列唯一ID，当然连续递增的更好。最近在结算业务中，需要在hive表中生成一列连续且唯一的账单ID，于是就了解生成唯一ID的方法
kettle开发篇-更新-Day38
超详细跨库多表数据更新教程。
数据挖掘 实验一、数据预处理
初始数据往往存在缺失值、重复值、异常值或者错误值，通常这类数据被称为“脏数据”，需要对其进行清洗。有时数据的原始变量不满足分析的要求，我们需要先对数据进行一定的处理，也就是数据的预处理。数据清洗和预处理的主要目的是提高数据质量，从而提高挖掘结果的可靠度，这是数据挖掘过程中非常必要的一个步骤。（2）
API网关与社保模块
API网关与社保模块
头歌educoder Hive自定义函数
自定义函数就是除了系统提供给你的函数，你自己去定义的函数。我们需要设置函数的作用、参数、返回值，然而Hive中支持的常见自定义函数有三种，分别是UDF、UDAF、UDTF。
【数据仓库-零】数据仓库知识体系 ing
数据仓库体系，了解数仓技能全貌
开源多组件数据中台整体框架设计
数据时代已来！！给大家推荐一款经过实战检验的数据中台框架，零成本搭建，可以实现数据采集、数据转换、数据服务能数据中台通用功能。
Windows下DataGrip连接Hive
单独开一个窗口先开启这个元数据服务，这个服务是上面操作了hive后，hive又会通过操作元数据的方式操作mysql。单独开一个窗口启动hiveserver2服务，这个服务是beeline连接的，提供jdbc协议帮助操作hive的。
