hive：insert into/overwrite插入分区详解
最近在做数据清洗的工作，从ods层到dwd层对数据进行标准化。有多张表需要汇入主题表，因为表中的字段比较多，况且也不统一，需要从指定字段拿数据，并且清洗，最后汇入主题表。PS：又结束了一天忙碌的工作，祝愿大家开心生活每一天。
hive内置函数--floor,ceil,rand三种取整函数
返回一个0到1范围内的随机数。如果指定种子seed，则会返回固定的随机数。返回等于或者小于该double变量的最大的整数。返回等于或者大于该double变量的最小的整数。
数据仓库和数据挖掘基础
主要介绍数据仓库和数据挖掘的基本知识。
在虚拟机中进入hive出现ConnectException拒绝连接
如果输入进入hive的命令后出现以下问题。
数据仓库内容分享(十五)：解读向量数据库
首先，我们需要理解什么是向量？向量是基于不同特征或属性来描述对象的数据表示。每个向量代表一个单独的数据点，例如一个词或一张图片，由描述其许多特性的值的集合组成。这些变量有时被称为“特征”或“维度”。例如，一张图片可以表示为像素值的向量，整个句子也可以表示为单词嵌入的向量。一些常用的数据向量如下：图像
第十一章数据仓库和商务智能
A：运营报表指的是业务用户直接从交易系统、应用程序或数据仓库生成报表。B：绩效管理是一套集成的组织流程和应用程序，旨在优化业务战略的执行。C：在线分析处理（OLAP）是一种为多维分析查询提供快速性能的方法。D：在线分析处理（OLAP）比在线事务处理（OLTP）对数据的实时性有更高的要求。正确答案：D
银行数据仓库项目
需要了解的概念：OLTP是一个操作系统 OLAP是面向解释分析的系统面向主题：客户在使用数仓的时候所关心的内容叫做主题，面向客户的需求银行有哪些主题？客户、财务、贷款集成的：根据主题，将采集业务数据整合汇总加工，形成业务宽表（业务明细表）非易失：数据要做到准确、完整、一致、高效随着时间变化而变化：数
Hive自定义GenericUDF函数
*** 自定义函数：将字符串转换为大写*//*** 初始化函数* @param arguments 函数参数的ObjectInspector数组* @return 函数返回值的ObjectInspector* @throws UDFArgumentException 如果参数数量不正确*/@Over
Hive集合函数 collect_set 和 collect_list 使用示例
在Hive中， collect_set 和 collect_list 是用于收集数据并将其存储为集合的聚合函数。
hive中如何取交集并集和差集
也可以使用 INTERSECT 关键字。也可以使用 except关键字。
数据库与数据仓库的区别及关系
数据库是为捕获数据而设计，数据仓库是为分析数据而设计**。数据库和数据仓库都有各自的优势和局限性，它们各自适用于不同的场景。数据库更适合用于快速处理事务性操作，而数据仓库则更适合用于进行复杂的数据分析和查询。它们各自有不同的用途和优化方式，可以根据实际需求选择使用。
hive窗口分析函数使用详解系列一
Hive提供的窗口和分析函数可以分为聚合函数类窗口函数，分组排序类窗口函数，偏移量计算类窗口函数
数据仓库作业六：第9章 分类规则挖掘
数据仓库与数据挖掘第九章作业。
任务：将数据传输在Hive（基于hadoop的数据库管理工具）,设置定时任务的各个步骤
平台已经做好基于模板对应的sheet的存储：其中在做好对应关系和字段之后在数据库表也实现了对应表的创建。tip：一般在ods存储实时表，然后在dwd里面存储对应的处理过的宽表（组合起来可能包括很多字段）表有多个字段，每个字段的名称和类型都被列出。... ：定义表的存储格式和I/O格式。：定义表在HD
数据仓库实验三：分类规则挖掘实验
数据仓库与数据挖掘实验三：分类规则挖掘实验。
数据仓库实验四：聚类分析实验
数据仓库与数据挖掘实验四：聚类分析实验。
Hive（15）中使用sum() over()实现累积求和和滑动求和
三列数据，分别是员工的姓名、月份和销售额功能：对每个员工的销售业绩的累积求和以及滑动求和（每个月计算其最近三个月的总销售业绩）
Hive 表添加列（新增字段）
记录总结一下 Hive 表如何添加新的字段以及遇到的问题。最初是因为要验证 Hudi Schema Evolution 中的增加字段问题more对于某些文件类型，如ORC不存在该问题，而对于 Parquet、Text ，只有在已有分区下插入数据是，新增字段查询才为 NULL, 新增的分区正常。
数据仓库内容分享(七)：Flink CDC 实现海量数据实时同步转换
在 Flink CDC 1.x 版本中，如果想实现 exactly-once 同步，需要配合 Flink 提供的 checkpoint 机制,全量阶段没有做切片，则只能在一个 checkpoint 里完成，这会导致一个问题：每个 checkpoint 中间要将这张表的全量数据吐给下游的 writer
csv数据导入hive表
csv数据导入hive表
