Hive SQL——explode拆分函数&多行(列)合并为一行(列)&reflect函数
Hive SQL —— explode 拆分函数
数据资产目录
数据资产目录
Hive自定义函数
本文章主要分享单行函数UDF(一进一出)现在前面大体总结,后边文章详细介绍自定义函数分为临时函数与永久函数需要创建Java项目,导入hive依赖创建类继承GenericUDF(自定义函数的抽象类)(实现函数)打成jar包,传到服务器上将jar包添加到hive的class path上临时生效通过hiv
大数据存储架构详解:数据仓库、数据集市、数据湖、数据网格、湖仓一体
本文以文字+思维导图+表格的形式详解了数据库、数据仓库、数据集市、数据湖、数据网格、湖仓一体之间的区别。
[选型] 实时数仓之技术选型
关于实时数仓的选型● 如果选择hbase,建议选择kudu● 如果选择kudu, 还可以选择doris● 如果选择doris,建议选择iceberg
Dataphin使用指南与开发流程
Dataphin使用指南与开发流程总结
ETL还是ELT:企业如何选择构建数据仓库的最佳工具?
ETL工具通常基于预定义的数据模型进行数据转换,这些模型包括维度、事实表等。这样ETL过程更加标准化和可重复,减少了构建数据仓库的复杂性。
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
这是博主在升级过程中遇到的问题记录,大家不一定遇到过,如果不是 CDH 平台的话,单是 hive 服务升级应该是不会有这些问题的,且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文,前面的升级步骤基本一致,但是升级过程只有我遇到了这些问题吗?单拎出来这些报错,度娘多多少少还是可以找到一
2022年国家社会/自然科学基金立项名单
2022年国家社会科学+自然科学基金立项名单
【hive】hive数据类型及数据类型转换的注意事项
hive数据类型及数据类型转换的注意事项
数据仓库基础知识
数据仓库基础知识介绍
解决本地使用Dbeaver工具连接Hive报错问题
主要讲述本地使用Dbeaver工具如何成功连接linux服务器端hive的过程描述;
数据仓库重点
数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性,用于支撑管理决策。数据仓库存在的意义在于对企业的所有数据进行汇总,为企业各个部门提供统一的、规范的数据出口。其中的。
hive array[bigint]转string
hive array[bigint]转string
hive向上取整、向下取整、保留小数位的函数
hive向上取整向下取整和保留小数位数的函数
1、电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume
电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume
元数据、数据元、元模型、数据字典及数据模型的区别
元数据:描述数据的数据数据元:数据的最小单元(字段元数据+值)数据模型:由数据元组合而成(分为概念、逻辑、物理模型)元模型:关系建模中的实体、关系、属性,是相对于数据模型的概念,离开了模型元模型就没有了意义。数据字典:表和字段的元数据集合,包括约束、数据类型、默认值、长度、转换规则和业务定义,供技术
java连接mysql8.0数据库—jdbc连接
1.导入jar包mysql官网点击platform Independent,然后出现jar包选项点download点左下角no thanks,直接下载原始方法,直接在项目下建一个libs路径然后将刚刚下好的zip解压,复制jar包到该目录下,右键jar包,选择add as Library出现一堆包
《阿里大数据之路》读书笔记:第一章 总述
阿里数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次。
Hive 根据日期计算周数以及周几
余数就是周几(0~6),0 代表周日。示例:求日期。