Zookeeper02:Zookeeper安装部署【单机】
一、Zookeeper的安装部署针对Zookeeper前期不需要掌握太多,只需要掌握Zookeeper的安装部署以及它的基本操作即可。Zookeeper也支持单机和集群安装,建议大家在学习阶段使用单机即可,单机和集群在操作上没有任何区别。在这里我们会针对单机和集群这两种方式分别演示一下。二、Zook
Hive的查询基本操作
Hive的查询基础操作和各运算符
hive表 desc 描述元信息获取(java hive jdbc)
java hive jdbc一次性获取hive表数据在hdfs中的location位置、或者获取hive的文件存储格式、使用的压缩算法,甚至是表中的字段类型、字段注释、字段约束、表中是否有数据、数据大小、文件数等信息。
MySQL中存储的数据查询的时候区分大小写问题
涉及字符串的各种运算其核心必然涉及到采用何种字符排序规则(COLLATE,也有翻译为"核对")。本质上 MySQL 是通过 COLLATE 取值决定字符串运算是否大小写敏感。`utf8_general_ci` 是一个具体的 COLLATE 取值。每个具体的 COLLATE 都对应唯一的字符集,可以看
hive中字符串查找函数 instr 和 locate
可用于优化join or关联匹配情况
2022数据血缘关系详解
2022数据血缘关系详解
安装datagrip以及datagrip连接hive
介绍:DataGrip 出自JetBrains公司,是一款跨平台的数据库管理客户端工具,可在Windows,OS X 和 Linux上使用;同时支持多种数据库:SQL Server, Oracle, PostgreSQL, MySQL, DB2, Sybase, SQLite, Derby, Hyp
hive-动态分区Dynamic Partition
com往分区表插数据时,需要指定分区。这样一次只能插入一个分区。如果插入数据分散在多个分区中,就要通过动态分区功能,自动创建分区并填充。参数配置在使用动态分区之前,我们要进行一些参数的配置.hive.exec.dynamic.partition默认值:false是否开启动态分区功能,默认false关
Hive数据类型
Hive数据类型支持的类型原始数据类型注意DATE类型整数类型小数、Boolean、二进制文本类型时间类型类型转换隐式转换显示转换(CAST函数)复杂数据类型详解ARRAY和MAPSTRUCTUNION实例支持的类型hive支持两种数据类型:原始数据类型、复杂数据类型原始数据类型原始数据类型包括数据
Hudi 0.12.0 搭建——集成 Hive3.1 与 Spark3.2
Hudi 默认依赖的 Hadoop 为 Hadoop2.x,要兼容 Hadoop3.x,则需要修改 Hudi 源码。找到镜像依赖配置,添加新的下载依赖,我这里选用的阿里云依赖,必须放在第一个,否则不会起作用。找到镜像属性配置的那里,添加镜像,我这里选用的阿里云镜像。文件中的大约第 110 行中的参数
spark读取数据写入hive数据表
pyspark 从已有数据表读取数据写入目标hive表的代码模板
【Hive】函数(UDF篇)
Hive/UDF
hadoop集群搭建+hive安装
hadoop集群搭建及hive安装
Hive日期时间函数
1.取得当前日期:select current_date(); --返回类型'yyyy-mm-dd',如今天日期'2020-01-01'2.取得当前日期时间:select current_timestamp(); --返回格式'yyyy-mm-dd hh:mi:ss' 如'2021-07-2
Hive自定义UDF函数详解
Hive自定义UDF函数详解一、UDF概述二、UDF种类三、如何自定义UDF四、自定义实现UDF和UDTF4.1 需求4.2 项目pom文件4.3 Hive建表测试及数据4.4 UDF函数编写4.5 UDTF函数编写一、UDF概述UDF全称:User-Defined Functions,即用户自定义
Python小案例(十)利用PySpark循环写入数据
结合python的字符串格式化和PySpark的Hive写入,就可以完成循环写入临时数据
【Hive|Spark】spark写入hive表存储格式问题
The format of the existing table default.student is `HiveFileFormat`. It doesn't match the specified format `OrcFileFormat`.;
本地数据仓库项目(一) —— 本地数仓搭建详细流程
搭建离线数仓,并实现数据采集到简单数据分析过程
大数据hive篇--UDF函数
udf函数
Hive 上配置 Hive on Spark
在 Hive 上配置 Hive on Spark。