编写 Scala 工程代码,将 MySQL 库中的表增量抽取到 Hive库中对应表中
本文仅仅简单介绍了操作步骤,很多经验都来自于b站和博客上的大佬,以及身边的同学和老师转化而来的,赶在2022年最后一天做出总结,希望对大家也有帮助。
Hive 事务表 (Transactional Tables)
1. 为什么要使用事务表?2. 创建使用事务表
HiveSQL和SparkSQL的区别和联系
Hive和spark对比
Ranger (五) --------- 使用 Ranger 对 Hive 进行权限管理
使用 Ranger 对 Hive 进行权限管理
Hive 数据库常用基础命令
hive数据仓库的基本sql命令
hdfs小文件合并
hdfs小文件合并
hive和hbase的一些数据导入导出操作
hive 、hbase的一些基本操作
hive语法之insert overwrite/insert into
这里提到了hive2.3.0之后 如果表属性有("auto.purge"="true"),当insert overwrite的时候,之前的数据是不会移动到垃圾箱的(会移动哪里呢?这里提到了一个比较有意思的参数("immutable"="true") 这个单词是不可变的意思,insert into本身
Hive架构简述及工作原理
Hive是基于Hadoop的一个数据仓库管理工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL(HQL)查询功能。本质是将SQL转换为MapReduce程序(默认)。直接使用Hadoop MapReduce处理数据所面临的问题: 学习成本高,MapReduce实现复杂查询功能开发难度大,
hive源码之get_json_object
大家好,我是老六。在数据开发中,我们有大量解析json串的需求,我们选用的UDF函数无非就是:get_json_object和json_tuple。但是在使用get_json_object函数过程中,老六发现get_json_object无法解析key为中文的key:value对。带着这个问题,老六
HiveSQL一天一个小技巧:如何设计一张1-180天注册、活跃留存表?
本文给出了一种1-180天注册活跃留存表计算模型,主要采用笛卡尔集的形式求解,这也是数据报表经常采用的方法,需要掌握。
Hive 导出数据到 CSV 文件
spark 导出的是一个目录,我们需要拿到目录下的 csv 文件。最后,按题目要求改成指定路径与名称就可以啦,这里就不操作了。在 spark-shell 中导出。直接在 Hive 界面中进行操作。:以带表头的方式查询。的就是我们的结果文件。
hive中常用的日期处理函数
常用的日期函数
Hive 分桶表及作用
**分区**提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区。对于一张表或者分区,Hive 可以进一步组织成 ,也就是更为细粒度的数据范围划分;
数据开发总结
涵盖较多面经
Hive拉链表
使用HQL写一个Hive On Tez任务,以便跑出拉链表数据
大数据-Hive
hive
Hudi入门到实战
Hudi入门到实战
SparkSQL
大数据自学笔记——spark学习笔记
Hive环境搭建(保姆级教程)
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。本文将详细介绍Hive的本地安装模式的具体过程。