编写 Scala 工程代码,将 MySQL 库中的表增量抽取到 Hive库中对应表中

本文仅仅简单介绍了操作步骤,很多经验都来自于b站和博客上的大佬,以及身边的同学和老师转化而来的,赶在2022年最后一天做出总结,希望对大家也有帮助。

Hive 事务表 (Transactional Tables)

1. 为什么要使用事务表?2. 创建使用事务表

HiveSQL和SparkSQL的区别和联系

Hive和spark对比

Ranger (五) --------- 使用 Ranger 对 Hive 进行权限管理

使用 Ranger 对 Hive 进行权限管理

Hive 数据库常用基础命令

hive数据仓库的基本sql命令

hdfs小文件合并

hdfs小文件合并

hive和hbase的一些数据导入导出操作

hive 、hbase的一些基本操作

hive语法之insert overwrite/insert into

这里提到了hive2.3.0之后 如果表属性有("auto.purge"="true"),当insert overwrite的时候,之前的数据是不会移动到垃圾箱的(会移动哪里呢?这里提到了一个比较有意思的参数("immutable"="true") 这个单词是不可变的意思,insert into本身

Hive架构简述及工作原理

Hive是基于Hadoop的一个数据仓库管理工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL(HQL)查询功能。本质是将SQL转换为MapReduce程序(默认)。直接使用Hadoop MapReduce处理数据所面临的问题: 学习成本高,MapReduce实现复杂查询功能开发难度大,

hive源码之get_json_object

大家好,我是老六。在数据开发中,我们有大量解析json串的需求,我们选用的UDF函数无非就是:get_json_object和json_tuple。但是在使用get_json_object函数过程中,老六发现get_json_object无法解析key为中文的key:value对。带着这个问题,老六

HiveSQL一天一个小技巧:如何设计一张1-180天注册、活跃留存表?

本文给出了一种1-180天注册活跃留存表计算模型,主要采用笛卡尔集的形式求解,这也是数据报表经常采用的方法,需要掌握。

Hive 导出数据到 CSV 文件

spark 导出的是一个目录,我们需要拿到目录下的 csv 文件。最后,按题目要求改成指定路径与名称就可以啦,这里就不操作了。在 spark-shell 中导出。直接在 Hive 界面中进行操作。:以带表头的方式查询。的就是我们的结果文件。

hive中常用的日期处理函数

常用的日期函数

Hive 分桶表及作用

**分区**提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区。对于一张表或者分区,Hive 可以进一步组织成 ,也就是更为细粒度的数据范围划分;

数据开发总结

涵盖较多面经

Hive拉链表

使用HQL写一个Hive On Tez任务,以便跑出拉链表数据

大数据-Hive

hive

Hudi入门到实战

Hudi入门到实战

SparkSQL

大数据自学笔记——spark学习笔记

Hive环境搭建(保姆级教程)

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。本文将详细介绍Hive的本地安装模式的具体过程。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈