Hive SQL时间函数及用法

函数: last_day(string date)返回值:string返回该日期所属的月份的最后一天(截至Hive 1.1.0)。date为字符串,格式为“yyyy-MM-dd HH:mm:ss”或“yyyy-MM-dd”。日期的时间部分被忽略。

SPARKSQL3.0-Spark兼容多版本Hive源码分析

SPARKSQL3.0-Spark兼容多版本Hive源码分析

编写 Scala 工程代码,将 MySQL 库中的表增量抽取到 Hive库中对应表中

本文仅仅简单介绍了操作步骤,很多经验都来自于b站和博客上的大佬,以及身边的同学和老师转化而来的,赶在2022年最后一天做出总结,希望对大家也有帮助。

Hive 事务表 (Transactional Tables)

1. 为什么要使用事务表?2. 创建使用事务表

HiveSQL和SparkSQL的区别和联系

Hive和spark对比

Ranger (五) --------- 使用 Ranger 对 Hive 进行权限管理

使用 Ranger 对 Hive 进行权限管理

Hive 数据库常用基础命令

hive数据仓库的基本sql命令

hdfs小文件合并

hdfs小文件合并

hive和hbase的一些数据导入导出操作

hive 、hbase的一些基本操作

hive语法之insert overwrite/insert into

这里提到了hive2.3.0之后 如果表属性有("auto.purge"="true"),当insert overwrite的时候,之前的数据是不会移动到垃圾箱的(会移动哪里呢?这里提到了一个比较有意思的参数("immutable"="true") 这个单词是不可变的意思,insert into本身

Hive架构简述及工作原理

Hive是基于Hadoop的一个数据仓库管理工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL(HQL)查询功能。本质是将SQL转换为MapReduce程序(默认)。直接使用Hadoop MapReduce处理数据所面临的问题: 学习成本高,MapReduce实现复杂查询功能开发难度大,

hive源码之get_json_object

大家好,我是老六。在数据开发中,我们有大量解析json串的需求,我们选用的UDF函数无非就是:get_json_object和json_tuple。但是在使用get_json_object函数过程中,老六发现get_json_object无法解析key为中文的key:value对。带着这个问题,老六

HiveSQL一天一个小技巧:如何设计一张1-180天注册、活跃留存表?

本文给出了一种1-180天注册活跃留存表计算模型,主要采用笛卡尔集的形式求解,这也是数据报表经常采用的方法,需要掌握。

Hive 导出数据到 CSV 文件

spark 导出的是一个目录,我们需要拿到目录下的 csv 文件。最后,按题目要求改成指定路径与名称就可以啦,这里就不操作了。在 spark-shell 中导出。直接在 Hive 界面中进行操作。:以带表头的方式查询。的就是我们的结果文件。

hive中常用的日期处理函数

常用的日期函数

Hive 分桶表及作用

**分区**提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区。对于一张表或者分区,Hive 可以进一步组织成 ,也就是更为细粒度的数据范围划分;

数据开发总结

涵盖较多面经

Hive拉链表

使用HQL写一个Hive On Tez任务,以便跑出拉链表数据

大数据-Hive

hive

python之lambda-filter-map-reduce作用

lambda:匿名函数,让函数更简洁,有时候妙用无穷;使用方法:lambda 后面直接跟变量,变脸后面是冒号,冒号后面是表达式,表达式的计算结果就是本函数的返回值注意:虽然 lambda 函数可以接收任意多的参数并且返回单个表达式的值,但是 lambda 函数不能包含命令且包含的表达式不能超过一个。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈