hive源码之get_json_object
大家好,我是老六。在数据开发中,我们有大量解析json串的需求,我们选用的UDF函数无非就是:get_json_object和json_tuple。但是在使用get_json_object函数过程中,老六发现get_json_object无法解析key为中文的key:value对。带着这个问题,老六
HiveSQL一天一个小技巧:如何设计一张1-180天注册、活跃留存表?
本文给出了一种1-180天注册活跃留存表计算模型,主要采用笛卡尔集的形式求解,这也是数据报表经常采用的方法,需要掌握。
Hive 导出数据到 CSV 文件
spark 导出的是一个目录,我们需要拿到目录下的 csv 文件。最后,按题目要求改成指定路径与名称就可以啦,这里就不操作了。在 spark-shell 中导出。直接在 Hive 界面中进行操作。:以带表头的方式查询。的就是我们的结果文件。
hive中常用的日期处理函数
常用的日期函数
Hive 分桶表及作用
**分区**提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区。对于一张表或者分区,Hive 可以进一步组织成 ,也就是更为细粒度的数据范围划分;
数据开发总结
涵盖较多面经
Hive拉链表
使用HQL写一个Hive On Tez任务,以便跑出拉链表数据
大数据-Hive
hive
python之lambda-filter-map-reduce作用
lambda:匿名函数,让函数更简洁,有时候妙用无穷;使用方法:lambda 后面直接跟变量,变脸后面是冒号,冒号后面是表达式,表达式的计算结果就是本函数的返回值注意:虽然 lambda 函数可以接收任意多的参数并且返回单个表达式的值,但是 lambda 函数不能包含命令且包含的表达式不能超过一个。
Hudi入门到实战
Hudi入门到实战
SparkSQL
大数据自学笔记——spark学习笔记
Hive环境搭建(保姆级教程)
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。本文将详细介绍Hive的本地安装模式的具体过程。
Hive数据仓库---Hive的安装与配置
Hive的安装与配置
大数据之Hive:regexp_extract函数
目录一、正则的通配符简介1、正则表达式的符号及意义2、各种操作符的运算优先级:二、regexp_extract函数一、正则的通配符简介1、正则表达式的符号及意义符号含义实列/做为转意,即通常在"/"后面的字符不按原来意义解释如" * “匹配它前面元字符0次或多次,/a*/将匹配a,aa,aaa,加了
Apache Doris 系列: 入门篇-数据导入及查询
Doris 为了满足不同业务场景的数据接入需求,提供不丰富的数据导入方式,去支持不同的数据源:外部存储(HDFS,对象存储)、本地文件、消息队列(Kafka)及其他外部业务系统数据库(MySQL、Oracle、SQLServer、PostgreSQL等),支持同步和异步的方式将数据接入到 Doris
Hadoop、HDFS、Hive、Hbase之间的关系
Hbase:是一款基于HDFS的数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。Hive:用户
Hive与HBase的区别及应用场景
Hive和Hbase的区别
2022年全国职业院校技能大赛(高职组)
2022年全国职业院校技能大赛(高职组)
Hive---Hive语法(二)
Hive语法(二)
Hive内部表和外部表的简单区别
Hive外部表和内部表简单区别