大数据NiFi（十九）：实时Json日志数据导入到Hive
如果所提供的JsonPath计算为指定的值，JSON的返回类型可以返回"scalar"。当一次性向tail的文件输入多条数据，我们不希望全部json行内容替换成第一行json内容，那么可以将“TailFile”处理器处理的数据直接传递给“ConvertRecord”处理器，将数据由json格式转换成
hive 排序取中间60%数据
NTILE(n)，用于将分组数据按照顺序切分成n片，返回当前切片值。将一个有序的数据集划分为多个桶(bucket)，并为每行分配一个适当的桶数（切片值，第几个切片，第几个分区等概念）。它可用于将数据划分为相等的小切片，为每一行分配该小切片的数字序号。NTILE不支持ROWS BETWEEN，比如NT
Hive设置连接用户名和密码
当hive客户端搭建起来之后，应用项目远程连接hive需要设置用户名和密码；由于hive默认的用户名和密码都是空的，所以需要我们自定义用户名和密码；首先，添加hive的maven依赖，这儿maven的版本和hive运行的jar版本保持一致，不然容易出问题，hive/lib下查看jar的版本信息。需要
spark sql（五）sparksql支持查询哪些数据源，查询hive与查询mysql的区别
sparksql支持查询的数据源类型，以及查询mysql和查询hive的源码过程简析
Hive 元数据服务 MetaStore
1. 概念MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 MetaStore 中。根据系统配置方式，统计信息和授权记录也可以存储在这。Hive 或者其他执行引擎在运行时可以使用这些数据来确定如何解析，授权以及有效执行用户的查询。MetaStore 分为两
Hive之explode()函数和posexplode()函数和lateral view函数
目录1、explode()函数2、posexplode()函数3、lateral view函数1、explode()函数英文释义：explode() takes in an array (or a map) as an input and outputs the elements of the ar
CDH6.2.1 集成ranger和atlas操作手册
本文档旨在描述相关CDH6.2.1集成ranger和atlas的安装配置操作，便于相关使用人员后参考
Hive 数据倾斜
Hive 数据倾斜
【Hive】基本建库、建表操作
文章目录一、Hive 数据仓库的操作1、创建数据仓库2、查看 db 数据仓库的信息及路径3、删除 db 数据仓库二、Hive 数据表的操作1、创建内部表2、创建内部表3、修改表结构4、删除表5、创建同结构表三、Hive 中数据的导入导出环境准备Hadoop 完全分布式（一主两从即可）MySQL环境、
hiveSQL开窗函数详解
窗口函数也称OLAP函数，对数据库进行实时分析处理。
hive时间和字符串互转，时间函数
hive里经常需要将字符串转化为date或timestamp 或者转化为日期格式的string先说一个简单的 cast(xx as date/string/timestamp) 这个大多情况都可以用。
数据同步之全量同步与增量同步
一、什么是数据同步业务数据是数据仓库的重要数据来源，我们需要每日定时从业务数据库中抽取数据，传输到数据仓库中，之后再对数据进行分析统计。为保证统计结果的正确性，需要保证数据仓库中的数据与业务数据库是同步的，离线数仓的计算周期通常为天，所以数据同步周期也通常为天，即每天同步一次即可。数据的同步策略有全
HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)
HIVE 3 使用 MR 引擎多表关联 (JOIN) 导致丢数的问题复现、问题根源及解决方案 (附代码)
hive之full outer join（全连接）使用方法
目录介绍语法例子创建顾客表：customers创建订单表：ordersfull outer join语句 left join + union + right join语句介绍full outer join结合了 LEFT JOIN 和 RIGHT JOIN 的结果，并使用NULL值作为两侧缺失匹配结
dbever连接kerberos认证的hive
dbever连接kerberos认知的hive
Hive表DDL操作（一）
Hive表DDL操作（一）；表分区；Create/Alter/Drop 数据库；Create/Drop/Truncate 表；Alter 表/列
hive limit分页查询、row_number()分页查询
hive执行limit语句报错，分页失败如: （1）按照deptno分组，不排序 （2）按照empno进行排序，不分组,排序列命名rownum （3）按照empno排序，同时根据deptno进行分组 从原表中查询第6到第10行数据注： row_number最好写一个,不然每次都排序很耗
黑马Hive+Spark离线数仓工业项目--项目总结
黑马Hive+Spark离线数仓工业项目--项目总结
连接HiveServer2的图形化工具SQuirrel和Dbeaver
文章目录SQuirrel SQL Client简介视频演示安装SQuirrel SQL Client启动hdfs和hiveserver2配置SQuirrel SQL Client使用SQuirrel SQL Client访问hive使用Cloudera提供的hive连接驱动进行连接Dbeaver的安
Hive远程连接设置用户名和密码
hive设置用户名密码
