DolphinScheduler——流程调度工具
一、平台简介Apache DolphinScheduler（目前处在孵化阶段）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用
Hive正则表达式
Hive正则表达式
hive数据仓库课后答案
Hive数据仓库应用课后答案
Hive/Presto中函数grouping sets用法详解（踩坑总结，看到赚到）
本文详细记录了函数grouping sets使用时遇到的坑，基于Hive和Presto实现。
Sqoop 安装配置（超详细）
我没有装 HBase 和 Zookeper，所以只指定了 HADOOP 和 Hive 的路径，注意删掉前面的符号。使用 Sqoop 时的一些警告信息真令人头大，我们可以手动去关闭掉这些警告信息。为了后续方便操作 Hive，我们需要将 Hive 的驱动放入 Sqoop 的。拷贝 MySQL 驱动到 S
【hive】hive的安装配置，beeline使用（1）
hive的安装配置，beeline使用
Hive——详细总结Hive中各大查询语法
1. 基础查询1.1 WHERE、LIMIT、DISTINCT、BETWEEN、IN的使用1.2 LIKE、GROUP BY、HAVING的使用1.3 内连接&外连接【JOIN...ON ...】2. 排序查询2.1 全局排序(Order By)2.2 单个 Reduce 内部排序(Sort By)
sqoop 数据同步方案理解+问题解决
sqoop 数据同步方案理解+问题解决
Hive数据库的存储位置 & DDL
Hive数据库的存储位置 & DDL
Required field ‘client_protocol‘ is unset 原因探究
最新在做基于Thrift协议的hive客户端，但是遇到了问题，具体一点的异常如下...
从Hive源码解读大数据开发为什么可以脱离SQL、Java、Scala
本文将以大数据开发中最常见的数仓组件Hive的drop table为例，抛砖引玉，解读为神马大数据开发可以脱离SQL、Java、Scala。
大数据技术之Hive
大数据技术之Hive
hive中判断一个字符串是否包含另一个子串的四种方法，sql中也可用
hive中判断一个字符串是否包含另一个子串的四种方法如果你有一个数据需求，需要从一个字段中，判断是否有一个字符串，你该怎么做一、方法1：like和rlike最能想到的方法，用like或者rlikeselect "i want to touch fish" like("%fish%");那么rlike
SparkSQL知识点总结
零基础学sparksql
数仓之hive自定义UDTF函数详解
自定义UDTF函数
hive 内置时间函数datediff，这次总算搞清楚了
刚接触数仓时，对hive中sql内置的一些时间函数的用法总是用的模糊两可，每次需要用到的是总是得查api，今天把这3个容易出错的日期内置函数简单总结下，算是一次学习笔记，加深印象，后面需要用到的时候就不用再去翻看api了。1.日期比较函数datediff语法:datediff(string endd
Hive 多数组合并 CONCAT_WS
Hive 多数组合并 使用CONCAT_WS和split 完成多个数组合成一个数组
Hive查看表大小(所占的磁盘空间大小)
查看该hive表的总容量大小 单位为G[root@hadoop225 ~]$ hadoop fs -du /user/hive/warehouse/src.db/user/user_account|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024
大数据工程师的日常工作内容是干嘛？
我们真的是Sqlboy吗？
基于Hadoop的数据分析案例-陌陌聊天软件数据分析
目录前言一、使用的工具二、分析步骤1.数据来源2.数据内容分析3.加载数据4.数据清洗ETL5.数据分析总结前言本文章针对陌陌软件进行数据分析。一、使用的工具Vmware Workstation Pro Centos 7 64bit FinalShell 3.9.2.2 DataGrip 2020.
