教你使用Sqoop一次性将mysql中的十张表导入到hive中

sqoop数据同步工具的使用一文教你学会使用sqoop将mysql数据库中的十张表导入到大数据平台hive中

Hive最全总结,学习与面试,收藏这一篇就够了!

UDF:用户自定义函数,user defined function。一对一的输入输出。UDTF:用户自定义表生成函数。user defined table-generate function.一对多的输入输出。UDAF:用户自定义聚合函数。user defined aggregate functio

DBeaver连接hive(详细图解)

dbeaver是免费和开源(GPL)为开发人员和数据库管理员通用数据库工具。易用性是该项目的主要目标,是经过精心设计和开发的数据库管理工具。免费、跨平台、基于开源框架和允许各种扩展写作(插件)。它支持任何具有一个JDBC驱动程序数据库。它可以处理任何的外部数据源。

描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系

作者:小怪兽链接:https://www.zhihu.com/question/27974418/answer/1862026844来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。1Hadoop只是一套工具的总称,它包含三部分:HDFS,Yarn,MapReduce,功

【Python】全网最详细的Python入门基础教程(非常详细,整理而来)

标识符在 Python 中,所有标识符可以包括英文(区分大小写的)、数字以及下划线(_),但不能以数字开头。以单下划线开头 _foo 的代表不能直接访问的类属性,需通过类提供的接口进行访问,不能用 from xxx import * 而导入。以双下划线开头的 __foo 代表类的私有成员,以双下划线

hive 的 lateral view用法以及注意事项

1. lateral view 简介  hive函数 lateral view 主要功能是将原本汇总在一条(行)的数据拆分成多条(行)成虚拟表,再与原表进行笛卡尔积,从而得到明细表。配合UDTF函数使用,一般情况下经常与explode函数搭配,explode的操作对象(列值)是 ARRAY 或者 M

30分钟掌握 Hive SQL 优化(解决数据倾斜)

如果joinkey有集中的空值热点值,这些空值会聚集到少数个分区中,导致长尾问题。

SQL:数据去重的三种方法

SQL中去除重复数据

[Hive]一篇带你读懂Hive是什么

✅作者简介:大家好,我是Philosophy7?让我们一起共同进步吧!🏆 📃个人主页:Philosophy7的csdn博客🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博>主哦🤞文章目录一、Hiv

大数据开发——Hive实战案例

1. 创建表结构1.1 视频表结构1.2 用户表结构2. 准备工作2.1 创建临时表2.2 创建最终使用表2.3 对创建表进行解读3. 业务分析

我眼中的Hive-你眼中的了?

hive是基于Hadoop的一个数据仓库工具,常用来对数据仓库进行数据统计分析。其中包括我们大家都知道的通过类似SQL语句实现快速MapReduce统计,将数据进行提取、转化、加载。我眼中的Hive-你眼中的了?

大数据开发——Hive实战案例

1. 创建表结构1.1 视频表结构1.2 用户表结构2. 准备工作2.1 创建临时表2.2 创建最终使用表2.3 对创建表进行解读3. 业务分析

[Hive]一篇带你读懂Hive是什么

✅作者简介:大家好,我是Philosophy7?让我们一起共同进步吧!🏆 📃个人主页:Philosophy7的csdn博客🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博>主哦🤞文章目录一、Hiv

大数据ClickHouse进阶(二十二):ClickHouse优化

在Hive中对于日期数据我们经常使用String类型存储,但是在ClickHouse中建表时针对日期类型数据存储建议使用日期类型存储,不使用String类型存储,因为在使用到日期时日期类型可以直接处理,String类型的日期数据还需要使用函数进行处理,执行效率低。

在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平

在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平

Hive group by 数据倾斜问题处理

发现一个10.19号的任务下午还没跑完,正常情况下,一般一个小时就已经跑完,而今天已经超过3小时了,因此去观察实际的任务,发现9个map 其中8个已经完成,就一个还在run,说明有明显的数据倾斜。在一小时内结束,并且没有哪个节点耗时较长。发现有使用group by。

Hive安装与配置及常见问题解决

Hive安装与配置及常见问题解决

【Hadoop技术篇】hive的优化,经典面试

hive的优化,经典面试

基于antlr-3.5.2+Python实现一般HiveSQL血缘解析(一)

作为一个开发实践项目,实现对HiveSQL语句的解析可以很有效的作为管理用户查询权限的管理。对于这方面的知识本身也不是非常熟悉了解,很多时候也是边学边记。身边也没有人指导这个方案具体该怎么实现怎么做,只有需求是要将复杂查询或者是关联建表的SQL语句能够将其库名和表名全都给提取出来并且能够实现上下游的

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈