大数据NiFi（二十）：实时同步MySQL数据到Hive
连接关系中，我们这里只关注“insert”和“update”的数据，后期获取对应的属性将插入和更新的数据插入到Hive表中，对于“delete”的数据可以路由到其他关系中，例如需要将删除数据插入到另外的Hive表中，可以再设置个分支处理。登录mysql ,使用“mynifi”库，创建表“test2”
数据倾斜的原因及解决方案
一、什么是数据倾斜及数据倾斜是如何产生的数据倾斜的根本原因是数据的key分布不均，个别key数据很多，超出了计算节点的计算能力的结果；过程：数据经过 map后，由于不同key 的数据量分布不均，在shuffle 阶段中通过 partition 将相同的 key 的数据打上发往同一个 reducer
大数据面试题（八）：Hive优化措施
Fetch抓取Fetch抓取是指Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.templat
教你使用Sqoop一次性将mysql中的十张表导入到hive中
sqoop数据同步工具的使用一文教你学会使用sqoop将mysql数据库中的十张表导入到大数据平台hive中
Hive最全总结，学习与面试，收藏这一篇就够了！
UDF：用户自定义函数，user defined function。一对一的输入输出。UDTF：用户自定义表生成函数。user defined table-generate function.一对多的输入输出。UDAF：用户自定义聚合函数。user defined aggregate functio
DBeaver连接hive（详细图解）
dbeaver是免费和开源（GPL）为开发人员和数据库管理员通用数据库工具。易用性是该项目的主要目标，是经过精心设计和开发的数据库管理工具。免费、跨平台、基于开源框架和允许各种扩展写作（插件）。它支持任何具有一个JDBC驱动程序数据库。它可以处理任何的外部数据源。
描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系
作者：小怪兽链接：https://www.zhihu.com/question/27974418/answer/1862026844来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。1Hadoop只是一套工具的总称，它包含三部分：HDFS，Yarn，MapReduce，功
【Python】全网最详细的Python入门基础教程（非常详细，整理而来）
标识符在 Python 中，所有标识符可以包括英文（区分大小写的）、数字以及下划线(_)，但不能以数字开头。以单下划线开头 _foo 的代表不能直接访问的类属性，需通过类提供的接口进行访问，不能用 from xxx import * 而导入。以双下划线开头的 __foo 代表类的私有成员，以双下划线
hive 的 lateral view用法以及注意事项
1. lateral view 简介 hive函数 lateral view 主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是 ARRAY 或者 M
30分钟掌握 Hive SQL 优化（解决数据倾斜）
如果joinkey有集中的空值热点值，这些空值会聚集到少数个分区中，导致长尾问题。
SQL：数据去重的三种方法
SQL中去除重复数据
[Hive]一篇带你读懂Hive是什么
✅作者简介：大家好,我是Philosophy7？让我们一起共同进步吧！🏆 📃个人主页：Philosophy7的csdn博客🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博>主哦🤞文章目录一、Hiv
大数据开发——Hive实战案例
1. 创建表结构1.1 视频表结构1.2 用户表结构2. 准备工作2.1 创建临时表2.2 创建最终使用表2.3 对创建表进行解读3. 业务分析
我眼中的Hive-你眼中的了?
hive是基于Hadoop的一个数据仓库工具，常用来对数据仓库进行数据统计分析。其中包括我们大家都知道的通过类似SQL语句实现快速MapReduce统计，将数据进行提取、转化、加载。我眼中的Hive-你眼中的了?
大数据开发——Hive实战案例
1. 创建表结构1.1 视频表结构1.2 用户表结构2. 准备工作2.1 创建临时表2.2 创建最终使用表2.3 对创建表进行解读3. 业务分析
[Hive]一篇带你读懂Hive是什么
✅作者简介：大家好,我是Philosophy7？让我们一起共同进步吧！🏆 📃个人主页：Philosophy7的csdn博客🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博>主哦🤞文章目录一、Hiv
大数据ClickHouse进阶（二十二）：ClickHouse优化
在Hive中对于日期数据我们经常使用String类型存储，但是在ClickHouse中建表时针对日期类型数据存储建议使用日期类型存储，不使用String类型存储，因为在使用到日期时日期类型可以直接处理，String类型的日期数据还需要使用函数进行处理，执行效率低。
在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平
在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平
Hive group by 数据倾斜问题处理
发现一个10.19号的任务下午还没跑完，正常情况下，一般一个小时就已经跑完，而今天已经超过3小时了，因此去观察实际的任务，发现9个map 其中8个已经完成，就一个还在run，说明有明显的数据倾斜。在一小时内结束，并且没有哪个节点耗时较长。发现有使用group by。
Hive安装与配置及常见问题解决
Hive安装与配置及常见问题解决
