Hive SQL必刷练习题：留存率问题（*****）
其实这类问题的关键在于，你要想办法将每个用户的最初登录时间和第二天登录时间这两个信息，放到一行中。这就是先求出来初次登陆时间后，然后借助这个表进行left join，之后再此基础上以最初登录时间进行分组group by，再用聚合函数即可。但是还有一种思路，就是直接进行开窗排序，然后用row_numb
关于Hadoop不得不看的小知识
数字表示 用 3 个数字表示文件或目录的权限，第 1 个数字表示所有者的权限，第 2个 数字表示与所有者同组用户的权限，第 3 个数字表示其他用户的权限。Spark的中心数据存放于内存中，有更高的迭代运算效率，而Hadoop MapReduce每次迭代的中间数据存放在HDFS中，涉及硬盘的读写，运算
Hive sql
那么cluster by就是多了一个分组的功能，但是分组和排序的字段只能是1个，而且只能是升序排序。关于相关子查询，其实是这样的，会先执行select A from t1这个操作，也就是先执行父查询这个操作，然后会逐个的到子查询的集合中去检查是否存在这个父查询的数据，如果子查询的集合中存在我这个父查
一篇讲明白 Hadoop 生态的三大部件
随着大数据时代的来临，处理和分析海量数据成为了一项重要的挑战。为了应对这一挑战，Hadoop生态系统应运而生。Hadoop生态系统是一个开源的、可扩展的解决方案，它由三大核心部件组成，分别是Hadoop分布式文件系统(HDFS)、Hadoop分布式计算框架(MapReduce)和Hadoop分布式存
X2Doris实现Hive离线数据自动化一键迁移至Doris
X2Doris 是 SelectDB （Doris主要开发维护团队）开发的，专门用于将各种离线数据迁移到 Apache Doris 中的核心工具，该工具集 自动建 Doris 表 和 数据迁移 为一体，目前支持了 Apache Doris/Hive/Kudu、StarRocks 数据库往 Doris
深入了解Hadoop：特性与伪分布式运行进程
Hadoop是一个强大的分布式计算框架，它能够对大规模数据进行可靠、高效和可伸缩的处理。随着数据量的不断增长，企业对于处理大规模数据的需求也越来越高，Hadoop因此成为了大数据处理领域的首选技术。本文将深入探讨Hadoop的特性以及伪分布式运行启动后所具有的进程。
如何构建Hive数据仓库Hive 、数据仓库的存储方式 以及hive数据的导入导出
官方定义：数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。（1）安装hive常规配置，这里不记录安装过程唯一需要注意的地方是有一个hive.metastroe.dirname属性需要配置配置的值是h
【Hadoop】 实践总结
本文将以离线批处理大数据为例，演示简单的Hadoop流程，不作过多理论概念介绍。具体内容具体可分为：1、文件导入Hdfs；2、MapReduce作业；3、Hive建模；4、Sqoop数据抽取。
hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）
linux和window上安装pyspark库。
大数据开发（Hadoop面试真题-卷八）
YARN是Apache Hadoop生态系统中的一个集群资源管理器。它的主要目的是管理和分配集群中的资源，并为运行在Hadoop集群上的应用程序提供资源。YARN的架构基于两个主要组件：ResourceManager（资源管理器）和NodeManager（节点管理器）。负责整个集群的资源管理和调度。
Hadoop 专栏
Hadoop 是使用 Java 编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache 的开源框架。也是我们最早常用的开源的大数据框架，以至于到现在很多大数据的技术框架底层或者生态都是依赖它的，也是我们学习大数据或者从事互联网的人学习的第一个大数据框架。而且它的思想至今也是很多
hive rlike
需要注意的是，在 Hive 中使用正则表达式时，通常需要使用正则表达式的规则语法。它用于判断一个字符串是否匹配指定的正则表达式。，我们想要查找内容中包含数字的行，可以使用。是用来进行正则表达式匹配的操作符。在 Hive SQL 中，列中包含任何数字的行。
Hadoop的基本介绍
本文基本介绍了Hadoop
educoder-Hadoop开发环境搭建
进入过后，移动光标，移动到最末端按住键盘 fn + delete看到最末端出现–insert–就能进入写入操作然后输入在英文键盘下按esc键冒号shift + :输入wq就能退出。
HBase Shell 操作：自动拆分和预分区
Compaction 本质上是一个排序合并的操作，合并操作需要占用大量内存，因此文件越大，占用内存越多。Compaction 有可能需要迁移远程数据到本地进行处理，如果需要迁移的数据是大文件的话，带宽资源就会损耗严重。本关任务：在 HBase Shell 中使用预分区命令创建表使用预分区规则为/ap
Leo赠书活动-21期 《一篇讲明白 Hadoop 生态的三大部件》
进入大数据阶段就意味着进入NoSQL阶段，更多的是面向OLAP场景，即数据仓库、BI应用等。大数据技术的发展并不是偶然的，它的背后是对于成本的考量。集中式数据库或者基于MPP架构的分布数据库往往采用的都是性能稳定但价格较为昂贵的小型机、一体机或者PC服务器等，扩展性相对较差；而大数据计算框架可以基于
Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建
一文搞定Hadoop完全分布式部署
Hive_last_value()
函数是一个窗口函数，用于返回窗口内的最后一个值。在同一分区内，窗口函数将独立计算每个分区。表示基于指定的列或表达式对行进行排序，这对于定义“最后”是基于什么顺序很重要。，它可能不会返回期望的结果。为了确保能够得到分区内所有行的最后一个值，可以使用。两列，以下SQL语句将返回每个分区（在本例中为每个日
Hive中的explode函数、posexplode函数与later view函数
在离线数仓处理通过HQL业务数据时，经常会遇到行转列或者列转行之类的操作，就像concat_ws之类的函数被广泛使用，今天这个也是经常要使用的拓展方法。
Hive日期函数应用之月份差值计算
一个常见的方法是首先将日期转换为 Unix 时间戳（如果它们还不是的话），然后通过计算时间戳之间的差值，并将这个差值转换为月份。然而，这种方法并不总是准确的，因为它假设每个月都有相同的天数（30或31天），而实际上不同月份的天数是不同的。或其他适当的函数来将它们转换为日期类型，或者确保它们是以 Hi
