(08)Hive——Join连接、谓词下推
Hive的Join连接
Hive-函数-窗口函数
Hive中常用的窗口函数（也称为开窗函数）丰富多样，这些函数能够在进行数据分析时提供强大的支持，特别适用于需要对分组数据进行复杂计算和排序的场景。
hive常见时间函数
获取当天时间的三种方式，注意格式，其中current_timestamp返回的时间为UTC时间。日期格式化函数，需要什么格式，后面写什么格式的日期字符串描述，to_date仅有一种格式返回结果。hive提供了灵活获取年、月、日、天、小时、分钟、秒、周数、星期几、季节的函数，最后面还。时区转换函数有很
大数据ETL开发之图解Kettle工具（入门到精通）
XML可扩展标记语言eXtensible MarkupLanguage，由W3C组织发布，目前推荐遵守的是W3C组织于2000年发布的XML1.0规范。XML用来传输和存储数据，就是以一个统一的格式，组织有关系的数据，为不同平台下的应用程序服务。
Hive小文件问题及解决方案
Hive小文件问题是大数据环境中一个常见的挑战，影响了查询性能和资源利用率。通过了解小文件问题的成因和影响，并采取合适的解决方案，可以有效地缓解这一问题。在实际应用中，选择合适的文件格式、合并小文件、调整Hadoop配置参数以及使用分区和桶等方法，都是解决Hive小文件问题的有效手段。随着大数据技术
什么是数据仓库？对企业有什么用？5分钟带你全方位了解数据仓库！
在数字化浪潮的推动下，企业数字化转型已不再是选择题，而是企业生存和发展的必答题。然而，这条转型之路并非一帆风顺。解题关键在于建设数据仓库，以实现数据的统一整合与高效利用。数据仓库作为专门用于支持企业决策制定的数据库，通过集成来自企业不同源的数据，并将其存储在统一的环境中，来提供对企业信息的全局视图，
数据仓库的DWD层-详解与最佳实践
DWD层,全称Data Warehouse Detail,是数据仓库分层架构中的细节层。它位于ODS(Operational Data Store)层之上,DWS(Data Warehouse Service)层之下,是连接原始数据和汇总数据的重要桥梁。
大数据入门之如何利用Phoenix访问Hbase
HBase和Phoenix可谓是一对黄金搭档。HBase以其高效的列式存储和强大的数据扩展能力，成为大数据存储领域的佼佼者；而Phoenix则以其SQL化的操作方式，简化了对HBase的访问过程。今天，就让我们一起看看如何利用Phoenix轻松访问HBase。
数据中台项目常见的问题
实际上这一块是难点之一，比如说对数据源管理的话，我们是以插件式的形式去做的，比如说我如果现在想要集成一个 Es我需要写好es的读执行器，es的写执行器，es转换执行器，以插件式的形式来去简化我们的工作，这一块我们也是参考电子插的设计架构来的。，其特征是是一些应该有的信息缺失，如供应商的名称，分公司的
软硬一体化智能制造数字化工厂大数据分析平台整体解决方案
软硬一体化智能制造数字化工厂大数据分析平台，是基于物联网、云计算、大数据等先进技术，将工厂的生产设备、管理系统、数据采集与分析平台等有机结合，形成一个高度集成、智能化的生产运营体系。该方案不仅关注硬件设备的升级换代，更注重软件系统的优化整合，以实现生产数据的全面采集、实时分析和智能决策。- 智能设备
数据仓库-离线集市概述
数据集市（Datamart）是数据仓库的一个逻辑子集，专注于满足特定业务部门或领域的数据需求。与全面覆盖整个企业数据需求的数据仓库相比，数据集市更加聚焦和简洁，通常用于解决特定部门的业务问题或支持特定的分析需求。它可以看作是一个小型的数据仓库，具有独立的数据模型和存储方案，以便于更快速和高效地处理特
MySQL与数据仓库：OLAP和OLTP
📚 MySQL是一个广泛使用的开源关系型数据库管理系统，以其高性能、可靠性和易用性著称。它既可以用于OLTP场景，也可以通过某些优化用于OLAP场景。
Monorepo（单体仓库）与 MultiRepo（多仓库）: Monorepo 单体仓库开发策略与实践指南
在软件开发中，代码仓库的管理方式对项目的效率和协作有着重要影响。常见的代码仓库管理方式主要有两种：Monorepo（单体仓库）和 MultiRepo（多仓库）。Monorepo（单体仓库）：是指将多个项目存储在同一个代码仓库中。这种方式允许不同项目共享代码和依赖，并在同一个版本控制系统中进行管理。M
[AIGC] Doris：一款高效的MPP数据仓库引擎
在大数据处理的领域中，Apache Doris（原百度 Palo）是一个高效的MPP（大规模并行处理）数据仓库，最初由百度开发，现在已经成为Apache的孵化项目。(图片取自百度)
数据湖和数据仓库核心概念与对比
大数据领域从本世纪初发展到现在，观察其中的发展规律，可以高度概括成如下五个方面：1. 数据保持高速增长 - 从5V核心要素看，大数据领域保持高速增长，对于新兴企业，大数据领域增长超过年200%。2. 大数据作为新的生产要素，得到广泛认可 - 大数据领域价值定位的迁移，从“探索”到“普惠”，成为各个企
万字长文MySQL Binlog 详细指南
Binlog(二进制日志)是MySQL服务器层维护的一种二进制格式的日志文件。它记录了所有的DDL(数据定义语言)语句和DML(数据操作语言)语句,但不包括数据查询语句(SELECT、SHOW等)。Binlog是MySQL中非常重要的一个功能，它在数据恢复、主从复制、审计等方面发挥着关键作用。深入理
hive3.1.2的详细安装配置
因为hive3.1.2中的有些jar包和比hadoop版本中的jar包版本低，所以我们需要进行一个jar包的替换，把hive中的/hive/lib中的guava-19.0.jar包改名为guava-19.0.jar.bak并从/hadoop-3.1.3/share/hadoop/common/lib
Hive Transaction事务表（含实现原理）
hive事务表
数据仓库: 2- 数据建模
星型模型是一种简单、高效的数据仓库设计模型, 使用与各种数据分析和商业智能应用;其易于理解、查询性能高和易于扩展的特性使其成为构建数据仓库的首选方案之一;雪花模型是一种数据库设计模型, 其中维度表被进一步规范化, 形成多层结构, 看起来像雪花的形状;事实表和维度表的设计是数据仓库建设的基础, 需要根
大数据架构：数据库、数据湖、数据仓库、数据集市、湖仓一体、数据中台
数据库、数据湖、数据仓库、数据集市、湖仓一体、数据中台
