数据仓库和数据湖的区别
而数据湖则是一种原始、未经处理的数据存储，它可以包含结构化、半结构化和非结构化数据，数据以原始格式存储，没有强制的模式和架构。而数据湖通常提供更灵活的数据访问方式，可以使用不同的工具和技术来处理和分析数据，如数据科学家可以使用Python或R来开展分析工作。在实际应用中，可以将数据湖作为底层的数据存
数据湖系列之一 | 你一定爱读的极简数据平台史，从数据仓库、数据湖到湖仓一体
随着企业数据量的爆炸式增长，以及越来越多的企业上云，数据平台面临的数据存储、数据处理的挑战越来越大，采用什么样的技术来构建和迭代这个平台一直是业界研究的热点，新技术和新思路不断涌现。数据湖提倡所有的数据，不管是数据库的结构化数据，还是视频、图片、日志这类非结构化的数据，都以它们原始的格式存储到一个统
2024大数据“打假”：什么才是真湖仓一体？
湖仓一体是通过一套架构，满足所有的分析需求，抽象化的描述，要能实现 One Data、All Analytics 的业务价值。
4 Paimon数据湖之Hive Catalog的使用
Paimon提供了两种类型的Catalog：Filesystem Catalog和Hive Catalog。
6 Hive引擎集成Apache Paimon
想要在Hive中操作Paimon，首先需要在Hive中配置Paimon的依赖，此时我们需要用到一个jar包：paimon-hive-connector。
5 Paimon数据湖之表数据查询详解
主要涉及Paimon中系统表的查询、批量读取、流式读取，以及时间旅行特性的使用。
基于 Flink CDC 高效构建入湖通道
本文整理自阿里云 Flink 数据通道负责人、Flink CDC 开源社区负责人， Apache Flink PMC Member & Committer 徐榜江（雪尽），在 Streaming Lakehouse Meetup 的分享。内容主要分为四个部分： 1. Flink CDC 核心技
【大数据】Apache Iceberg 概述和源代码的构建
我们在使用不同的引擎进行大数据计算时，需要将数据根据计算引擎进行适配。这是一个相当棘手的问题，为此出现了一种新的解决方案：介于上层计算引擎和底层存储格式之间的一个中间层。这个中间层不是数据存储的方式，只是定义了数据的元数据组织方式，并向计算引擎提供统一的类似传统数据库中 “表” 的语义。它的底层仍然
Hudi系列13:Hudi集成Hive
Hudi集成hive
Hudi（23）：Hudi集成Hive之同步
Flink hive sync 现在支持两种 hive sync mode, 分别是 hms 和 jdbc 模式。其中 hms 只需要配置 metastore uris；注意：核心点为上述hive_sync系列的配置。
数据湖Iceberg介绍和使用(集成Hive、SparkSQL、FlinkSQL)
为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化器，2020 年5月19日从孵化器毕业，成为Apache的顶级项目。Iceberg是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table Form
离线数据仓库
数据中台：利用大数据技术，对海量数据统一进行采集、计算和存储、并统一数据标准和口径，该架构需要维护两套代码：离线架构代码和实时架构代码。随取随用、只有在使用时才进行数据转换等处理。数据中台：包含数据仓库和其他服务中间件。对原始数据进行清洗、转换和预处理。作为数据仓库或数据集市的数据源，更适合进行数据
Hudi（17）：Hudi集成Flink之写入方式
注意：如果要再次生成测试数据，则需要修改meta.txt将自增id中的1改为比10000大的数，不然会出现主键冲突情况。步骤一：创建MySQL表（使用flink-sql创建MySQL源的sink表）步骤二：创建Kafka表（使用flink-sql创建MySQL源的sink表）步骤一：创建kafka源
Hudi（7）：Hudi集成Spark之spark-sql方式
默认情况下，如果提供了preCombineKey，则insert into的写操作类型为upsert，否则使用insert。hoodie.sql.bulk.insert.enable 和 hoodie.sql.insert.mode。不需要指定模式和非分区列（如果存在）之外的任何属性，Hudi可以自
大数据Hadoop之——Apache Hudi 数据湖实战操作（FlinkCDC）
Hudi 是一个流式数据湖平台大数据Hadoop之——新一代流式数据湖平台 Apache Hudi大数据Hadoop之——Apache Hudi 数据湖实战操作（Spark，Flink与Hudi整合）数据处理：计算引擎，例如：flink、spark等。数据存储：HDFS、云存储、AWS S3、对象存
湖仓一体（Lakehouse）是什么？
湖仓一体（Lakehouse）是一种新的大数据存储架构，结合了数据仓库和数据湖的最佳功能。湖仓一体为你的所有数据（结构化、半结构化和非结构化）提供单一的存储库，同时可以实现机器学习、商业智能（BI）和实时计算等功能。
Hudi（2）：Hudi的编译和安装
pom文件位置：vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml （在382行的位置，修改如下红色部分）位置：vim /opt/software/hudi-0.12.0/packaging/hudi-utilities
Delta Lake 是什么？
Delta Lake 是一个开源项目，它可以运行在你现有的数据湖之上，可以在数据湖上构建湖仓一体架构，并且与 Apache Spark API 完全兼容。
Hudi、Iceberg底层索引Z-Order
Z-Order最早是1966提出的一项将多维数据映射到一维的方法.随着数据库技术的发展,这种映射方法由于其特性,被应用到了数据库技术中,特别是在大数据时代再次被提及,在hudi、iceberg中都有应用。本文将对数据库领域使用Z-Order的情形进行介绍，分析其使用场景，最后对比多个数据库领域的相关
大数据Hadoop之——Apache Hudi 与 Presto/Trino集成
Apache Hudi是一个快速增长的数据湖存储系统，可帮助组织构建和管理PB级数据湖。Hudi通过引入诸如升序、删除和增量查询之类的原语，将流式处理引入到批处理式大数据中。这些功能有助于在统一服务层上更快、更新鲜的数据。Hudi表可以存储在Hadoop分布式文件系统（HDFS）或云存储上，并与流行
