Flink SQL通过Hudi HMS Catalog读写Hudi并同步Hive表（强烈推荐这种方式）
上篇文章Flink SQL操作Hudi并同步Hive使用总结总结了如何使用Flink SQL读写Hudi并同步Hive，介绍了创建表的各种方式，但是每一种方式都不太完美。本文介绍一种比较完美的方式，通过Hudi HMS Catalog读写Hudi并同步Hive表，这里的Hudi HMS Catalo
Hudi Java Client总结|读取Hive写Hudi代码示例
Hudi除了支持Spark、Fink写Hudi外，还支持Java客户端。本文总结Hudi Java Client如何使用，主要为代码示例，可以实现读取Hive表写Hudi表。当然也支持读取其他数据源，比如mysql，实现读取mysql的历史数据和增量数据写Hudi。
数据湖及湖仓一体化项目学习框架
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的上面这些看似没用，但又很重要，这里我就不在详述作用，有兴趣的同学可以看看我的学习框架的重要性我是怎么坚持学习的怎么确定学习目标
Delta Lake 是什么？
Delta Lake 是一个开源项目，它可以运行在你现有的数据湖之上，可以在数据湖上构建湖仓一体架构，并且与 Apache Spark API 完全兼容。
大数据_湖仓一体:下一代存储解决方案
湖仓一体可以存储、优化、分析和访问所有类型的数据，无论数据是结构化的、半结构化的，还是非结构化的，这一点和数据库不同，但和数据湖差不多。湖仓一体可以存储、优化、分析和访问所有类型的数据，无论数据是结构化的、半结构化的，还是非结构化的，这一点和数据库不同，但和数据湖差不多。新的系统设计让湖仓一体成为可
数据湖（十七）：Flink与Iceberg整合DataStream API操作
文章目录Flink与Iceberg整合DataStream API操作一、DataStream API 实时写入Iceberg表1、首先在Maven中导入以下依赖2、编写代码使用DataStream API将Kafka数据写入到Iceberg表3、在Kafka 中创建代码中指定的“flink-ice
数据湖（十六）：Structured Streaming实时写入Iceberg
文章目录Structured Streaming实时写入Iceberg一、创建Kafka topic二、编写向Kafka生产数据代码三、编写Structured Streaming读取Kafka数据实时写入Iceberg四、查看Iceberg中数据结果目前Spark中Structured Strea
数据湖（十五）：Spark与Iceberg整合写操作
文章目录Spark与Iceberg整合写操作一、INSERT INTO二、MERGE INTO1、首先创建a表和b表，并插入数据2、使用MERGE INTO 语法向目标表更新、删除、新增数据3、INSERT OVERWRITE四、DELETE FROM五、
数据湖（十二）：Spark3.1.2与Iceberg0.12.1整合
文章目录Spark3.1.2与Iceberg0.12.1整合一、向pom文件导入依赖二、SparkSQL设置catalog配置三、使用Hive Catalog管理Iceberg表1、创建表2、插入数据3、查询数据4、删除表四、用Hadoop Catalog管理Iceberg表1、创建表
