数据湖之Hudi（9）：使用Spark向Hudi中插入数据
目录0. 相关文章链接1. 开发说明2. 环境构建2.1. 构建服务器环境2.2. 构建Maven项目3. Maven依赖4. 核心代码0. 相关文章链接大数据基础知识点 文章汇总1. 开发说明Apache Hudi最初是由Uber开发的，旨在以高效率实现低延迟的数据库访问。Hudi 提供了Hudi
Kafka消息失败后无限重复消费现象的排查
文章目录背景相关代码现象解决方法Reference背景项目中用到了kafka消息队列，在开发测试过程中发现了消息端设置的最大重试次数失效的情况，具体信息如下：consumer: 3partition:1maxRetryTimes:15spring-kafka: 2.2.15.RELEASEkafka
Flink查询关联Hbase输出
1、前言大家在开发Flink的时候，很多时候会把某些固定的维度信息存储在Hbase或者Redis等这些第三方库里，已方便来跟流发生关联查询输出。本文将从如何本地搭建一个Hbase环境开始讲起，到如何构建一个Hbase公共调用类，到如何构建一个异步调用Hbase的公共代码，再到最后实际调用代码后的输出
centos7 安装 elasticsearch 7.6.2及分词器
小伙伴们，你们好呀，我是老寇，跟我一起安装elasticsearch 7.6.2安装elasticsearch的教程数不胜数，本文的安装方式是经过自己测试的，因此分享给有需要的小伙伴，一来是避免小伙伴少走弯路，二来方便后面知识的整合。本文是基于ES 7.6.2的版本进行安装的，话不多说，我们开始吧。
大数据场景下的消息队列：Kafka3.0快速入门
大数据场景下的消息队列：Kafka3.0快速入门
实时计算知识，最详细的整理
随着云计算、大数据等名词的流行，涌现出一大批相关的技术，其中Hadoop是较早出现的一种分布式架构，得到了大量的应用。本章先说明大数据和Hadoop的基本概念，之后介绍HDFS、MapReduce、YARN三个基本的Hadoop组件。除了基本组成部分，Hadoop生态圈中还有很多其他的工具组件，它们
一文搞懂 RabbitMQ 延时队列（订单定时取消为例）
1. 死信及死信队列1.1 什么是死信一般来说，生产者将消息投递到队列中，消费者从队列取出消息进行消费，但某些时候由于特定的原因导致队列中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信(Dead Letter)，所有的死信都会放到死信队列中。为什么为有死信？消息变成死信一般是以下三
Flink RPC源码流程
Flink RPC源码流程
Spark环境搭建（保姆级教程）
Spark 是一个大规模数据处理的统一分析引擎本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。文末有相应资源下载网盘链接。
Flink旁路输出特性简单实例：按照股价对股票进行数据分流并写出到文本文件
关于旁路输出的官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/datastream/side_output/除了由 DataStream 操作产生的主要流之外，我们还可以产生任意数量的旁路输出结果
Java岗大厂面试百日冲刺【Day54】— Redis4 （日积月累，每日三题）
百日冲刺高频面试题，本期开始把《一张图片背后的故事》加入进来，希望给我们带来更多的感动。有同学投稿的请联系我
spark：使用java语言理解scala
最近看的spark学习视频，视频里面都是用scala操作spark的，对scala语言学习较少，想要入门，可以通过下面的这个例子去用java语言思想去理解scala。主要是函数式编程思想：==一种Map Reduce的计算示例==
HBase、ClickHouse、StarRocks
HBaseHBase行锁机制，保证对单行数据操作的原子性。ClickHouse基本概念数据的基本映射单元：一列数据用Column表示，一列数据中的单个值用Field表示。数据类型：DataType，进行序列化和反序列化操作Block：ClickHouse内部是面向Block操作的，Block是由Co
flink如何利用checkpoint保证数据状态一致性
flink如何利用checkpoint保证数据状态一致性
zookeeper随堂笔记
学习目标：什么是zookeeper 应用场景 基本的操作 shell端 java端 基本原理 选举机制 数据一致性 数据的读写流程 1 zookeeper简介zookeeper是一个底层的集群协调工具，（比如：NN和DN之间的状态感应；监控 通知）！具备基本的功能有 ，记录用户的状态数据 （
入门ClickHouse和Elasticsearch
❄️大多数同学都知道数据有mysql、mongodb、oracle、nosql等等，这些是我们在学校能接触到最多的数据库,今天我们就来认识2个企业中比较常用的数据库clickhouse和elasticsearch。对大数据感兴趣的同学可以参考下面的文章👇:hadoop专题: hadoop系列文章.
聊聊RabbitMq动态监听这点事
很长时间没有分享过学习心得了，看了下发布记录，最后一篇文章的时间都在2020-12-10年了，今天抽时间整理下一个很早就想整理的技术分享。顺便说句题外话，因为我一直没时间整理，再加上开发的小伙伴对Mq的理解不够，我开掉了好几个处理这个事情的开发小伙伴，所以我希望这篇文章能对大家带来一点帮助。背景说明
技术盘点：容器技术的演进路线是什么？未来有哪些想象空间？
技术盘点：容器技术的演进路线是什么？未来有哪些想象空间？
某线下水果店销售数据分析
某线下水果店销售数据分析
