Kafka中的 ISR 机制
ISR 机制的存在是 kafka 为了平衡可靠性和可用性，不指定提供高可靠或者高可用的服务，而是将决定权交给了使用者，让使用者通过参数来控制，到底要实现什么程度的高可靠与高可用。
大数据基础知识
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。灵活的可扩展性灵活的数据模型与云计算紧密融合现在已经有很多公司使用了NoSQL数据库：GoogleFacebookMozillaAdobeFoursquareLinkedInDigg百度、腾讯、阿里、新浪、华为……Spa
Flink 检查点配置
当有界数据 , 部分Task 完成 , Flink 1.14 后 , 它们依然能进行检查点。检查点存储 (CheckpointStorage) : 持久化存储位置。Rocksdb 状态后端 : 启用增量 checkpoint。
Seatunnel 2.1.3 源码打包、编译运行
记录一下：Seatunnel源码修改之后，本地编译打包执行，中间遇到的问题。
kafka消费报错卡死：内存溢出OutOfMemoryError: Java heap space
【代码】kafka消费报错卡死：内存溢出OutOfMemoryError: Java heap space。
Flink 火焰图
Flink 作业动态参数里增加配置：“rest.flamegraph.enabled”: “true” 并重启作业。当前该功能没有默认开启，因为这个功能使用时对性能有少量损耗，特别是对于并行度比较大的作业。第五步 在 Flink WebUI JM/TM 的 Log List 页面中找到火焰图文件并下
干货 | 成本低误差小，携程基于 Kafka 的 Serverless 延迟队列的实践
作者简介Pin，关注 RPC、Service Mesh、Serverless 等云原生技术。一、背景随着上云项目的不断推进，大量的应用需要部署到 aws 上，其中有很多应用都依赖延迟队列的功能。而在aws上，我们选择以 Kafka 作为消息队列，但是 Kafka 本身不支持延迟队列，这就需要思考如何
【RabbitMQ】golang客户端教程3——发布订阅(使用fanout交换器)
一方面，它接收来自生产者的消息，另一方面，将它们推入队列。在我们的日志系统中，每一个运行的接收器程序副本都会收到消息。在这一部分中，我们将做一些完全不同的事情——我们将向多个消费者传递一个消息。首先，当我们连接到Rabbit时，我们需要一个新的、空的队列。为此，我们可以创建一个随机名称的队列，或者更
ZooKeeper特性与节点数据类型详解
ZooKeeper特性与节点数据类型详解
hive数据的导入导出
1. TextFile：使用TextFile格式存储的表将数据以文本文件的形式进行存储。这是最常用的默认存储格式。2. SequenceFile：使用SequenceFile格式存储的表将数据以键-值对的形式存储，适用于数据压缩和高效读取。3. ORC（Optimized Row Colum
kafka第一课-Kafka快速实战以及基本原理详解
1、Topic是一个逻辑概念，Producer和Consumer通过Topic进行业务沟通。 2、Topic并不存储数据，Topic下的数据分为多组Partition，尽量平均的分散到各个Broker上。每组Partition包含Topic下一部分的消息。每组Partition包含一个Lead
liunx服务器安装kafka
要启动 ZooKeeper，您需要一个配置文件。下载文件名含bin的压缩包，要不然启动报错。，官网包下载地址，具体命令操作参考官网。查看kafka 支持的最低jdk版本。下载对应 的zookeeper 版本，：下载kafka src 源文件。具体的jdk版本 看kafka。) ，解压打开相对路径的
Python连接Hive实例教程
1 经在网络查询相关的教程，发现有好多的方式，发现连接底层用的的驱动基本都是pyhive和pyhs2两种第三方库的来连接的 hive,下面将简介连接hive的驱动程序方式，开发工具：pycharm ，经过测试已成功，分享给大家，有什么问题，可私信与我。
使用RabbitMQ时：Failed to declare queue(s):[XXX]
使用RabbitMQ时，遇到的问题
SpringBoot整合RabbitMQ（基础）
x显而易见：与发布订阅模式不同的是，此模式需要将交换机与队列通过routingKey绑定，并且生产者可以通过指定routingKey,可以将消息发送到指定队列中。可以看到：与路由模式不同的是topic支持通配符模式的路由key；特别的是"*“只能代替一个单词；可以看到两个消费之都接收了生产者所有的消
Spark 图计算ONEID 进阶版
Oneid的生成
微服务 Eureka
Eureka是Netflix开源的一个用于构建基于微服务架构的服务发现和注册中心技术。在微服务架构中，系统被拆分成多个小型、自治的服务，每个服务负责特定的业务功能。这些服务需要能够相互发现和通信，这就是Eureka所提供的功能。Eureka主要包括两个角色：Eureka Server和Eureka
RabbitMQ --- 消息可靠性
消息从发送，到消费者接收，会经理多个过程：其中的每一步都可能导致消息丢失
springboot集成kafka详细步骤（发送及监听消息示例）
springboot java kafka
HDFS写流程源码分析（一）-客户端
环境为hadoop 3.1.3。
