spark介绍之spark streaming
spark streaming详细介绍
springboot logback整合kafka实现日志写入
springboot + logback + kafka实现日志写入
探究Kafka原理-1.初识Kafka
Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统，现已捐献给 Apache 软件基金会。其具有高吞吐、低延迟的特性，许多大数据实时流式处理系统比如Storm、Spark、Flink 等都能很好地与之集成。kafka简单的说就是一个消
Kafka 的简介与架构
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一
分布式消息流处理平台kafka(一)-kafka单机、集群环境搭建流程及使用入门
自带了zookeeper服务， 不需要额外搭建zookeeper集群服务，如果不想使用也可以使用自己搭建的zookeeper集群。下面主要介绍如何使用自带了zookeeper服务来搭建zookeeper集群主要就是修改$KAFKA_HOME/config/zookeeper.properties,
Kafka如何避免消息丢失？
为了避免出现消息丢失从而造成巨大的损失，有如下方法可以最大限度避免消息的丢失在避免出现消息丢失情况出现之前，首先要知道kafka消息发送和接收过程，才能更加清楚的知道消息丢失的原因，从而避免。
深入浅出理解kafka ---- 万字总结
深入浅出理解kafka ---- 万字总结
Kafka、RocketMQ、RabbitMQ的比较总结Kafka、RocketMQ、RabbitMQ的比较总结
【精选】Kafka、RocketMQ、RabbitMQ的比较总结_kafka rabbitmq rocketmq_【江湖】三津的博客-CSDN博客
Spring Boot 集成Kafka简单应用
Spring Boot 集成Kafka简单应用
Kafka的监控和报警机制
的报警响应可以根据报警的严重程度和紧急程度来配置，包括自动恢复、手动处理和通知相关人员。根据监控指标的重要性和影响程度来设置报警级别，以便及时响应和处理重要的报警。的报警规则可以根据监控指标的阈值来配置，当监控指标超过阈值时触发报警。集群的运行状态和性能指标，并设置相应的报警规则和报警方式。内存使用
Kafka+redis分布式锁结合使用心得总结
detectionRuleBo.getLogText().append(StrUtil.format("{}-获取锁失败;//加锁后执行前判断是否已经处理过kafka中相同位置的信息了。//加锁 associatedKey()//锁的时间 根据业务需要进行调整。
Kafka 入门到起飞 - Kafka怎么做到保障消息不会重复消费的？ 消费者组是什么？
如果上面结构还不够，两个消费者消费速度依然跟不上，那么我们还可以继续添加消费者，添加到4个消费者，此时主题分区与消费者的关系再次发生变化，需要再平衡，此时一个消费者消费一个分区消息，达到并行消费的效果。如上图，当前只有一个消费者组订阅这个Topic，消费者组里只有一个消费者，那么当前Topic中所有
kafka-消息丢失处理方案
1）首先当 Producer 向 Broker 发送数据后，会进行 commit，如果 commit 成功，由于 Replica 副本机制的存在，则意味着消息不会丢失，但是 Producer 发送数据给 Broker 后，遇到网络问题而造成通信中断，那么 Producer 就无法准确判断该消息是否已
Kafka消费异常处理策略及重试机制
在Kafka消费过程中，异常处理和重试机制是确保消息可靠消费的重要组成部分。通过合理的异常处理策略和重试机制，我们可以提高消费者的容错性和稳定性。在实际应用中，可以根据具体业务需求和系统情况选择适合的处理方式，并进行合理的监控和报警，以确保及时发现和解决异常情况。可以使用监控工具，如Promethe
Kafka-Java四：Spring配置Kafka消费者提交Offset的策略
Spring配置Kafka消费者提交offset的策略
40、Flink 的Apache Kafka connector（kafka source的介绍及使用示例）-1
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性1
Flume 整合 Kafka
以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计，具有高吞
【SpringBoot系列】SpringBoot整合Kafka(含源码)
在现代的微服务架构中，消息队列已经成为了一个不可或缺的组件。它能够帮助我们在不同的服务之间传递消息，并且能够确保这些消息不会丢失。在众多的消息队列中，Kafka 是一个非常出色的选择。它能够处理大量的实时数据，并且提供了强大的持久化能力。在本文中，我们将会探讨如何在 SpringBoot 中整合 K
IDEA中运行Dinky0.7.5之KAFKA数据源调试问题解决过程
IDEA中运行Dinky0.7.5之KAFKA数据源调试问题解决过程java.lang.ClassCastException: cannot assign instance of org.apache.kafka.clients.consumer.OffsetResetStrategytoorg.a
kafka的 ack 应答机制
replica） 就是 Kafka 为某个分区维护的一组同步集合，即每个分区都有自己的一个 ISR 集合，处于 ISR 集合中的副本，意味着 follower 副本与 leader 副本保持同步状态，只有处于 ISR 集合中的副本才有资格被选举为 leader。partition的leader落盘成
