Kafka数据丢失原因及解决方案
Producer端、Broker端、Consumer端丢失数据及解决方法
DataX的使用与介绍(1)
一、什么是DataX?DataX是阿里云商用产品DataWorks数据集成的开源版本,它是一个异构数据源的离线数据同步工具/平台(ETL工具)。DataX实现了包括Mysql,Oracle、OceanBase、Sqlserver,Postgre、HDFS、Hive、ADS、HBase、TableSt
C币下载C币下载
截至13日沧州volte质差小区共计84个,占比为0.67%(较上周减少11个),其中低接入小区45个,高掉话小区20个,空口上行高丢包小区12个,空口下行高丢包小区8个;截至13日沧州volte质差小区共计84个,占比为0.67%(较上周减少11个),其中低接入小区45个,高掉话小区20个,空口上
学会RabbitMQ的延迟队列,提高消息处理效率
延迟队列指的是当我们将消息发送到RabbitMQ时,可以指定消息的有效期或者消息需要在未来某个时间点才能被消费。这种消息被称为“延迟消息”。
rabbitmq:retry重试机制和延迟消息的实现
rabbitmq重试机制 retry和死信队列实现延迟消息
Hadoop-YARN介绍
yarn介绍
Hadoop生态漏洞修复记录
Hadoop、zookeeper、hive漏洞修复
Kafka的零拷贝
在使用mmap时,操作系统会自动将文件的某些部分或者整个文件的内容映射到内存中,而这些映射的内存区域可以被当作普通的内存指针来访问,从而实现对文件内容的访问。零拷贝就是把这两次多余的拷贝省略掉,应用程序可以直接把磁盘中的数据从内核中直接传输给Socket,而不再需要经过应用程序所在的用户空间,所以零
基于 Docker 搭建 Hadoop 分布式及 Docker 基本操作使用
Docker的基础操作
log4j漏洞详解
JNDI(Java Naming and Directory Interface,Java命名和目录接口)是SUN公司提供的一种标准的Java命名系统接口,JNDI提供统一的客户端API,通过不同的访问提供者接口JNDI服务供应接口(SPI)的实现,举个例子:它就相当于的你的一个秘书,用了一些手段,
用了这么久rabbitmq,你还不知道它的目录结构吗?
用了这么久rabbitmq,你还不知道它的目录结构吗?
分布式数据库HBase,它到底是怎么组成的?
大数据的核心问题无非就是存储和计算这两个。Hadoop中的HDFS解决了数据存储的问题,而HBase就是在HDFS上构建,因此Hbase既能解决大数据存储的问题,又能解决数据实时查询的问题。
Kafka发送数据的三种模式
在kafka-0.8.2之后,producer不再区分同步(sync)和异步方式(async),所有的请求以异步方式发送,这样提升了客户端效率。本文分享自华为云社区《kafka消息发送模式》,作者:dayu_dls。在kafka-0.8.2之后,producer不再区分同步(sync)和异步方式(a
Nginx、Kong、Apisix、Gateway网关比较
Apache APISIX基于 nginx(openresty)和 Lua 实现的一款国产软件,是一个动态、实时、高性能的云原生API网关,提供了负载均衡、动态上游、灰度发布、服务熔断、身份认证、可观测性等丰富的流量管理功能。Filter可以对请求和响应进行处理。API网关为微服务架构的系统提供简单
【异常解决】The coordinator is not available
CoordinatorNotAvailableException: The coordinator is not available异常解决
【集群】脑裂是什么?Zookeeper是如何解决的?
脑裂(split-brain)就是“大脑分裂”,也就是本来一个“大脑”被拆分了两个或多个“大脑”,我们都知道,如果一个人有多个大脑,并且相互独立的话,那么会导致人体“手舞足蹈”,“不听使唤”。脑裂通常会出现在集群环境中,比如ElasticSearch、Zookeeper集群,而这些集群环境有一个统一
Kafka 介绍
常见的消息队列有 activemq ,rabbitmq, rocketmq;消息队列常用于 两个系统之间的 数据传递;分布式消息传递基于可靠的消息队列,在客户端应用和消息系统之间异步传递消息。有两种主要的 消息传递模式: 点对点传递模式、发布- 订阅模式。大部分的消息系统选用发布-订阅模式。kafk
Kafka - AR 、ISR、OSR,以及HW和LEO之间的关系
如果ISR太小,那么当主副本故障时,选举新的主副本可能会导致数据丢失或延迟;如果ISR太大,那么同步数据的成本会变得很高,影响分区的性能。当消费者从分区中读取消息时,它会记录当前已经读取到的偏移量,并将该偏移量作为下一次读取的起始位置。如果消费者读取到的偏移量小于HW,那么它只能读取到已经被所有副本
rabbitMq怎么查看队列消息-Tracing日志
Trace 是Rabbitmq用于记录每一次发送的消息,方便使用Rabbitmq的开发者调试、排错。1、启动Tracing插件在RabbitMQ中默认是关闭的,需手动开启。此处rabbitMQ是使用docker部署的## 进入rabbitMq中docker exec -it rabbitmq1 ba
【分布式流控组件 Sentinel 快速入门】——图文详解操作流程
Sentinel是阿里巴巴开源的分布式系统的流量控制组件,旨在保护分布式系统在高并发和故障情况下的稳定性。它提供了实时的流量控制、熔断降级、系统负载保护等功能,是微服务架构中不可或缺的一环。希望本篇博客能够带你一步一步完成Sentinel的入门,从而在微服务架构中有效地保护系统的稳定性和可用性。