Kafka-副本数量设置
ISR 机制的另外一个相关参数是, 可以在 broker 或者主题级别进行配置，代表 ISR 列表中至少要有几个可用副本。这里假设设置为 2，那么当可用副本数量小于该值时，就认为整个分区处于不可用状态。此时客户端再向分区写入数据时候就会抛出异常。
java后端工程师八股文合集
首先要确定数据库中哪些查询是慢的，哪些查询最需要优化。可以通过监控数据库的CPU、磁盘I/O、网络I/O、缓存等指标来确定性能瓶颈。：如果查询语句本身存在问题，例如使用了不必要的子查询、重复的连接操作等，就需要对查询语句进行优化。：索引是提高查询性能的关键因素之一。可以通过创建、修改、删除索引来优化
【flink】Chunk splitting has encountered exception
【代码】【flink】Chunk splitting has encountered exception。
RabbitMQ之交换机
Fanout 这种类型非常简单。正如从名称中猜到的那样，它是将接受到的所有消息广播到它知道的所有队列中。系统中默认有些 exchange 类型我们的日志系统将所有消息广播给所有消费者，对此我们想做出一些改变，例如我们希望将日志消息写入磁盘的程序仅接受严重错误（errors），而不存储那些警告（war
解决Hadoop审计日志hdfs-audit.log过大的问题
新搭建的Hadoop环境没怎么用，就一个环境天天空跑，结果今天运维告诉我说有一台服务器磁盘超过80%了，真是太奇怪了，平台上就跑了几个spark测试程序，哪来的数据呢？终于发现在Hadoop的日志目录下，有一堆hdfs-audit.log日志，并且每个都有好几百M，删除之后，跟目录瞬间从81%减低到
RabbitMQ快速入门
……导入依赖：发送消息模块：接收消息模块：发送消息：接收消息：Fanout类型的交换机：发送消息：接收消息：Topic类型的交换机：发送消息：接收消息：总结：Topic类型的交换机也是消息一对多的一种交换机类型，它和fanout都能实现一个消息同时发送给多个队列；fanout更适用于使用在一个功能不
安装RabbitMQ 详细步骤
我这里是在Linux系统里面安装的按照步骤即可。
Kafka如何解决消息丢失的问题
在以上这三步中每一步都可能会出现丢失数据的情况， 那么 Kafka 到底在什么情况下才能保证消息不丢失呢？
RabbitMQ如何避免丢失消息
镜像集群模式通过从主节点拷贝消息的方式使所有节点都能保留一份数据，一旦主节点崩溃，备节点就能完成替换从而继续对外提供服务。这解决了节点宕机带来的困扰，提高了服务稳定性，但是它并不能实现负载均衡，因为每个操作都要在所有节点做一遍，这无疑降低了系统性能。再者当消息大量入队时，集群内部的网络带宽会因此时的
Linux环境如何彻底卸载感干净RabbitMQ
总共就两步。
Liunx中部署Kettle集群
kettle
数据仓库建设-数仓分层
数据仓库能够帮助企业做出更好的决策，提高业务效率和效益；在数据仓库建设时，绕不开的话题就是数仓分层。
zookeeper和kafka
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用
docker中快速安装Kafka(单节点)
docker中快速安装Kafka_单节点
大数据bug-sqoop（二：sqoop同步mysql数据到hive进行字段限制。）
query “${sql}” \ 这个参数添加对应表的sql语句。注意结尾必须添加 $CONDITIONS ，必须添加where 条件，如果没有where条件，写成where 1=1。–split-by ${split} \ 这个参数是切分数据的分割字段，一般来讲是mysql的主键。–t
MySQL实现数据炸裂拆分(类似Hive的explode函数的拆分数组功能)
在Hive中，"explode"函数用于将数组类型的列拆分为多行，以便对数组中的每个元素进行处理。然而，在MySQL中，并没有直接的类似功能。但是，我们可以使用一些技巧来模拟这个功能，实现在MySQL中拆分数组并进行查询的操作。本文将介绍如何在MySQL中实现类似Hive的"explode"函数的拆
【大数据Hive】hive 加载数据常用方案使用详解
hive 加载数据常用方案使用详解
Hive与ClickHouse的区别
Hive与ClickHouse的区别
kafka启动、状态监控、日常操作
kafka启动、状态监控、日常操作
【消息中心】kafka消费失败重试10次的问题
Kafka消费失败重试10次的问题通常可以通过配置Kafka消费者来调整。在Kafka中，可以通过设置max.poll.interval.ms、fetch.min.bytes、fetch.max.bytes、fetch.max.wait.ms等参数来控制消费者的拉取消息的行为。
