Flink系列之Flink中StateBackend深入剖析和应用
Flink系列之Flink中StateBackend深入剖析和应用
ZooKeeper【集群模式】
ZooKeeper集群配置信息、选举机制以及群起脚本
RabbitMQ--基础--8.1--消息确认机制--接受确认机制(ACK)
为了避免这种情况发生，我们可以要求消费者在消费完消息后发送一个回执给RabbitMQ，RabbitMQ收到消息回执(Message acknowledgment)后才将该消息从Queue中移除。如果我们的开发人员在处理完业务逻辑后，忘记发送回执给RabbitMQ，这将会导致严重的问题，Queue中堆
大数据工程专业技术证书考试-数据分析与应用
数据分析与应用根据大纲整理
rabbitmq消息追踪
一旦开启，会影响性能，除非需要分析的时候才开启，否则不开启可通过管理界面查看分析，其实底层就是firehose，只不过可以用界面查看更方便进入rabbitmq的sbin文件夹。我的目录为D:\Program Files\RabbitMQ Server\rabbitmq_server-3.8.5\sb
Kafka中offset的相关操作
offset用于记录消息消费的进度，主要有以下几种，Current offset，Committed offsets，LogEndOffset
[spark]spark资源分配
(1*4即4个节点共4个executor)*4=16，总cpu为32线程 8/16=1/2。每个executor内存数=该节点可用的总内存数/该节点executor数=16G/1=19G(这里因为executor num实在太小，所以随便选了16)但是一般cpu:内存=1:2-1:4，阿里云封装的时
一百一十三、DBeaver——从hive同步数据到clickhouse
DBeaver——从hive同步数据到clickhouse
Kafka传输数据到Spark Streaming通过编写程序java、scala程序实现操作
编写生产者代码// 此处配置的是kafka的端口 props . put("metadata.broker.list" , "localhost:9092");// 配置value的序列化类 props . put("serializer.class" , "kafka.serializer.Str
Flink作业任务的9种状态简单介绍
当创建一个Flink任务后，该任务可能会经历多种状态。目前Flink给任务共定义了9种状态，包括：`Created`，`Running`，`Finished`，`Cancelling`，`Canceled`，`Restarting`，`Failing`，`Failed`，`Suspended`。
SpringBoot整合ZooKeeper完整教程
zookeeper是为分布式应用程序提供的高性能协调服务。zookeeper将命名、配置管理、同步和组服务等常用服务公开在一个简单的接口中，因此用户无需从头开始编写这些服务。可以使用它来实现共识、组管理、领导者选举和存在协议。还可以在此基础上满足自己的特定需求。zookeeper官网zookeepe
CVE-2023-25194漏洞 Apache Kafka Connect JNDI注入漏洞
CVE-2023-25194漏洞
服务无法注册进Eureka
相同的配置，在demo里能注册，在自己项目的无法注册，眼睛都快盯出老花眼了，还是不行，果然出现的问题只有在发现问题以后才觉得简单（虽然确实是小问题，但是排查了一整天，值得记录一下）：一开始的时候添加注解maven自动导入eureka-client的版本为2.2.4.RELEASE，后来把versio
Hbase与MySQL对比，区别是什么？
在数据库管理系统领域，MySQL和HBase是两个最受欢迎的选择。MySQL是传统的关系数据库管理系统，而HBase是专门为大数据应用程序设计的NoSQL，面向列的数据库系统。在本文中，我们将探讨这两个数据库管理系统在架构、数据模型、可伸缩性、查询语言和用例方面的差异。MySQL是基于的开源关系数据
大数据开发之windows安装hadoop教程
本文主要介绍如何在windows上安装hadoop
Hive ---- 文件格式和压缩
为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。
4、Zookeeper分布式安装部署
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。（1）重命名/opt/module/zookeeper/conf这个目录下的zoo_s
Java实现Kafka消费者及消息异步回调方式
Java实现Kafka消费者及消息异步回调方式
如何解决RabbitMQ中的延迟消息问题
首先我们要知道什么是死信？一般呢？一旦消息变成死信是会被我们丢弃的，但是有了死信交换机就不一样了。如果这个包含死信的队列配置了dead-letter-exchange属性，指定了一个交换机，那么队列中的死信就会投递到这个交换机中，而这个交换机称为死信交换机（Dead Letter Exchange，
Hadoop
CentOS下Hadoop的安装和配置，有问题欢迎大家评论区交流！！！
