RabbitMQ消费者的可靠性
RabbitMQ提供了消费者确认机制（Consumer Acknowledgement）。即：当消费者处理消息结束后，应该向RabbitMQ发送一个回执，告知RabbitMQ自己消息处理状态。回执有三种可选值：ack：成功处理消息，RabbitMQ从队列中删除该消息nack：消息处理失败，Rabbi
从零开始搭建hadoop集群（一）虚拟机Vmware的下载安装和CentOS的下载安装（最新版）
史上巨详细了，没有跳过一张图，两个安装一共39张图。此外，附有CentOS的镜像文件百度网盘和VMware的官网安装地址。
zookeeper源码(02)源码编译启动及idea导入
本文将详细介绍zookeeper源码下载、编译及本地启动，使用3.9.0版本
【大数据】什么是Flink？Flink能用来做什么？
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时
RabbitMQ 消息中间件 消息队列
RabbiMQ是⽤Erang开发的，集群⾮常⽅便，因为Erlang天⽣就是⼀⻔分布式语⾔，但其本身并不⽀持负载均衡。支持高并发，支持可扩展。支持AJAX，持久化，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。 MQ 全称为Message Queue,。是一
kafka日志文件详解及生产常见问题总结
日志文件是kafka根目录下的config/server.properties文件，配置log.dirs=/usr/local/kafka/kafka-logs，kafka一部分数据包含当前Broker节点的消息数据(在Kafka中称为Log日志)，称为无状态数据，另外一部分存在zookeeper上
Kafka的重要组件，谈谈流处理引擎Kafka Stream
今天我们学了一些关于Kafka Stream的内容太，知道了它是一种流处理引擎，可以消费Kafka中的数据，进行处理后，还能其转换为输出流。它特点在于不需要额外征用集群资源、易于使用、支持丰富的转换操作。使用场景包括实时数据分析、实时预测等
【Spark】配置参数关系-重要
eg：资源配置10个Executor节点，每个节点2个Core，那么同一时间可以并行计算的task数为20，如果RDD有2个分区，那么计算时只使用2个Core，其余18个Core空转，浪费资源，每个Executor中的一个Core（线程，虚拟核数）同时只能执行一个Task，所以Spark调优中会通过
RabbitMQ中的Routing Key是什么？它的作用是什么？
接下来，我们声明了一个名为"my_exchange"的交换机，并设置交换机的类型为"direct"，表示使用Routing Key进行消息路由。然后，我们声明了两个队列，分别是"my_queue_1"和"my_queue_2"。在RabbitMQ中，Exchange（交换机）负责接收来自生产者的消息
Kafka生产者示例：发送JSON数据到Kafka Topic
Kafka生产者示例：发送JSON数据到Kafka TopicKafka是一个高性能、分布式的流处理平台，广泛应用于大数据领域。本文将深入浅出地介绍如何使用Kafka生产者发送JSON数据到Kafka Topic，并附带相应的源代码。
ELK + kafka 日志方案
本文介绍使用ELK（elasticsearch、logstash、kibana） + kafka来搭建一个日志系统。主要演示使用spring aop进行日志收集，然后通过kafka将日志发送给logstash，logstash再将日志写入elasticsearch，这样elasticsearch就有
大数据——技术生态体系
SparkR 是 Apache Spark 生态系统中的一个项目，它提供了一个接口，允许 R 语言用户利用 Spark 的分布式计算能力来进行数据分析和处理。：Spark SQL 可以与其他 Spark 组件（如Spark Streaming、Spark MLlib等）集成，使用户能够在一个统一的
RabbitMQ (4)
本文主要内容 ： rabbitmq 死信队列
Kafka——配置文件详解
【代码】Kafka——配置文件详解。
Hadoop集成Kerberos安全服务器
公司里要给Hadoop配置Kerberos，记录一下过程中遇到的问题。
Kafka的安装与配置
由于Kafka是用Scala语言开发的，运行在JVM上，因此在安装Kafka之前需要先安装JDK。
分布式集群——搭建Hadoop环境以及相关的Hadoop介绍
本文主要介绍hadoop的相关概念以及在Linux上面配置Hadoop的具体操作。镜像文件实际是存放的目录结构、文件属性等相关信息，是NameNode中关于 元数据的镜像。它是在NameNode启动时对整个文件系统的快照。edits：编辑日志文件,记录对文件或者目录的修改信息，比如删除目录，修改文件
kafka 的 ack 的三种机制
这些不同的确认机制可以根据应用程序的需求进行选择。如果对延迟非常敏感，可以选择acks=0，但要注意可能会丢失消息。如果对可靠性要求非常高，可以选择acks=all，但延迟可能会增加。acks=1通常是一种折中选择，提供了一定的可靠性而不会引入太多的延迟。Kafka的消息确认（acknowledgm
分布式内存计算Spark环境部署与分布式内存计算Flink环境部署
Spark是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。Spark在大数据体系是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。在大数据领域广泛应用，是目前世界上使用最多的大数据分布式计算引擎。我们将基于前面构建的Hadoop集群，部署Spark Standalone集群。
RabbitMQ 消费者
消费者就是针对某个队列进行消息监听和消息消费的。消费者消费消息存在拉模式和推模式，推模式的是使用场景相对比较多。为确保消息被合法的消费，RabbitMQ提供了消费确认机制，投递的消息并不能被理解完成了消费，仅消费者确认消费该消息才会被移除队列。默认的消息投递机制时轮询，轮询的消息分发并会关系消费者的
