一文详细解析kafka：消费者
就可以在原先的地方进行处理。
Mac 安装ZooKeeper+kafka基本使用
ZooKeeper 为分布式系统提供了一种配置管理的服务：集中管理配置，即将全局配置信息保存在 ZooKeeper 服务中，方便进行修改和管理，省去了手动拷贝配置的过程，同时还保证了可靠和一致性。
理解 Spark 写入 API 的数据处理能力
这张图解释了 Apache Spark DataFrame 写入 API 的流程。它始于对写入数据的 API 调用，支持的格式包括 CSV、JSON 或 Parquet。流程根据选择的保存模式（追加、覆盖、忽略或报错）而分岔。每种模式执行必要的检查和操作，例如分区和数据写入处理。流程以数据的最终写入
Kafka常见面试问题
Apache Kafka是一种分布式流处理平台，它使用分布式复制协议来实现高可用性和容错性。在Kafka中，每个主题（topic）都有一个或多个分区（partition），每个分区都有一组副本（replica），其中一个是主副本（leader），其余的是从副本（follower）。主副本负责处理来自
Kafka--从Zookeeper数据理解Kafka集群工作机制
Kafka其实天生就是为了集群而生，即使单个节点运行Kafka，他其实也是作为一个集群运行的。而Kafka为了保证在各种网络抽风，服务器不稳定等复杂情况下，保证集群的高性能，高可用，高可扩展三高，做了非常多的设计。而这一章节，其实是从可见的Zookeeper注册信息为入口，理解Kafka的核心集
【Hadoop】执行start-dfs.sh启动hadoop集群时，datenode没有启动怎么办
执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的clusterID 保持不变。打开name目录
GoLong的学习之路，进阶，RabbitMQ （消息队列）
快有一周没有写博客了。前面几天正在做项目。正好，项目中需要MQ（消息队列），这里我就补充一下我对mq的理解。其实在学习java中的时候，自己也仿照RabbitMQ自己实现了一个单机的mq，但是mq其中一个特点也就是，分布式我在项目中没有涉及。这里我用go语言将RabbitMQ的操作进行一次整理。
（一）「消息队列」之 RabbitMQ 入门
想要实现两个应用程序之间的通信，我们可以借助“消息队列”技术。本文将介绍使用 C# 语言在 .NET 下实现 RabbitMQ 消息队列；当然无论是哪种编程语言或框架，要使用消息队列，都需要完成以下两个基本步骤：①下载并安装相应的消息队列服务器软件，并根据需要进行配置；②在您的应用程序代码中引入相应
hadoop的基础操作——Hadoop中创建、修改、查看、删除文件夹及文件
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。运行期通过命令也可以进入安全模式。执行hadoop jar命令，在hadoop的/apps/hadoop/share/hadoop/mapreduce路
hadoop期末复习
NameNode和SecondaryNameNode不要安装在同一台服务器。ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。1）防火墙没关闭、或者没有启动YARN2）主机名称配置错误3）IP地址配置错误4）ssh没有配置好5）
大数据处理技术Spark
一个大作业的全过程：伪分布式hadoop+pandas预处理数据+hdfs保存数据+spark从hdfs读取数据+ sparksql处理+sparkmllib处理+matplotlib可视化处理数据
【Hadoop_02】Hadoop运行模式
（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。上面这个命令的目的是运行一个 WordCount MapReduce 作业，从指定的输入路径
大数据存储技术（3）—— HBase分布式数据库及安装配置
HBase是Apache的Hadoop项目的子项目，是一个分布式的、面向列的开源数据库。本篇文章介绍HBase及其安装配置。
rabbitmq如何保证消息的可靠性
rabbitmq如何保证消息的可靠性
Kafka -- 初识
Kafka server，用来存储消息，Kafka 集群中的每一个服务器都是一个 Broker，消费者将从 broker 拉取订阅的消息 Producer 向 Kafka 发送消息，生产者会根据 topic 分发消息。最简单的方式从分区列表中轮流选择。producer 在发布消息的时候，可以为每条消
Kafka连接超时问题及解决方法
总结起来，连接超时是使用Kafka进行远程连接时常见的问题。然而，在使用Kafka进行远程连接时，有时会遇到连接超时的问题。更新Kafka版本：有时连接超时问题可能是由于Kafka本身的bug导致的。在这种情况下，可以尝试升级Kafka的版本，以修复已知的问题。在Kafka的配置文件中，有几个与连接
Kafka、SpringMVC整合例子
logger.info("=============kafka消息订阅=============");logger.info("=============kafka消息订阅=============");//检查result结果集。logger.info("-----------------kafk
RabbitMQ 的七种消息传递形式
RabbitMQ 的七种消息传递形式
MQ - KAFKA 高级篇
网卡/磁盘等都可以认为是DMA设备,是一个半自治单元,比如网卡有它自己的运算单元(相当于特异化的cpu)和自己的缓存,网卡接收和发送数据时是不需要cpu的全程参与的,磁盘也是类似的.简单来讲就是dma设备就是cpu领导下的一个不太聪明的小弟,cpu负责指挥小弟去干活,但干活的过程中是不需要cpu参与
Hadoop的启动和停止命令
hadoop命令集
