spark 数据序列化和内存调优（翻译）
由于大多数Spark计算的内存性质，Spark程序可能会被集群中的任何资源瓶颈：CPU、网络带宽或内存。大多数情况下，如果数据能放在内存，瓶颈是网络带宽，但有时，您还需要进行一些调整，例如以序列化形式存储RDD，以减少内存使用。本指南将涵盖两个主要主题：数据序列化，这对良好的网络性能至关重要，也可以
kafka如何保证消息顺序性?
kafka架构如下：Kafka 保证消息顺序性的关键在于其分区（Partition）机制。在 Kafka 中，每个主题（Topic）可以被分割成多个分区，消息被追加到每个分区中，并且在每个分区内部，消息是有序的。但是，Kafka 只保证单个分区内的消息顺序，而不保证跨分区的消息顺序。
Spark Streaming 计算窗口的理解
spark streaming 窗口操作
03-快速上手RabbitMQ的5种消息模型
03-快速上手RabbitMQ的5种消息模型
已解决org.apache.zookeeper.KeeperException异常的正确解决方法，亲测有效！！！
已解决org.apache.zookeeper.KeeperException异常的正确解决方法，亲测有效！！！
什么是RabbitMQ的死信队列
当消息变成死信之后，如果配置了死信队列，它将被发送到死信交换机，死信交换机将死信投递到一个队列上，这个队列就是死信队列。1.消息处理失败：当消费者由于代码错误，消息格式不正确，业务规则冲突等原因无法成功处理一条消息时候，这条消息可以被标记为死信。4.消息无法路由：当消息不能被路由到任何队列时，例如，
Zookeeper的数据备份与恢复策略
1.背景介绍1. 背景介绍Apache Zookeeper是一个开源的分布式协调服务，用于构建分布式应用程序。它提供了一种可靠的、高性能的数据存储和同步机制，以实现分布式应用程序的一致性和可用性。在分布式系统中，Zookeeper被广泛应用于协调服务、配置管理、集群管理、分布式锁、选主等功能。数据备
Kafka的使用（Windows中）
在（第三个窗口）中输入.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_test001然后回车。在第三个命令窗口
大数据技术Hadoop小白教程（一）——Hadoop概述及环境配置
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。它基于Google的MapReduce和Google文件系统（GFS）的概念，并且能够在廉价的硬件上运行。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和Hadoop YARN（Yet Another Res
在Hadoop设置中输入jps没有出现namenode和datanode
可能是多次格式化NameNode后未删除相关文件，需要检查在hadoop中查看hdfs-site.xml和core-site.xml配置文件，确认其中的相关配置项是否正确设置，查看目录路径，然后删除相关文件。
hadoop分布式环境搭建
(hadoop、jdk文件链接：https://pan.baidu.com/s/1wal1CSF1oO2h4dkSbceODg 提取码：4zra)前四步可参考。
修复zookeeper未授权访问漏洞
【代码】修复zookeeper未授权访问漏洞。
RabbitMQ-5.消费者的可靠性
例如我们当前案例中，处理消息的业务逻辑是把订单状态从未支付修改为已支付。我们在用户支付成功后会发送MQ消息到交易服务，修改订单状态为已支付，就可能出现消息重复投递的情况。不过需要注意的是，交易服务并不知道用户会在什么时候支付，如果查询的时机不正确（比如查询的时候用户正在支付中），可能查询到的支付状态
Kafka 3.x（上）
线性增长的、不可变的提交日志消息Record 以键值对的形式进行存储：如果key不指定则默认为空#，此时生产者会以轮询的方式把消息写到不同的队列中。有key的话生产者借助于分区器来分区，key同分区同。
Kafka重复消费、Dubbo重复调用问题排查
本业务为车机流量充值业务，大致流程为：收到微信、支付宝端用户支付成功回调后，将用户订单信息发送至kafka中；消费者接收到kafka中信息后进行解析，处理用户订单信息，为用户订购相关流量包（调用电信相关接口），订购成功/失败后会通过MQTT发送订购成功/失败消息至车机端，若订购失败则为用户退款。
分布式微服务 - 2.服务注册 - 2.Eureka
介绍微服务中的eureka框架。
RabbitMQ详细讲解
虽然并行已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响，客户端没有必要等着其发送完成才显示注册成功,应该是写入数据库后就返回.由此可以看出,引入消息队列后，用户的响应时间就等于写入数据库的时间+写入消息队列的时间(可以忽略不计),引入消息队列后处理后,响应时间是串行的3
Kafka生产者相关概念
启用幂等性，即在Producer的参数中设置enable.idempotence=true即可，Kafka的幂等性实现实际是将之前的去重操作放在了数据上游来做，开启幂等性的Producer在初始化的时候会被分配一个PID，发往同一个Partition的消息会附带Sequence Number，而Br
kafka知识补充
kafka知识补充
rabbitmq
RabbitMQ是Erlang语言开发的基于AMQP的一款消息中间件，核心思想是生产者不会将消息直接发送给队列，消息在发送给客户端时先发送给交换机，然后由交换机转发给对应的队列。对路由(Routing)，负载均衡(Load balance)、数据持久化都有很好的支持。它里边有5种数据传递方式第一种是
