Kafka（1）
kafka学习记录
Spark介绍与安装
Spark是一种基于内存的快速、通用、可扩展的大数据分析（计算）引擎。
hadoop伪分布式安装
在这个文件最后换行添加如下三行：vi /etc/profile # JDKexport JAVA_HOME=/opt/jdkexport PATH=$JAVA_HOME/bin:$PATH在这个文件最后换行添加如下三行：vi /etc/profile#HADOOPexport HADOOP_HOME
Hadoop完全分布式配置流程
要将现有的 Hadoop 伪分布式配置升级为完全分布式环境，你需要对多个配置文件进行修改，同时在多台主机上配置相应的服务。根据你的集群配置（1 个 NameNode 和 2 个 DataNode），以下是完整的配置步骤。
Spark内置函数:字符串、日期和时间函数、聚合函数、数值函数、条件判断函数、窗口函数
Spark内置函数:字符串、日期和时间函数、聚合函数、数值函数、条件判断函数、窗口函数
RabbitMQ 生产者与消费者：实现同步消息处理的全面指南
在 RabbitMQ 中，生产者和消费者通常是异步工作的，但如果您希望实现一种机制，使得生产者在发送下一条消息之前等待消费者处理完当前消息（即实现同步），可以通过以下几种方式来实现。- **信号机制**：通过使用其他 Python 线程或事件机制，您可以在消费者处理完消息后通知生产者发送下一条消息。
一文弄懂FLink状态及checkpoint源码
Flink状态源码以及checkPoint源码
【大数据技术基础 | 实验五】ZooKeeper实验：部署ZooKeeper
本实验介绍部署ZooKeeper的原理和实验步骤。部署三个节点的ZooKeeper集群，通过ZooKeeper客户端连接ZooKeeper集群，并用Shell命令练习创建目录，查询目录等。
第十二章 RabbitMQ之失败消息处理策略
Spring AMQP提供了消费者失败重试机制，在消费者出现异常时利用本地重试，而不是无限地requeue到mq。我们可以定义一个异常队列和交换机，来接收其他交换机队列转发的无法处理的异常消息。然后我们可以查看其中的异常消息并进行人工处理。重试耗尽后，直接reject，丢弃消息（默认方式）重试耗尽后
Spark-RDD-常用算子（方法）详解
Spark-RDD-常用算子大全
RabbitMQ | HAProxy - 给 RabbitMQ集群 集成负载均衡
试想一个问题：当 RabbitMQ 一个集群中有 3 个节点时，我们写代码时，因该访问哪个节点呢？当然时任意一个节点都可以~如果配置文件中写死访问的是 node1，但是 node1 挂了，不就是变相的等于 mq集群 整体不可用了吗，所以最好是有一个统一的入口，一个节点故障时，流量可以及时转移到其他节
深入理解 Kafka
Apache Kafka 是一个强大的分布式消息队列系统，具有高吞吐量、可扩展性、可靠性等优点。通过深入理解 Kafka 的核心概念、架构、工作原理、应用场景以及最佳实践，可以更好地利用 Kafka 来构建高效、可靠的分布式系统。在实际应用中，可以根据具体的业务需求和系统架构来选择合适的 Kafka
kafka判断生产者是否向kafka集群成功发送消息
要查询生产者是否成功向Kafka集群发送消息，可以通过同步发送并检查RecordMetadata对象、异步发送并检查回调结果或使用消息发送确认机制来实现。调用producer.send(record, callback)发送消息，其中record是ProducerRecord对象，callback是
kafka消息发送几种方式
有些发送异常可以通过重试几次后解决，比如网络异常，对于有些异常比如消息太大超出kafka配置的最大消息字节数，这类异常重试也会失败，所以这类异常KafkaProducer 不会进行任何重试。有没有办法既要异步发送还要能处理发送失败的场景，这就是第三种，发送完成时，执行相应的回调方法。：等待发送结果返
大数据-183 Elasticsearch - 原理剖析 - 并发冲突处理机制剖析、分布式数据一致性剖析
如果是多线程操作，就可能有多个线程并发的去执行上述的3步骤流程，假如此时有两个人都来读取商品数据，两个线程并发的服务于两个人，同时在进行商品库存数据的修改，假设库存为100件，正确的情况：线程A将库存-1，设置为99件，线程B读取99再-1，设置为98件。比如每条文档中都有一个version字段，新
大数据之Spark RDD 编程模型
大数据之Spark RDD 编程模型
ZooKeeper远程连接超时排查与解决
在使用ZooKeeper时，我们遇到了连接超时的问题。通过仔细的排查和分析，我们发现问题的根源是客户端和服务端准备时间的不一致。通过调整客户端的连接超时时间，我们最终解决了问题。这个问题的排查过程虽然比较繁琐，但却让我们学到了很多有关ZooKeeper的知识。希望通过本篇博客，能够帮助到遇到类似问题
Kafka服务端SASL/PLAIN+ACL认证授权安装操作
Kafka服务端SASL/PLAIN+ACL认证授权安装操作
Apache Kafka各Api模块说明
Kafka 5个api模块说明
RabbitMQ下载安装运行环境搭建
RabbitMQ运行环境搭建
