大数据系列教程之 Kafka基础
Kafka 是一个分布式的基于发布 / 订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。Kafka 0.9 版本以前,offset 存储在 Zookeeper,0.9 版本后,默认将 offset 存储在 Kafka 的一个内置的 topic 中。除此之外,Kafka
Hadoop集群部署-(完全分布式模式,hadoop-2.7.4)
查看网络IP,确定各个主机IP对应是否正确,并测试能否连接外网。
Springboot 实践(12)RabbitMq server 安装调试(Windows环境)
一、准备安装文件二、安装三、登录RabbitMQ
Spring Boot 中的 Redis 分布式锁
在分布式系统中,使用分布式锁是保证共享资源独占性的重要方式。Redis 分布式锁是一种基于 Redis 的分布式锁解决方案,它通过利用 Redis 的原子性操作实现锁的获取和释放,从而保证共享资源的独占性。在 Spring Boot 中,我们可以很容易地使用 Redis 分布式锁,通过 RedisT
【大数据】hadoop运行环境搭建(搭建如此简单)
首先准备好工具。下载好最新的VMware Workstation,CentorOS 7运行Linux,建议Linux桌面标准版,且创建好一个用户模板机一定要按照步骤做好准备,避免遗漏,否则一台一台改超级麻烦。搭建hadoop运行环境!!
Flink三种模式介绍&集群的搭建
Flink、Flink集群的搭建、Flink三种部署模式、会话模式、单作业模式、应用模式
RabbitMQ:可靠消息传递的强大消息中间件
RabbitMQ详细介绍
华为云云耀云服务器L实例评测|基于华为云云耀云服务器L实例搭建EMQX大规模分布式 MQTT 消息服务器场景体验
EMQX是一款国内开发的大规模分布式MQTT消息服务器,它旨在为物联网应用提供高效可靠的连接,实时处理和分发消息以及事件流数据。作为一个关键的物联网基础设施组件,EMQX为企业和开发者提供了一个强大的工具,用于构建各种规模和复杂度的物联网与云应用。EMQX的主要功能和优势包括:🍋高效可靠的连接管理
Zookeeper的使用
分布式协调框架,小型的树形结构数据共享储存系统。zookeeper的应用场景集群管理注册中心配置中心发布者将数据发布到ZooKeeper一系列节点上面,订阅者进行数据订阅,当数据有变化时,可及时得到数据的变化通知。数据的发布/订阅分布式锁分布式队列负载均衡负载均衡是通过负载均衡算法,客户端负载均衡。
【Hadoop-Distcp】工具简介及参数说明
【Hadoop-Distcp】工具简介及参数说明
zookeeper入门学习
zk体系化学习
Git 学习及 Git 的使用
git add;git commit;git rm 命令详解;Git 简介下载安装;Git 分支操作;Git 常用命令操作;Git 远程仓库操作 GitHub 尚硅谷 Git 学习笔记
RabbitMQ基础与实操复习
MQ(Message Quene) : 翻译为消息队列,通过典型的生产者和消费者模型,生产者不断向消息队列中生产消息,消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的,而且只关心消息的发送和接收,没有业务逻辑的侵入,轻松的实现系统间解耦。别名为消息中间件通过利用高效可靠的消息传递机制进行
Docker安装Hadoop分布式集群
hadoop目录安装在:/usr/local/hadoop-2.7.0/etc/hadoop。
RabbitMQ实现死信队列
RabbitMQ实现死信队列
RabbitMQ-消息中间件学习记录(what-how-why)
RabbitMQ-消息中间件学习记录(what-how-why)
helm部署rabbitmq
如果要暴露端口可修改service配置type: NodePort,可以自己指定暴露的端口。2.helm部署服务与默认rabbitmq/values.yaml修改。如果不挂载持久化磁盘可修改persistence 为false。3.helm持久指定服务器和持久化挂载部署。1.添加rabbitmq仓库
分布式应用之zookeeper集群+消息队列Kafka
Kafka 是一个分布式的基于发布/订阅模式的消息队列(MQ,Message Queue),主要应用于大数据领域的实时计算以及日志收集。
kafka2.8.1升级至3.4.0教程
kafka升级
大数据课程I3——Kafka的消息流与索引机制
比如,在成功消费一条消息后,你又把消费的offset重置到之前的某个offset位置,那么你将收到从那个offset到最新的offset之间的所有消息。想要开启这个特性,获得每个分区内的精确一次语义,也就是说没有重复,没有丢失,并且有序的语义,每个log文件默认是1GB生成一个新的Log文件,比如新