使用docker安装分布式hadoop(阿里hadoop镜像)
前面使用了docker自带的镜像安装,那么这篇使用阿里镜像搭建hadoop集群,也参考了网上部分播客,但是多多少少有问题,我这篇播客是全部经过实践测试成功跑起来的。
4.kafka消费者源码初探
kafka消费者源码初探
Ubuntu18.04中Hadoop3.1.3安装教程(单机/伪分布式配置)
Ubuntu18.04中Hadoop3.1.3安装教程(单机/伪分布式配置)
flowable6.8.0正式发布了
flowable6.8.0正式发布了
5 分钟读懂开源服务框架 Dubbo 及其最新规划
Apache Dubbo 是一款微服务开发框架,它帮助解决微服务开发中的通信问题,同时为构建企业级微服务的提供服务治理能力,Dubbo 不绑定编程语言,我们的目标是为所有主流语言提供对等的微服务开发体验。
flink 的 State
首先State是flink中的一个非常基本且重要的概念,本文将介绍什么是State ,如何使用State,State的存储和原理。以及State衍生的一些概念和应用。
第2关:伪分布式体验及分布式安装配置
第2关:伪分布式体验及分布式安装配置ZooKeeper之分布式环境搭建
K8s安装RabbitMq以及基本使用
rabbitmq属于有状态的服务,即每个服务上存储的内容都不一样,对于有状态的服务,k8s推荐我们使用StatefulSet控制器。rabbitmq中的部分信息需要持久化,持久化内容使用nfs进行存储,并使用storageclass动态分配pv。......
Kafka 架构和原理机制 (图文全面详解)
图文详解 Kafka ,一文了解掌握 Kafka 的架构、原理、特性、应用场景、以及 Zookeeper 在 Kafka 中的作用。
kafka笔记
分区应答,回复成功,则清除sender发送的数据以及分区器队列中的数据,失败则重试(次数不限)。原因说明:因为在kafka1.x以后,启用幂等后,kafka服务端会缓存producer发来的最近5个request的元数据,故无论如何,都可以保证最近5个request的数据都是有序的。有指定分区,按指
Kafka 安装及基本入门
Kafka 是一个开源的分布式消息引擎/消息中间件,同时Kafka也是一个流处理平台。Kakfa 支持以发布/订阅的方式在应用间传递消息,同时并基于消息功能添加了 Kafka Connect、Kafka Streams 以支持连接其他系统的数据源,如 ES、Hadoop 等。Kafka 最核心的最成
和 chatgpt 聊了一会儿分布式锁 redis/zookeeper distributed lock
感觉聊的差不多了,我们让 chatGPT 出一个对比的表格。特点RedisZooKeeper数据结构Redis使用字符串数据类型存储锁信息ZooKeeper使用ZNode节点存储锁信息实现方式Redis使用单节点或者Redis集群实现分布式锁ZooKeeper使用ZooKeeper集群实现分布式锁性
安装RabbitMQ出现Plugin configuration unchanged.问题
安装RabbitMQ出现Plugin configuration unchanged.问题的解决方法
springboot kafka 实现延时队列
延时队列的技术实现方案有:redis延时队列,Kafka延时队列,rabbit延时队列,Kafka延时队列等本文章springboot kafka 实现延时队列,使用Kafka消费者的pause函数(暂停)和resume函数(恢复)+定时任务+事件监听机制+工厂。延时任务的应用场景:1,订单超时自动
RabbitMQ中的四种交换机
RabbitMQ中的四种交换机
【深入理解Kafka系列】 第二章 生产者
讲述生产者客户端的具体用法及整体架构。包括配置参数、消息的发送方式、序列化器、分区器、拦截器等。
hadoop安装之保姆级教程(二)之YARN的配置
我们在YARN上运⾏MapReduce的程序的时候,可以在控制台上看到任务的⽇志输出,以获取到任务的运⾏状态。同 时,YARN也会将⽇志写在本地的⽂件夹中,我们可以到⽂件夹中进⾏⽇志的查 看。但是这个⽂件夹中的内容,会随着YARN的重启⽽被删除掉。那么此时我们将如何查看⽇志?此时就需要开启Hadoo
9 配置STP生成树协议
配置STP生成树协议
Spark RDD转换成DataFrame的两种方式
spark官方提供了两种方法实现从RDD转换到DataFrame。第一种方法是利用反射机制来推断包含特定类型对象的Schema,这种方式适用于对已知的数据结构的RDD转换;第二种方法通过编程接口构造一个 Schema ,并将其应用在已知的RDD数据中。.........
《Hadoop大数据技术》实验报告(1)Hadoop的伪分布式安装和配置
在linux平台中安装Hadoop,包括JDK安装、SSH免密码配置和伪分布式安装。