Hadoop搭建

更改ONBOOT=yes添加保存 然后:wq退出输入在ip addr查看是否成功 再ping www.baidu.com ctrl+c结束。

Kafka-服务端-PartitionLeaderSelector、ReplicaStateMachine

ReassignedPartitionLeaderSelector涉及到副本的重新分配,副本重新分配的相关概念后面详细分析,这里先简单了解ReassignedPartitionLeaderSelector的策略:选取的新Leader副本必须在新指定的AR集合中且同时在当前ISR集合中,当前ISR集合

Kafka: 详解、使用教程和示例

Kafka 是一个强大的分布式流处理平台,用于实时数据传输和处理。通过本文详细的介绍、使用教程和示例,你可以了解 Kafka 的核心概念、安装、创建 Topic、使用生产者和消费者,从而为构建现代分布式应用打下坚实的基础。无论是构建实时数据流平台、日志收集系统还是事件驱动架构,Kafka 都是一个可

Zookeeper详解(最详细的zookeeper解析+项目实例)

zooKeeper 是一个开放源码的分布式协调服务,主要为了解决分布式架构下数据一致性问题, 它是集群的管理者, 监视着集群中各个节点的状态,根据节点提交的反馈进行下一步合理操作。 最终, 将简单易用的接口和性能高效、 功能稳定的系统提供给用户

加密算法、分布式缓存与Hadoop

高级加密标准(AES,Advanced Encryption Standard)为最常见的对称加密算法(微信小程序加密传输就是用这个加密算法的)。对称加密算法也就是加密和解密用相同的密钥,具体的加密流程如下图:RSA 加密算法是一种典型的非对称加密算法,它基于大数的因式分解数学难题,它也是应用最广泛

RabbitMQ 死信交换机的详述➕应用

死信交换机的应用

Kafka为什么这么快?

Kafka 是一个优秀的开源项目。其在性能上面的优化做的淋漓尽致,是很值得我们深入学习的一个项目。无论是思想还是实现,我们都应该认真的去看一看,想一想。零拷贝网络和磁盘优秀的网络模型,基于 Java NIO高效的文件数据结构设计Parition 并行和可扩展数据批量传输数据压缩顺序读写磁盘无锁轻量级

Kafka中的Partition详解与示例代码

本文详细介绍了Kafka中的Partition概念,从创建、配置、内部工作原理到实际应用示例和性能调优等多个方面进行了深入的讨论。希望这些详细的示例代码和解释能够帮助大家更全面地理解和应用Kafka中的Partition。在实际应用中,根据业务需求和系统规模,可以灵活配置Partition以达到最佳

Hadoop分布式集群搭建

Hadoop分布式集群搭建

简单讲讲在一台机器上用docker部署hadoop HDFS

注意了!一定注意存储空间大小,确保机器至少有10G左右的空余,不然跑不起来的。

【spark】

Spark

Spark--一文了解WebUI

日常工作中经常用到sparkui来排查一些问题,有些东西需要经常搜索,网上的文章有写的很棒的,也有写的一言难尽的,这里参考了其他大佬的文章,自己整体梳理了一下,方便自己使用,也希望能帮助到大家~

Zookeeper与ApacheSuperset集成

1.背景介绍1. 背景介绍Apache Zookeeper 和 Apache Superset 都是开源的分布式协调服务和数据可视化工具,它们在分布式系统中发挥着重要作用。Zookeeper 提供了一种高效的分布式协同机制,用于实现分布式应用的一致性和可用性,而 Superset 则提供了一个易于使

Flink原理之分布式分发

Flink集群是由一个JobManager和多个TaskManager组成的:Client用来提交任务给JobManager,JobManager分发任务给TaskManager去执行,然后TaskManager会以心跳的方式汇报任务状态。容易获得更好的资源利用。TaskSlot即任务槽,是Task

RabbitMQ面试题

RabbitMQ面试题

分布式数据库·Hive和MySQL的安装与配置

一、版本要求:Hadoop:hadoop-2.10.1、MySQL:mysql-8.0.35、HIVE:apache-hive-3.1.2、MySQL驱动:mysql-connector-java-5.1.49。

CentOS7安装部署Zookeeper

Apache ZooKeeper 是一个分布式应用程序协调服务;用于维护配置信息、命名、提供分布式同步和组服务

Zookeeper与Kafka集成与应用

1.背景介绍Zookeeper和Kafka都是Apache基金会所开发的开源项目,它们在分布式系统中发挥着重要作用。Zookeeper是一个高性能的分布式协调服务,用于实现分布式应用中的一致性、可用性和原子性。Kafka是一个分布式流处理平台,用于构建实时数据流管道和流处理应用。在现代分布式系统中,

Kafka-RecordAccumulator分析

前面介绍过,KafkaProducer可以有同步和异步两种方式发送消息,其实两者的底层实现相同,都是通过异步方式实现的。主线程调用KafkaProducer.send方法发送消息的时候,先将消息放到RecordAccumulator中暂存,然后主线程就可以从sendO方法中返回了,此时消息并没有真正

大数据- Hadoop入门

Hadoop是一个对大量数据进行分布式处理的。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈