Hadoop增加新节点环境配置(自用)
8. nano /opt/module/hadoop-3.3.3/etc/hadoop/hadoop-env.sh 修改 JAVA_HOME export。1. 关闭防⽕墙,集群⼀般搭建在局域⽹内,公司在外部建⽴专业的防⽕墙,为了⽅便集群之间通信,请关闭集群中各节点的防⽕墙。编辑--->虚拟网络编辑
从零开始了解大数据(五):YARN篇
YARN是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。它并不清楚用户提交的程序的运行机制,只提供运算资源的调度(用户程序向YARN申请资源,YARN就负责分配资源)。本文将介绍YARN架构与组
kafka客户端生产者消费者kafka可视化工具(可生产和消费消息)
因在工作中经常有用到kafka做消息的收发,每次调试过程中,经常需要查看接收的消息内容以及人为发送消息,从网上搜寻了一下,找到的工具大部分都是Kafka Tool,此工具功能还比较全面,但是操作起来个人认为并不是那么方便,于是,就萌生了自己写一个简单又好用的kafka客户端的想法。
大数据Zookeeper--案例
比如说"进程1"在使用该资源的时候,会先去获得锁,"进程1"获得锁以后会对该资源保持独占,这样其他进程就无法访问该资源,"进程1"用完该资源以后就将锁释放掉,让其他进程来获得锁,那么通过这个锁机制,我们就能保证了分布式系统中多个进程能够有序的访问该临界资源。2)Curator是一个专门解决分布式锁的
四种部署模式的优缺点(单机、集群、分布式、微服务)
含义:一种非常细粒度的垂直拆分,小到不可分割的分布式模块,小到一个服务只对应一个单一的功能,每个微服务都是由独立的小团队开发、测试、部署、上线,负责它的整个生命周期。部署含义:集群就是单机的“复制”,同一个业务,部署在多个服务器上(不同的服务器运行同样的代码,干同一件事。部署优点:系统扩展容易、易部
Zookeeper-Zookeeper特性与节点数据类型详解
和持久节点的区别是 ZK 服务端启动后,会有一个单独的线程去扫描,所有的容器节点,当发现容器节点的子节点数量为0时,会自动删除该节点。pZxid:表示该节点的子节点列表最后一次修改的事务1D,添加子节点或删除子节点就会影响子节点列表,但是修改子节点的数据内容则不影响该ID注意: 只有子节点列表变更了
Kafka学习
Kafka的消息通过主题(topic)进行分类 主题可以被分为若干个分区(partition),一个分区就是一个提交日志,通过分区来实现数据冗余和伸缩性 消息以追加的方式写入分区,然后以先入先出(FIFO)的顺序读取 无法在整个主题范围内保证消息的顺序,可以保证消息在单个分区内的顺序生产者(发布者,
RabbitMQ 安装
消息队列
【RabbitMQ】快速入门及基本使用
RabbitMQ是一个开源的消息队列系统,使用Erlang语言开发,基于AMQP(高级消息队列协议)实现。它最初起源于金融系统,用于在分布式系统中存储和转发消息。RabbitMQ的主要特性包括易用性、扩展性、高可用性以及可靠性。消息队列(MQ)是一种应用程序对应用程序的通信方法,应用程序通过读写出入
RabbitMQ与SpringAMQP
微服务间通讯有同步和异步两种方式同步(通信):A——>C 异步(代理):A——>B——>C知识点。
kafka基本概念
我们小猿在学习到kafka这门技术的时候,相信大家已经学习过其它消息队列中间件,例如RabbitMqRocketMqactiveMq了,对于消息队列的基本概念和作用有了一定的了解。如果没有学习过其它消息队,我们需要了解下消息队列MQ的基本概念。学习消息队里MQ之前需要了解这些。
【Kafka】主题Topic详解
Kafka高级特性:主题
【运维知识高级篇】超详细的Jenkins教程5(pipeline流水线配置+分布式构建)
Pipeline就是运行在Jenkins上的工作流,把单个节点的任务连接起来,实现单个任务难以完成的复杂发布流程。它的实现方式是Groovy的脚本,它支持从代码段中读取脚本,实现了Pipeline与代码的融合。Pipeline是用户定义的部署的流程,包含构建,测试,发布等步骤,有一些代码块需要我们去
kafka本地安装报错
打开 bin/kafka-run-class.sh。#删除-XX:+UseG1GC。#重启kafka集群。
【Spring Cloud】集成分布式事务Seata2.0.0
在/script/config-center/nacos下终端输入就会插入到Nacos中。在/script/server/db下的dm.sql下导入即可。在/script/config-center下的config.txt。启动/bin里边的seata-server.bat即可。在多个服务方法汇集到
RabbitMQ安全防护,加固策略
中间件简介消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性[架构] 使用较多的消息队列有 ActiveMQ(安全),RabbitMQ,ZeroMQ,Kafka(大数据),MetaMQ,RocketMQ以下介绍消息队列在实际应用中
Spark部署模式
Apache Spark支持多种部署模式,这些模式决定了如何在集群上启动和运行你的Spark应用程序。以下是Spark支持的主要部署模式:
Kafka入门笔记(一) --kafka概述+kafka集群搭建
kafka概述+kafka 集群搭建
ZooKeeper 实战(四) Curator Watch事件监听
Curator 中提供了三种 Cache(Watcher)来监听不同节点变化类型:+ NodeCache:监听指定的节点。+ PathChildrenCache:监听指定节点的子节点。+ TreeCache:监听指定节点及其子孙节点。
大数据 - Spark系列《三》- 加载各种数据源创建RDD
本篇博客将介绍如何在 Spark 中加载不同类型的数据源,介绍加载本地文件、本地集合以及 MySQL 数据库的过程。