大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程

大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程一、搭建准备;二、环境搭建;三、群起集群;

RabbitMQ中vhost的作用是什么?

在RabbitMQ中,vhost(虚拟主机)是一种逻辑隔离机制,用于将消息队列和相关资源隔离开来。虚拟主机允许您在单个RabbitMQ服务器上创建多个独立的消息队列环境,每个环境都有自己的队列、交换机、绑定和权限设置。

CentOS7搭建伪分布式Hadoop(全过程2023)

可以使用XFTP,用物理主机链接虚拟机的centos传送java文件,或者直接去java官网下载文件,解压。配置文件,启动配置。下载hbase.bin.tar.gz(这里下的是2.2.2,因为我的hadoop是3.1.3版本的)在/etc目录下修改sudoers文件,赋予权限。4.为什么从8020变

Kafka 安装部署-单节点

Kafka单节点部署及使用

大数据平台搭建——hadoop集群(基于CentOS-7)的搭建

本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro,用的镜像文件为CentOS-7,此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写,故只针对搭建hadoop集群搭建的部分进行概述,前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。将主机上的h

吐血整理,rabbitmq超简单下载安装

7,使用命令:netstat -ntlp。如果想下载, rabbitmq3.8.5, 则对应的erlang语言的版本范围为21.3 到 23.x。假设安装到centos7, rabbitmq就是3.8.5. 选一个23.x的版本。2,能够正常启动,先ctrl + c 退出,然后执行下面命令把w

【大数据】Kafka 实战教程(一)

应用往 Kafka 写数据的原因有很多:用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求:消息是否能丢失?是否容忍重复?消息的吞吐量?消息的延迟?

Hadoop伪分布式环境搭建

Hadoop 伪分布式集群是一种在单个节点上模拟分布式环境的配置,用于学习、开发和测试 Hadoop 的功能和特性。它提供了一个简化的方式来体验和熟悉 Hadoop 的各个组件,而无需配置和管理一个真正的多节点集群。在 Hadoop 伪分布式集群中,各个 Hadoop 组件(如 NameNode、D

kafka 集群的安装以及配置

kafka 集群的安装以及配置

filebeat到kafka示例

filebeat到kafka示例

【使用Zookeeper当作注册中心】自己定制负载均衡常见策略

Hash 策略一般指的是一次性 Hash 算法实现的策略。传统的 hash 在添加或删除一个节点的时候,会出现缓存失效,失效缓存比例为:m/(m+1);传统hash一般是将资源的 hashcode % table.size()(服务数)得到节点索引然后将访问服务,这样的话当增加一个节点的时候,除了h

搭建伪分布式Hadoop

搭建伪分布式Hadoop

RabbitMQ(最新):安装教程详解

MQ即消息队列(Message Queue),是一种用于进行异步通信的技术。它允许应用程序异步地向队列中发送消息,而不需要立即等待接收方处理完毕。MQ将消息缓存在队列中,等待消费者进行处理RabbitMQ是一个开源的消息队列中间件,它实现了协议,并提供了一套强大的消息传递机制。它是由Erlang语言

MQ 的基本原理

对于 MQ 来说,不管是 RocketMQ、Kafka 还是其他消息队列,下面我们以这个本质作为根,一起由浅入深地聊聊 MQ。01 从 MQ 的本质说起将 MQ 掰开了揉碎了来看,都是「一发一存一消费」,再直白点就是一个「转发器」。生产者先将消息投递一个叫做「队列」的容器中,然后再从这个容器中取出消

Java日志管理组件之——MDC

当我们在开发大型分布式系统时,日志记录是一个非常重要的方面,因为它可以帮助我们了解系统的行为和性能,并且可以用于排查问题。在一个分布式系统中,一个请求可能会经过多个服务和节点,并且会在多个线程中处理。在这种情况下,如果我们只是简单地使用日志记录,那么我们可能无法很好地了解整个请求的处理过程。这时候,

Kafka快速入门(最新版3.6.0)

kafka解决通信问题

03-Zookeeper客户端使用

Curator 是一套由netflix 公司开源的,Java 语言编程的 ZooKeeper 客户端框架,Curator项目是现在ZooKeeper 客户端中使用最多,对ZooKeeper 版本支持最好的第三方客户端,并推荐使用,Curator 把我们平时常用的很多 ZooKeeper 服务开发功能

数据采集与Hadoop总结

在网页当中按f12或者右键选择检查打开开发者模式其中对应着网页组成的元素、控制台、源代码、网络等。在网络当中选择了一个文件以后我们可以看到它的获取方式、请求头、URL地址等信息。

RabbitMQ消息的链路跟踪

TraceId能标记一次请求的调用链路,在我们排查问题的时候十分重要。系统引入MQ后,MQ消息默认不带TraceId,所以消息发送和处理的链路就断了。下面分享如何对业务逻辑无感的方式,将TraceId带到消费端。

头歌大数据——HBase 伪分布式环境搭建

HBase 伪分布式环境搭建

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈