Zookeeper未授权访问漏洞
Zookeeper支持某些特定的四字查询命令,可以未授权访问,从而泄露zookeeper服务的相关信息,这些信息可能作为进一步入侵其他系统和服务的跳板,利用这些信息实现权限提升并逐渐扩大攻击范围。常见的四字命令有 envi、conf、cons、crst、dump、ruok、stat、srvr、mnt
ZooKeeper详解
ZooKeeper作用举例设计原理Znodes的状态变化具体步骤ZooKeeper原理ZooKeeper数据结构(了解)ZooKeeper CLIZookeeper角色ZooKeeper选举机制半数机制leader选举触发时机补充
【Hadoop】--基于hadoop和hive实现聊天数据统计分析,构建聊天数据分析报表[17]
BI:Business Intelligence,商业智能。指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行分析以实现商业价值。简单来说,就是借助BI工具,可以完成复杂的数据分析、数据统计等需求,为公司决策带来巨大的价值。所以,一般提到BI,我们指代的就是工具软件。FineBISu
大数据分层存储架构:ODS、DWD、DWM与DWS详解
通过这种分层存储结构,大数据系统可以更好地满足不同层次的数据需求,提高数据处理和分析的效率。同时,各层之间的数据流动和交互也变得更加清晰和可控,有助于减少数据冗余和错误,提高数据质量。在大数据领域中,ODS、DWD、DWM和DWS代表了数据仓库的不同层次,它们共同构成了大数据的分层存储结构。这种结构
RabbitMQ的交换机与队列
首先先介绍一个简单的一个消息推送到接收的流程,提供一个简单的图黄色的圈圈就是我们的消息推送服务,将消息推送到 中间方框里面也就是 rabbitMq的服务器,然后经过服务器里面的交换机、队列等各种关系(后面会详细讲)将数据处理入列后,最终右边的蓝色圈圈消费者获取对应监听的消息。
linux安装kafka3.5.2、kafka可视化管理工具kafka-ui-lite
linux安装kafka3.5.2、kafka可视化管理工具kafka-ui-lite。
Kafka客户端工具:Offset Explorer 使用指南
Kafka客户端工具:Offset Explorer 使用指南
Spark运行流程及架构设计
【代码】Spark运行流程及架构设计。
震惊Hadoop伪分布式+spark+scala竟如此简单!
验证hdfs:可以登录浏览器地址:192.168.20.11:50070 (ip地址是master的地址)export JAVA_HOME=/opt/jdk #这里是opt目录。修改 hdfs-site.xml 将dfs.replication设置为1。在最后加上export JAVA_
spark错误集锦
spark遇到的错误 持续更新
Python 版分布式消息队列 Kafka 实现图片数据传输
在使用 Kafka 之前,通常需要先安装和配置 ZooKeeper。ZooKeeper 是 Kafka 的依赖项之一,它用于协调和管理 Kafka 集群的状态。ZooKeeper 是一个开源的分布式协调服务,它提供了可靠的数据存储和协调机制,用于协调分布式系统中的各个节点。Kafka 使用 ZooK
Spark编程基础
RDD算子分为转换(Transformation)算子和行动( Action)算子,程序运行到转换算子时并不会马上执行转算子,只有碰到行动算子才会真正执行转换算子。
RabbitMQ脑裂问题
RabbitMQ的节点之间可能失去连接,每个节点都认为其他节点已经失败,会导致所谓的"脑裂"现象。每个节点都会试图独立运行,占用对方的资源,并试图启动。例如,两个集群节点A和B失去通信,都以为对方已经宕机,结果就可能出现共享数据损坏或者无法恢复/启动的情况。
【大数据】Hadoop下载安装及伪分布式集群搭建教程
一文详解hadoop下载安装以及伪分布式集群搭建教程
集成skywalking和使用amqp的rabbitmq链路关联不到的解决方案
以下是我使用的es以及skywalking版本直接命令 docker compose up -d等待安装并启动完成, 查看是否正常运行(这里注意: ES的版本和skywalking如果不适配要去官网看适配的版本)docker compose ps 展示up就行了再直接访问ui界面 如下就行, UI
hadoop-yarn简介及常用命令详解(超详细)
本文详细介绍了YARN的概述、架构、特点和原理,并提供了常用命令的详细解释。YARN作为Hadoop生态系统中的重要组件,具有分布式资源管理、多框架支持、灵活的资源调度、高可靠性和容错性、可扩展性以及安全性等特点。通过合理使用YARN命令,可以更好地管理和监控YARN应用程序和集群,提高大数据处理和
Hadoop介绍:什么是Hadoop?了解Hadoop的应用
Hadoop是一个功能强大、灵活多变的大数据处理框架,它在许多领域都有着广泛的应用前景。随着技术的不断发展和完善,Hadoop将继续为企业和组织提供高效、可靠的大数据解决方案。
头歌:Spark案例剖析 - 谷歌网页排名引擎PageRank实战
下面我们重点介绍Spark SQL的初始化,数据库的使用,外部数据的导入,从而将网页数据导入数据库中方便之后处理。Spark SQL是Spark自带的数据库,本关你将应用Spark SQL的数据导入工具实现文本数据的导入。总的来说,就是预先给一个网页PR值(此处用PR代替PageRank值),由于P
(头哥)Spark环境搭建与使用
【代码】Spark环境搭建与使用。
详解最新版RabbitMQ 基于RPM 方式的安装
各个包的对应关系也是有一定要求的,像笔者这一套就都是el8的,下载的时候也一定要下载一样的,每个包后面也都有标示,而且和linux版本显示的4.18.0-80.el8.x86_64也是一致的(查看linux版本:uname -r)这里的意思是开放使用,rabbitmq默认创建的用户guest,密码也