Apache Druid中Kafka配置远程代码执行漏洞(MPS-2023-6623)
Apache Druid 是一个高性能的数据分析引擎。Kafka Connect模块曾出现JNDI注入漏洞(CVE-2023-25194),近期安全研究人员发现Apache Druid由于支持从 Kafka 加载数据的实现满足其利用条件,攻击者可通过修改 Kafka 连接配置属性进行 JNDI 注入
分布式系统中的那些一致性(CAP、BASE、2PC、3PC、Paxos、ZAB、Raft)
工作过几年的同学,尤其是这几年,大家或多或少都参与过分布式系统的开发,遇到过各式各样“分布式”问题,而遇到这些问题去解决时就是我们对这个知识学习的过程。不知道大家是否跟我一样,每每搜索到“分布式”关键词,总会出现各种“分布式理论”,比如CAP、BASE理论、2PC、3PC 以及 Paxos、Raft
Prometheus相关的主机监控指标
Prometheus相关的主机监控指标
ZooKeeper基本概念总结
正式介绍 ZooKeeper 之前,我们先来看看 ZooKeeper 的由来,还挺有意思的。下面这段内容摘自《从 Paxos 到 ZooKeeper 》第四章第一节,推荐大家阅读一下:ZooKeeper 最早起源于雅虎研究院的一个研究小组。在当时,研究人员发现,在雅虎内部很多大型系统基本都需要依赖一
什么是大数据?Hadoop概述、Hadoop基础
存储文件的元数据,如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限等),以及每个文件的快列表和块所在的DataNode等。5. share目录:存放Hadoop的依赖jar包、文档、和官方案例,Hadoop各个模块编译后的jar包所在的目录。lib目录:存放Hadoop的本地库(对数据进
spring cloud搭建教程
Spring cloud是一个基于Spring Boot实现的服务治理工具包,在微服务架构中用于管理和协调服务的微服务:就是把一个单体项目,拆分为多个微服务,每个微服务可以独立技术选型,独立开发,独立部署,独立运维.并且多个服务相互协调,相互配合,最终完成用户的价值. Spring Cloud是一系
CANOE入门系列---下载安装及各选项卡详解
Canoe入门
DolphinScheduler理论知识以及手机、邮箱、钉钉、电话等多种告警部署实操
DolphinScheduler理论知识以及案例实操
微服务 分布式搜索引擎 Elastic Search RestAPI
如何通过 Java 调用 Elastic Search RestAPI? 一文搞定!
Doris的数据模型和增删改查操作
Doris的基本操作
微服务分布式搜索引擎 Elastic Search RestClient 操作文档
如何使用 Java 操作 Elastic Search 文档? RestClient来搞定!
虚拟机+Hadoop下MapReduce的Wordcount案例
抄作业记得改标题。
使用虚拟机完成Hadoop完全分布式的搭建
1、首先要下载好虚拟机VMware workstation,并进行安装。链接:https://pan.baidu.com/s/1EuNflW8so-xx46qrdCRbDg 提取码:hjl42、下载Linux的对应版本,可以通过官网下载。链接:https://pan.baidu.com/s/1DJ4
Nacos创建用户并鉴权图文教程
由于公司正在做nacos的鉴权和账号分配,每一个项目对应一个nacos账号,每一个nacos账号只能访问或操作对应项目的资源,做到项目与项目之前的隔离。通过本篇博客能够成功进行鉴权和账号权限分配。
kafka整理
kafka是apache旗下一款开源的顶级的消息队列的系统, 最早是来源于领英, 后期将其贡献给apache, 采用语言是scala.基于zookeeper, 启动kafka集群需要先启动zookeeper集群, 同时在zookeeper记录kafka相关的元数据kafka本质上就是消息队列的中间件
单机版本 kafka-2.13版本和EFAK-3.0.1安装
单机版本 kafka-2.13版本和EFAK-3.0.1安装
Kafka吞吐量
⾸先Kafka从架构上说分为⽣产者Broker和消费者,每⼀块都进⾏了单独的优化,⽐如⽣产者快是因为数据的批量发送,Broker快是因为分区,分区解决了并发度的问题,⽽且⽂件是采取的顺序写的形式。顺序写就可以有效的减少磁盘寻址的时间其次它还采⽤了分段的概念,就是所谓的Segment,每⼀个Segme
kafka集群搭建
kafka集群
Kafka之分区副本与ISR
Kafka的Topic分区本质是一个用于存储Topic下的消息的日志,但是只存一份日志会因为机器损坏或其他原因导致消息丢失不可恢复,因此需要多个相同的日志作为备份,提高系统可用性,这些备份在kafka中被称为副本(replica)。kafka将分区的所有副本均匀的分配到所有broker上,并从这些副
雪花算法和uuid比较
SnowFlake算法,是 Twitter 开源的分布式 id 生成算法。其核心思想就是:使用一个 64 bit 的 long 型的数字作为全局唯一 id。在分布式系统中的应用十分广泛,且ID 引入了时间戳,基本上是保持自增的。 由于在Java中64bit的整数是long类型,所以在Java中