rabbitMQ的基础操作与可视化界面
当你安装好RabbitMq时,可以 尝试一下,这些命令。
(一)kafka实战——kafka源码编译启动
本节内容是关于kafka消息中间键的源码编译,并通过idea工具实现kafka服务器的启动,使用的kafka源码版本是3.6.1,由于kafka源码是通过gradle编译的,以及服务器是通过scala语言实现,我们要预先安装好gradle编译工具和scala环境,同时需要安装scala依赖的java
Spark环境搭建和使用方法
本文讲解如何在Linux系统中安装Spark并配置Spark环境,以及Spark的基本使用方法。
Kafka之集群搭建
单机服务下,Kafka已经具备了非常高的性能。TPS能够达到百万级别。但是,在实际工作中使用时,单机搭建的Kafka会有很大的局限性。因此,我们需要使用集群。
kafka基本原理及消费配置
由于该文件采用的是稀疏索引的方式存储着相对offset及对应message物理偏移量的关系,所以直接找相对offset为5的索引找不到,这里同样利用二分法查找相对offset小于或者等于指定的相对offset的索引条目中最大的那个相对offset,所以找到的是相对offset为4的这个索引。一个典型
如何基于Zookeeper实现注册中心模型?
在分布式系统中,通常会存在几十个甚至上百个服务,开发人员可能甚至都无法明确系统中到底有哪些服务正在运行。另一方面,我们很难同时确保所有服务都不出现问题,也很难保证当前的服务部署方式不做调整和优化。由于自动扩容、服务重启等因素,服务实例的运行时状态也会经常变化。通常,我们把这些服务实例的运行时状态信息
spark-submit 主要参数详细说明及Standalone集群最佳实践
部署提交应用到 spark 集群,可能会用到 `spark-submit` 工具,鉴于网上的博客质量残差不齐,且有很多完全是无效且错误的配置,没有搞明白诸如`--total-executor-cores` 、`--executor-cores`、`--num-executors`的关系和区别。因此有
未授权访问:ZooKeeper 未授权访问漏洞
zookeeper是分布式协同管理工具,常用来管理系统配置信息,提供分布式协同服务。Zookeeper的默认开放端口是2181。Zookeeper安装部署之后默认情况下不需要任何身份验证,造成攻击者可以远程利用Zookeeper,通过服务器收集敏感信息或者在Zookeeper集群内进行破坏(比如:k
【后端】RabbitMQ的常见使用问题
例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习开发语言,本文就介绍了rabbitmq的常见使用问题。
Zookeeper 和 naocs的区别
功能特性:Nacos 比 ZooKeeper 更加强大,Nacos 支持服务发现、动态配置、流量管理、服务治理、分布式事务等功能,而 ZooKeeper 主要用于分布式协调和服务发现。(服务器注册到配置中心:服务发现,客户端调用某个服务器:分布式协调)AP 模式强调可用性,允许出现数据不一致的情况,
kafka事务的详解
即处于同一个事务内的所有消息,不管最终需要落地到哪个 topic 的哪个 partition, 最终结果都是要么全部写成功,要么全部写失败(Atomic multi-partition writes);
RabbitMQ 安装保姆级教程
MQ(Message Quene) : 翻译为消息队列,通过典型的生产者和消费者模型,生产者不断向消息队列中生产消息,消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的,而且只关心消息的发送和接收,没有业务逻辑的侵入,轻松的实现系统间解耦。别名为消息中间件通过利用高效可靠的消息传递机制进行
Delta lake with Java--利用spark sql操作数据1
代码主要实现建立一个表名为YellowTaxi,插入5条数据,然后查询YellowTaxi这5条数据,再建立一个表YellowTaxiPartitioned,YellowTaxiPartitioned是分区表。具体文字内容如下,从结果可以看出分区表的查询效率要比不分区表要好,后面建表还是要用分区表。
Mac版Jmeter安装与使用&模拟分布式环境
Mac版Jmeter安装与使用&本地模拟分布式环境
Kafka必须掌握的核心技术:为什么吞吐量大、速度快?(1)
面试难免让人焦虑不安。经历过的人都懂的。但是如果你提前预测面试官要问你的问题并想出得体的回答方式,就会容易很多。此外,都说“面试造火箭,工作拧螺丝”,那对于准备面试的朋友,你只需懂一个字:刷!给我刷刷刷刷,使劲儿刷刷刷刷刷!今天既是来谈面试的,那就必须得来整点面试真题,这不花了我整28天,做了份“J
kafka的ack的三种机制是什么?
这种模式提供了最高的消息可靠性保证,因为只有当所有副本都成功写入消息时,生产者才认为消息已经成功发送。这种模式适用于对延迟要求极高且可以容忍一定数据丢失的场景,但如果Broker发生故障,可能会导致消息丢失。生产者在发送消息到Kafka集群时,可以通过设置不同的acks参数值来控制消息发送后的确认机
Hadoop完全分布式搭建(超详细,傻瓜式安装)
Hadoop完全分布式安装配置。
Spark高可用模式和Spark分布式Yarn环境安装
ha验证,要干掉alive的master,观察standby的master,hadoop102的状态缓慢的有standby转变为alive。1)上线:不需要在现有集群的配置上做任何修改,只需要准备一台worker机器即可,可和之前的worker的配置相同。配置基于Zookeeper的一个ha是非常简
安装伪分布式Hadoop
步骤一:安装 JDK安装命令如下,将安装包解压到/usr/local/src/目录下。
Kafka的安装及接入SpringBoot
Kafka 是一种高性能、分布式的消息队列系统,最初由 LinkedIn 公司开发,并于2011年成为 Apache 顶级项目。它设计用于处理大规模的实时数据流,具有高吞吐量、低延迟、持久性等特点,被广泛应用于构建实时数据管道、日志收集、事件驱动架构等场景。