kafka手动调整分区副本数

kafka手动调整分区副本数

Flink状态一致性检查点

Flink状态一致性检查点一致性检查点:是指在某一个时刻所有算子将同一个任务都完成的情况下进行的一个快照(方便后续计算出错时,提供一个数据恢复的快照)

CentOS 7.6环境安装kafka_2.13-3.0.0[单机版]

本节内容主要总结一下如何在CentOS 7.6上安装kafka 2.13-3.0.0注意:此单机版使用的是kafka自带的zookeeper1.组件版本组件 版本 CentOS 7.6 JDK 1.8.0_221 kafka 2.13-3.0.0 2.环境设置Init-env

RocketMQ 事务消息示例分析

1 示例模式RocketMQ 事务消息示例包含一个生产者、消费者、NameServer 以及 Broker 服务,它们之间的关系如下:RocketMQ架构上主要分为四部分[^1]:Producer:消息发布的角色,支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集

Flink学习中之time、watermark、state

🌿今天我们来了解一下flink中的几个重要基础概念:time、watermark、state,这是flink流处理中实现数据流执行速度快和结果正确的要点,对往期内容感兴趣的同学可以看下面👇:链接: Flink学习专辑.🌰其实在前面的章节中,我们也介绍了一些时间、状态的概念,但不够深入,本篇博客

手把手教你搭建HADOOP集群

准备工作:准备三台虚拟机,关闭防火墙,修改他们的主机名,第一台虚拟机为master 剩下两台分别是slave1和slave2,修改hosts文件 修改他们的主机映射,三台进行免密操作。基础配置:修改主机名永久修改:vim /etc/hostname重启 restart零时修改: hostnamect

Elasticsearch到底是什么?

通俗易懂地讲解Elasticsearch是什么?带大家去认识ES中的基本概念以及ES在实际生活中的应用场景,让我们更好的去理解ES和学习ES。

docker安装elasticsearch

因为机器本身已经安装docker, 加上直接安装es环境配置比较麻烦,故而采用docker安装1、docker 拉取镜像docker pull elasticsearch:7.6.22、创建挂载目录mkdir -p /opt/soft/elasticsearch/configmkdir -p /op

springboot集成ElasticSearch

springboot集成ES 7.6.2

TiDB基本原理学习

TiDB的基本概念学习和原理介绍。

centos7 - elasticsearch 7.6.2集群

小伙伴们,你们好呀,我是老寇注意:上一篇安装elasticsearch 7.6.2教程的扩展,需要看上篇的安装教程,点击我1.准备三台机器(三台需提前安装好elasticsearch 7.6.2)192.168.1.1 node-elasticsearch-1192.168.1.2 node-ela

客快物流大数据项目(五十六): 编写SparkSession对象工具类

编写SparkSession对象工具类后续业务开发过程中,每个子业务(kudu、es、clickhouse等等)都会创建SparkSession对象,以及初始化开发环境,因此将环境初始化操作封装成工具类,方便后续使用实现步骤:在公共模块的scala目录的common程序包下创建SparkUtils

【LeetCode-SQL每日一练】—184. 部门工资最高的员工

SQL每个人都要用,但是用来衡量产出的并不是SQL本身,你需要用这个工具,去创造其它的价值。

大数据组件之Hive(Hive学习一篇就够了)

文章目录一、Hive安装1、解压环境2、环境变量配置3、配置文件信息1.打开编辑文件2.输入以下内容4、拷贝mysql驱动5、更新guava包和hadoop一致6、mysql授权7、初始化8、hive启动模式9、Hadoop的core-site.xml配置二、Hive1、Hive的文件结构2、MyS

Mysql 窗口函数

一, MySQl 8.0 窗口函数窗口函数适用场景: 对分组统计结果中的每一条记录进行计算的场景下, 使用窗口函数更好;可以跟Hive的对比着看: 点我, 特么的花了一晚上整理, 没想到跟Hive 的基本一致, 还不因为好久没复习博客了, 淦注意: mysql 因为没有array数据结构, 无法像

Flink HA模式环境搭建

Flink HA安装部署

2022暑期实习字节跳动数据研发面试经历

🌟今天下午面试两家,字节跳动数据研发一面和百度三面,百度那边突然不面了,hr说下个星期再看看,是直接过了还是再来一面,需要和部门商量一下,先来总结一下字节跳动的面试吧。废话,对百度面试感兴趣的同学可以参考如下文章:链接: 2022百度大数据开发工程师实习面试经历.链接: spark学习之并行度、并

Zookeeper会话管理源码深入探讨

深入探讨会话创建、分桶管理、清理和激活原理。

Day548.Kafka相关外部系统整合 -kafka

Kafka相关外部系统整合一、集成 FlumeFlume 是一个在大数据开发中非常常用的组件。可以用于 Kafka 的生产者,也可以用于Flume 的消费者。1、Flume 生产者启动 kafka 集群zk.sh startkf.sh start启动 kafka 消费者bin/kafka-cons

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈