Kafka简单入门02——ISR机制
kafka简单入门
Hago 的 Spark on ACK 实践
长期以来，Hago 都是在 IDC 里运行大数据任务，以支撑上面的许多产品，从 2022 年开始，Hago 开始将大数据业务迁移上云，并以 Spark on ACK 的形式来运行，本文主要针对迁移过程进行介绍。
RabbitMQ的基础使用
4.监听消息 使用@RabbitListener 注解 必须有@EnableRabbit才能生效 如果是创建交换机，创建队列 不需要有@EnableRabbit注解。* @RabbitHandler 可以标在方法上 场景 一个队列返回的类型不同 使用这个注解来重载。@RabbitHandler 可以
Hive调优之小表Join大表
结果：这样的后果就是所有为null值的id全部都变成了相同的字符串“hive”，及其容易造成数据的倾斜（所有的key相同，相同key的数据会到同一个reduce当中去） 为了解决这种情况，我们可以通过hive的rand函数，随记的给每一个为空的id赋上一个随机值，这样就不会造成数据倾斜。有时虽然某个
Spark Structured Streaming使用教程
Structured Streaming是一个基于Spark SQL引擎的可扩展和容错流处理引擎，Spark SQL引擎将负责增量和连续地运行它，并在流数据继续到达时更新最终结果。
【RabbitMQ学习日记】——死信队列与延迟队列
介绍了死信队列与延迟队列的概念与用法，也包括通过死信队列实现延迟队列、通过占位符传参优化延迟队列、通过插件设置延迟队列等
go语言操作rabbitmq
【代码】go语言操作rabbitmq。
【Hadoop精讲】HDFS详解
Hadoop精讲、HDFS详解、副本放置策略、元数据持久化
Logstash输入Kafka输出Es配置
Logstash是一个开源的数据收集引擎，具有实时管道功能。它可以从各种数据源中动态地统一和标准化数据，并将其发送到你选择的目的地。Logstash的早期目标主要是用于收集日志，但现在的功能已经远远超出这个范围。任何事件类型都可以通过Logstash进行分析，通过输入、过滤器和输出插件进行转换。Lo
Linux环境下安装 Nacos、Redis、RabbitMQ、Nginx
Linux服务器：Nacos、Redis、RabbitMQ、Nginx，安装。
【头歌实训】Spark 完全分布式的安装和部署
把 evassh 服务器的 /usr/local 目录下的 spark 安装包通过 SCP 命令上传到 master 虚拟服务器的 /usr/local 目录下。Hadoop 集群在启动脚本时，会去启动各个节点，此过程是通过 SSH 去连接的，为了避免启动过程输入密码，需要配置免密登录。把 mast
【大数据存储与处理】实验一 HBase 的基本操作
本实验介绍了Hbase的使用环境，要求掌握Hbase创建数据库表及删除数据库表，掌握Hbase对数据库表数据的增、删、改、查。注意区分hbaseshell命令和linux命令。
Flink 输出至 Elasticsearch
Flink 输出至 Elasticsearch。
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口？！
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口？！
解决RabbitMq登录时报出Not management user(Login failed)错误
翻译成中文即为非管理用户非管理用户无法登录管理控制台因而报出这个错误。虽然我登录的是guest用户因为账号guest具有所有的操作权限当然可以登录管理控制台。但我在上文中修改guest用户角色为空导致现在无法登录。使用如下命令查看guest权限你会看到guest权限为空因为我在上文点击Add Use
SqlServer数据库定时清理数据，仅保留指定时间段内的数据——高效处理大数据
在步骤1中，我们创建了一个名为"CleanExpiredData"的定时任务，并添加了一个步骤。假设我们有一个名为"Data"的表，其中包含时间戳字段"Timestamp"，我们希望只保留最近30天内的数据。本文介绍了如何利用SqlServer的定时任务和T-SQL语句来实现定期清理数据库中过期数据
windows 安装部署pinpoint-2.3.3，实现springboot项目的链路追踪
javaagent:D:\pinpoint\pinpoint-agent-2.3.3\pinpoint-agent-2.3.3\pinpoint-bootstrap-2.3.3.jar #设置\pinpoint-agent-2.3.3目录下的pinpoint-bootstrap-2.3.3.jar
基于 Flink 的典型 ETL 场景实现方案
数仓架构演变，三种架构：lambda架构、kappa架构、实时olap架构。维表join，双流Join。
Kafka核心逻辑介绍 | 京东云技术团队
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、st
3、Kafka 线上集群部署方案怎么做？
带宽是 1Gbps，即每秒处理 1Gb 的数据，假设每台 Kafka 服务器都是安装在专属的机器上，也就是说每台 Kafka 机器上没有混布其他服务，毕竟真实环境中不建议这么做。超过 70% 的阈值就有网络丢包的可能性了，故 70% 的设定是一个比较合理的值，也就是说单台 Kafka 服务器最多也就
