Kafka详解（中）——Kafka客户端操作
3-1 shell列举 kafka安装目录下的bin目录包含了很多运维可操作的shell脚本，列举如下：脚本名称用途描述connect-distributed.sh连接kafka集群模式connect-standalone.sh连接kafka单机模式kafka-acls.sh设置Kafka权限ka
kafka日志清理
kafka日志清理
ElasticSearch（四）Java中使用ES
java中整合ES的各种api操作，完成增删改查各种操作
SRS服务器搭建以及展现配置说明
本篇文章主要对最近正在进行的数据中台项目针对需要将客户各个景区的监控设备进行统一视频采集，再通过数据分析平台搭建视频大屏，实现各个景区监控视频的实时查看的需求而选择搭建SRS服务器的原因以及展现配置进行说明。
Nacos与Eureka的区别
一：先看看两个工作原理图。二：相同点。 都支持服务注册和服务拉取。 都支持服务提供者心跳方式做健康检测。 三：区别。 Nacos支持服务端主动检测提供者状态：临时实例采用心跳模式，非临时实例采用主动检测模式 临时实例心跳不正常会被剔除，非临时实例则不会被剔除 Nacos支
《大数据导论》之数据生命周期和数据使用
《大数据导论》之数据生命周期和数据使用
Java API操作HDFS写入，读取，重命名，显示文件列表等
Java API操作HDFS写入，读取，重命名，显示文件列表等
RabbitMQ 死信队列详解
一、死信的概念死信，顾名思义就是无法被消费的消息。一般来说，Producer 将消息投递到 Broker 或者直接到 Queue 里了，Consumer 从 Queue 取出消息进行消费，但某些时候由于特定的原因导致 Queue 中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信，有
RabbitMQ-客户端源码之AMQConnection
如果是其他帧，则判断其frame.channel值是否为0，frame.channel值为0代表的是特殊帧，这些特殊帧是和Connection有关的，而不是和Channel有关的（上面代码里的frame.channel就是Channel里的channel number, 一般Connection类型
RabbitMQ延迟列队的使用
延迟队列一般可用于具有时间限制的任务，例如：限时优惠，超时的订单处理等。对于这种场景，传统的处理方式是任务轮询：通过一个后台任务不断的扫描订单信息，发现有超时订单则进行处理，这种处理方式的优点是实现思路简单，容易把握，缺点是对服务器及数据的压力比较大（因为通常需要扫描大量的数据）。处理这种场景的第二
ERROR: Cannot set priority of datanode
WARNING: Use of this script to execute namenode is deprecated.WARNING: Attempting to execute replacement "hdfs namenode" instead.2022-11-04 03:40:58,7
Hadoop入门(十)——集群配置（图文详解步骤2021）
Hadoop入门(十)——集群配置（图文详解步骤2021）1 ） 集群部署规划注意：NameNode 和 SecondaryNameNode 不要安装在同一台服务器 。（它们两个都需要耗内存，分开减少集群的压力）ResourceManager 也很消耗内存，不要和 NameNode、Secondar
rabbitmq消息异常处理
rabbitmq消息异常处理
@KafkaListener详解与使用
目录1 id 监听器的id2 监听topic3 errorHandler 异常处理4 containerFactory 监听器工厂5 clientIdPrefix 客户端前缀6 concurrency并发数从2.2.4版开始，您可以直接在注释上指定Kafka使用者属性，这些属性将覆盖在使用者工厂中配
java理论知识之Kafka
Kafka 起初是由 Linkedin 公司采用 Scala 语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统。 目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。
大数据系列 | 全国职业院校技能大赛大数据应用技术赛项笔记分享-离线抽取模块
写在前面：此笔记是本人在备战2022年大数据赛项整理出来的，不涉及国赛涉密内容，如点赞收藏理想，我将会把所有模块的笔记开源分享出来，如有想询问国赛经验的可以关注私聊我，我会一一回复。Scala 是一门满足现代软件工程师需求的语言；它是一门静态类型语言，支持混合范式；它也是一门运行在 JVM 之上的语
RabbitMQ五大模式轻松理解
简要概括RabbitMQ工作模式：1、简单模式 HelloWorld 2、工作队列模式 Work Queue 3、发布订阅模式 Publish/subscribe 4、路由模式 Routing 5、通配符模式 Topic
hadoop运行wordcount的路径问题(Linux本地路径、HDFS路径)
在执行 `hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output` 这条指令时，文件的输入和输出路径到底是Linux本地还是HDFS路径主要取决于配置文件中的 `fs
Flink从入门到精通系列（一）
Flink概述、流式数据处理的发展是演变以及Flink的快速入门案例
HiveSQL分位数函数percentile()使用详解+实例代码
作为数据分析师每个SQL数据库的函数以及使用技能操作都得点满，尤其是关于统计函数的使用方法。关于统计出数据的中位数，众数和分位数的方法必须掌握几种，一般在实际业务上大部分都是以写SQL查询为主，因为如果想用Python的Pandas去做数据分析还得将数据导出来读出来，输出了结果还得再倒进去，十分的麻
