Hive SQL 迁移 Flink SQL 在快手的实践
快手数据架构工程师张芒,阿里云工程师刘大龙,在 Flink Forward Asia 2022 生产实践专场的分享。
Prometheus实战教程:监控Kafka消息
使用prometheus+Grafana+kafka_exporter+kafka实现监控Kafka运行状态
RabbitMQ介绍及部署(超详细讲解)
rabbitmq
消息队列高频面试题[2023版本(包括RabbitMQ和RocketMQ 和 Kafka)]
本文主要介绍 消息队列 的部分高频面试题, 涵盖 RabbitMQ, RocketMQ 和 Kafka 部分;
RabbitMQ的使用详解
MQ(message queue),本质是个队列,FIFO先入先出。只不过队列中放的是message,是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是一种非常常见的上下游解耦的消息通信服务。使用了MQ之后,消息发送上游只需要依赖MQ,不用依赖其他服务。
工具篇--4.1RabbitMq--常用配置参数详解
控制使用一个 RabbitMQ 连接创建的 channel 数量,即 RabbitMQ 连接池中缓存连接时每个连接中的 channel 的数量,缓存的目的是减少连接和销毁的开销。sring.rabbitmq.cache.channel.checkout-timeout 是 Spring Boot 集
elasticsearch安装及配置,遇到9200访问不了以及中文乱码,能访问了却要账户密码等问题
下载的压缩包解压到最好是无中文目录的路径下,以免中文乱码。解压好之后里面的目录目录讲解在bin目录下cmd到控制台.在控制台输入elasticsearch就可以启动了,也可以双击bin目录下的elasticsearch.bat启动。解决9200访问不了,中文乱码,账户有密码等问题
Kafka安全性配置最佳实践
Kafka安全性配置最佳实践一、Kafka 安全性配置1. 安全配置的必要性提高 Kafka 系统的可靠性添加认证配置 代码示例:添加 SSL 配置 代码示例:二、安全性配置的要素2.1 认证2.1.1 SSL 安全协议2.1.2 SASL 验证机制2.2 授权2.2.1 ACL 权限控制2.2.2
虚拟机中安装RabbitMQ及使用(超详细)
虚拟机中安装RabbitMQ及使用
ES_深度分页概念与解决方案
Es深度分页概念与解决方案
[选型] 实时数仓之技术选型
关于实时数仓的选型● 如果选择hbase,建议选择kudu● 如果选择kudu, 还可以选择doris● 如果选择doris,建议选择iceberg
kafka通过命令行删除指定topic下所有records
由于在windows环境下,在kafka官网下载下来。
RabbitMQ知识掌握 【进阶篇】
1] 保证消息的可靠性投递: confirm机制和return机制[2] 队列中:—持久化[3]使用ack机制保证消费者的可靠性消费。
解决java: 程序包org.apache.hadoop.conf不存在的一种冷门思路
我们在用idea编译Hadoop项目时,明明已经导入了相关的jre依赖包,但是编译时提示包不存在。原因是我们还没在项目的pom.xml文件中配置相关的变量
kafka3.4.0版本升级--helm部署
使用helm将kafka升级至3.4.0版本,修复漏洞。
Flink Web UI不能访问
Flink Web UI无法正常访问排查过程
k8s 部署zookeeper-kafka,nfs作为存储
k8s上安装配置zk与kafka
HIVE基础-文件存储格式
对 HIVE 文件四种主要存储格式(textfile、sequencefile、orc、parquet)进行详细介绍
Flink SQL Print
应安全部门要求,系统对taskmanager.log日志展示数据条数进行了限制。如果您有排查脏数据或特定数据等需求,建议在Where条件中指定业务场景相关条件后,进行print操作,以避免因为2000条的数据条数限制导致无法排查。因为print sink数据输出为info日志,所以如果您需要查看pr
Kafka系列之:自定义转换Transformation
如果可用的单一消息转换 (SMT) 均未提供必要的转换,可以创建自己的转换。首先要理解的一个重要概念是,通常,SMT 实现在抽象类中提供大部分逻辑。SMT 实现然后提供两个具体的子类,称为 Key 和 Value,它们指定是处理 Connect 记录的键还是值。使用转换时,用户指定 Key 或 Va