Hive SQL 迁移 Flink SQL 在快手的实践

快手数据架构工程师张芒,阿里云工程师刘大龙,在 Flink Forward Asia 2022 生产实践专场的分享。

Prometheus实战教程:监控Kafka消息

使用prometheus+Grafana+kafka_exporter+kafka实现监控Kafka运行状态

消息队列高频面试题[2023版本(包括RabbitMQ和RocketMQ 和 Kafka)]

本文主要介绍 消息队列 的部分高频面试题, 涵盖 RabbitMQ, RocketMQ 和 Kafka 部分;

RabbitMQ的使用详解

MQ(message queue),本质是个队列,FIFO先入先出。只不过队列中放的是message,是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是一种非常常见的上下游解耦的消息通信服务。使用了MQ之后,消息发送上游只需要依赖MQ,不用依赖其他服务。

工具篇--4.1RabbitMq--常用配置参数详解

控制使用一个 RabbitMQ 连接创建的 channel 数量,即 RabbitMQ 连接池中缓存连接时每个连接中的 channel 的数量,缓存的目的是减少连接和销毁的开销。sring.rabbitmq.cache.channel.checkout-timeout 是 Spring Boot 集

elasticsearch安装及配置,遇到9200访问不了以及中文乱码,能访问了却要账户密码等问题

下载的压缩包解压到最好是无中文目录的路径下,以免中文乱码。解压好之后里面的目录目录讲解在bin目录下cmd到控制台.在控制台输入elasticsearch就可以启动了,也可以双击bin目录下的elasticsearch.bat启动。解决9200访问不了,中文乱码,账户有密码等问题

Kafka安全性配置最佳实践

Kafka安全性配置最佳实践一、Kafka 安全性配置1. 安全配置的必要性提高 Kafka 系统的可靠性添加认证配置 代码示例:添加 SSL 配置 代码示例:二、安全性配置的要素2.1 认证2.1.1 SSL 安全协议2.1.2 SASL 验证机制2.2 授权2.2.1 ACL 权限控制2.2.2

虚拟机中安装RabbitMQ及使用(超详细)

虚拟机中安装RabbitMQ及使用

ES_深度分页概念与解决方案

Es深度分页概念与解决方案

[选型] 实时数仓之技术选型

关于实时数仓的选型● 如果选择hbase,建议选择kudu● 如果选择kudu, 还可以选择doris● 如果选择doris,建议选择iceberg

kafka通过命令行删除指定topic下所有records

由于在windows环境下,在kafka官网下载下来。

RabbitMQ知识掌握 【进阶篇】

1] 保证消息的可靠性投递: confirm机制和return机制[2] 队列中:—持久化[3]使用ack机制保证消费者的可靠性消费。

解决java: 程序包org.apache.hadoop.conf不存在的一种冷门思路

我们在用idea编译Hadoop项目时,明明已经导入了相关的jre依赖包,但是编译时提示包不存在。原因是我们还没在项目的pom.xml文件中配置相关的变量

kafka3.4.0版本升级--helm部署

使用helm将kafka升级至3.4.0版本,修复漏洞。

Flink Web UI不能访问

Flink Web UI无法正常访问排查过程

k8s 部署zookeeper-kafka,nfs作为存储

k8s上安装配置zk与kafka

HIVE基础-文件存储格式

对 HIVE 文件四种主要存储格式(textfile、sequencefile、orc、parquet)进行详细介绍

Flink SQL Print

应安全部门要求,系统对taskmanager.log日志展示数据条数进行了限制。如果您有排查脏数据或特定数据等需求,建议在Where条件中指定业务场景相关条件后,进行print操作,以避免因为2000条的数据条数限制导致无法排查。因为print sink数据输出为info日志,所以如果您需要查看pr

Kafka系列之:自定义转换Transformation

如果可用的单一消息转换 (SMT) 均未提供必要的转换,可以创建自己的转换。首先要理解的一个重要概念是,通常,SMT 实现在抽象类中提供大部分逻辑。SMT 实现然后提供两个具体的子类,称为 Key 和 Value,它们指定是处理 Connect 记录的键还是值。使用转换时,用户指定 Key 或 Va

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈