说说Flink双流join
state数据保存多久，会内存爆炸吗 state自带有ttl机制，可以设置ttl过期策略，触发Flink清理过期state数据。为什么我的双流join时间到了却不触发，一直没有输出 检查一下watermark的设置是否合理，数据时间是否远远大于watermark和窗口时间，导致窗口数据经常为空。实现
ZooKeeper基础命令和Java客户端操作
通过telnet或nc向zookeeper提交相应命令，如：echo ruok | nc 127.0.0.1 2181。zookeeper支持某些特定的四字命令，他们大多是用来查询ZK服务的当前状态及相关信息的。2）set 节点 value值 set /test atguigu。运行公式：e
最新版Flink CDC MySQL同步Elasticsearch（一）
（需要自行进行构建编译，笔者构建的已经上次至次博客。需要可以进行下载，csdn需要积分下载，无法设置免费的，需要免费版可以直接联系笔者）首先我们要基于Flink CDC MySQL同步MySQL的环境基础上（flink-1.17.1、Java8、MySQL8）搭建。，笔者的Flink CDC MyS
Linux安装Flink及其环境配置
使用StandAlone模式，需要启动Flink的主节点JobManager以及从节点TaskManager（1）Application模式（2）Per-Job模式（3）Session模式。
权限管理-Ranger的介绍和使用(集成Hive)
Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架，它可以为整个Hadoop生态系统提供全面的安全管理。随着企业业务的拓展，企业可能在多用户环境中运行多个工作任务，这就需要一个可以对安全策略进行集中管理，配置和监控用户访问的框架。Ranger由此产生！Ranger的官网：ht
【大数据】Linkis：打通上层应用与底层计算引擎的数据中间件
Linkis 基于微服务架构，提供了金融级多租户隔离、资源管控、权限隔离等企业级特性，支持统一变量、UDF、函数、用户资源文件管理，具备高并发、高性能、高可用的大数据作业 / 请求全生命周期管理能力。
大数据平台搭建之hive连接mysql
linux中mysql的安装、hive本地模式的搭建
DataX二次开发——（4）新增hivereader、hivewriter
DataX3.0 官方版本里面目前只支持了hdfs的读写，不支持hive的读写，基于原有的hdfsreader和hdfswriter开发了hivereader和hivewriter。
数据中台的数据分析与可视化：从数据仓库到数据中台
作者：禅与计算机程序设计艺术 数据中台（Data Mart）是一种新的IT架构模式，它可以帮助企业解决现代企业信息化发展中的关键问题：海量数据的存储、分析处理和服务，包括但不限于报表生成、数据质量管理、数据驱动的业务决策、流量调控、风险预测等。数据中台融合了数据
CentOS7 Hadoop3.3.0 安装与配置
hadoop安装
数据挖掘十大算法之Apriori算法
文章目录1. “啤酒与尿布”的案例2. Aprior算法核心术语事物集记录(事务)项目(项)项目集(项集)K项集支持度(Support)置信度(Confidence)最小支持度(min_support)最小置信度(min_confidence)提升度频繁K项（目）集候选K项（目）集3. Aprior
Hadoop——Windows系统下Hadoop单机环境搭建
Hadoop环境搭建流程
Sqoop（二）：Hive导出数据到Oracle
Hive导出数据到Oracle及多张表自动化跑数
Flink中的自定义参数与模型配置
作者：禅与计算机程序设计艺术 在企业级生产环境中，由于各种各样的原因，通常会要求对一些组件的参数进行定制化设置，或者需要加载外部配置文件来控制一些组件的行为。目前，Apache Flink 提供了基于配置文件的动态参数配置方式，能够灵活地调整组件运行时的参数。除
一种多策略下RabbitMQ的延时队列实现
最近在开发一款系统中遇到这样一个场景,A系统开通套餐需要把套餐信息以邮件的形式发送给相关工作人员,经过人工审核通过后,在B系统里面开通,A系统会调B系统套餐列表接口查询套餐是否开通成功,开通成功则从A系统去完成订单,假如超过设定时间未开通成功,则关闭订单并退费.(这东西俗称"套娃")这时候用Rabb
Apache zookeeper kafka 开启SASL安全认证 —— 筑梦之路
Kafka是一个高吞吐量、分布式的发布-订阅消息系统。Kafka核心模块使用Scala语言开发，支持多语言（如Java、Python、Go等）客户端，它可以水平扩展和具有高吞吐量特性而被广泛使用，并与多类开源分布式处理系统进行集成使用。Kafka作为一款开源的、轻量级的、分布式、可分区和具备复制备份
Kafka 概述
Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据实时处理领域。
Kafka消息传递保障——事务与幂等
消息传递保障对于分布式系统的可靠性至关重要。在分布式系统中消息传递保障是确保系统可靠性的核心问题之一。系统需要确保消息能够按照预期的方式进行传递，以满足业务需求。Kafka是一种分布式的消息队列系统，作为消息中间件常用于实现基于发布/订阅模型的消息传递服务。因此在Kafka中需要提供消息传递保障。
使用Spring Boot和Kafka实现消息发送和订阅
使用spring boot和kafka实现消息订阅和发送
Hudi系列13:Hudi集成Hive
Hudi集成hive
