flink-connector-mysql-cdc编译——flink-1.15.2版本

目前flink cdc的版本不支持flink1.15.*版本,可以自己编译cdc的源码,本文主要介绍编译过程中遇到的问题和需要注意的地方

Centos7 安装 RabbitMQ-3.8.1

如果rabbitmq安装报错,在线安装socat。

【SQL开发实战技巧】系列(十三):讨论一下常用聚集函数&通过执行计划看sum()over()对员工工资进行累加

本篇文章讲解的主要内容是:***常用聚集函数及group by与空值的影响、详解通过执行计划看sum()over()分析函数。***

7、Flink中的状态

Flink中的状态一、Flink中的状态1、算子状态1.2 算子状态数据结构一、Flink中的状态由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态。可以认为状态就是一个本地变量,可以被任务的业务逻辑访问。Flink会进行状态管理,包括状态一致性、故障处理以及高效存储和访问,以便开

为什么要使用elasticsearch

起初最早接触es的时候,是听老师傅说:“es无所不能”。 也正是因为这句话,让我对es有了很强的好奇心。后边开始接触他,做10亿数据场景的搜索,做优化。再后来去看源码,然后有机会在es源码中做修改,添加功能。然后又接触2000亿数据级别的搜索,以及优化。 下边我来谈谈es不可抗拒的优势,以及如何做到

Canal安装与配置,推送数据到kafka

Canal安装与配置,并推送数据到kafka

32.flink sql 语法大全

flink table api 之 time Attributes, which supports standard ANSI SQL(ANSI SQL是sql语言标准).Calcite 是什么?如果用一句话形容 Calcite,Calcite 是一个用于优化异构数据源的查询处理的基础框架。最近十几

kafka数据和日志目录迁移教程

简介Kafka在运行的过程中,存储在磁盘上的数据会逐渐扩大,甚至会撑爆系统盘,在线上环境我们通常会把kafka的数据存储目录和日志存储目录迁移到磁盘中,或者扩容kafka的存储磁盘。本文将一站式解决kafka的磁盘存储或扩容问题。

什么是BPM系统?BPM流程管理系统介绍

​BPM系统(英文全称:Business Process Management,翻译后简称BPM)即业务流程管理系统,是指对端到端业务流程进行建模、分析和优化,以实现战略业务目标,其特点是注重流程驱动为核心,实现端到端全流程信息化管理。BPM方法可以应用于经常重复、正在进行或可预测的任务和流程。

Ambari 2.7.7源码编译

ambari 2.7.7 源码编译

windows下 zookeeper 安装和启动

windows下 zookeeper 安装和启动zookeeper是开放源码的分布式应用程序协调服务,可以作为dubbo等服务的注册中心,也可以在分布式系统中实现分布式锁。ZooKeeper的基本运转流程:1、选举Leader。(选举leader可以参考 https://blog.csdn.net/

CDH 端口未授权访问:hdfs-50070, yarn-8088, jetty漏洞修复

【代码】CDH 端口未授权访问:hdfs-50070, yarn-8088, jetty漏洞修复。

Spark-序列化、依赖关系、持久化

Spark-序列化、依赖关系、持久化

kafka开启JMX,EFAK要监控kafka服务器?

kafka开启JMX,EFAK要监控kafka服务器?

DolphinScheduler 简介及安装部署(集群)

一、 DolphinScheduler简介1.1 DolphinScheduler概述  Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。1.2 DolphinSche

Hadoop基础之《(1)—大数据基本概念》

1、Spark本身也是一个计算框架,它和Hadoop的MapReduce对比。不同点是Spark是一个基于内存的计算,MapReduce是基于磁盘的计算,Spark速度会比Hadoop快2-3倍。2、Spark也有Spark SQL的这个模块,让用户在Spark的API上面去写SQL。Hive的执行

解决kafka启动成功后然后又关闭了的问题

如果不知道的自己的kafka的log.Dirs路径,可以去kafka的config目录下的servers.properties。如果不知道cluster.id值,可以去kafka的日志目录中查看报错信息,里面有cluster_id。原因:可能是meta.properties中cluster_id值有

7.30日重新更新下 VMOS真机抓包教程(手机再也不用root了)

7.30日更新下 VMOS真机抓包教程(手机不用root也能抓包了~)细致化教学!!图文齐全!

【毕业设计】大数据房价数据分析可视化 - python

🔥 Hi,大家好,这里是丹成学长的毕设系列文章!🔥 对毕设有任何疑问都可以问学长哦!这两年开始,各个学校对毕设的要求越来越高,难度也越来越大… 毕业设计耗费时间,耗费精力,甚至有些题目即使是专业的老师或者硕士生也需要很长时间,所以一旦发现问题,一定要提前准备,避免到后面措手不及,草草了事。为了

Delta Lake 是什么?

Delta Lake 是一个开源项目,它可以运行在你现有的数据湖之上,可以在数据湖上构建湖仓一体架构,并且与 Apache Spark API 完全兼容。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈