flink-connector-mysql-cdc编译——flink-1.15.2版本
目前flink cdc的版本不支持flink1.15.*版本,可以自己编译cdc的源码,本文主要介绍编译过程中遇到的问题和需要注意的地方
Centos7 安装 RabbitMQ-3.8.1
如果rabbitmq安装报错,在线安装socat。
【SQL开发实战技巧】系列(十三):讨论一下常用聚集函数&通过执行计划看sum()over()对员工工资进行累加
本篇文章讲解的主要内容是:***常用聚集函数及group by与空值的影响、详解通过执行计划看sum()over()分析函数。***
7、Flink中的状态
Flink中的状态一、Flink中的状态1、算子状态1.2 算子状态数据结构一、Flink中的状态由一个任务维护,并且用来计算某个结果的所有数据,都属于这个任务的状态。可以认为状态就是一个本地变量,可以被任务的业务逻辑访问。Flink会进行状态管理,包括状态一致性、故障处理以及高效存储和访问,以便开
为什么要使用elasticsearch
起初最早接触es的时候,是听老师傅说:“es无所不能”。 也正是因为这句话,让我对es有了很强的好奇心。后边开始接触他,做10亿数据场景的搜索,做优化。再后来去看源码,然后有机会在es源码中做修改,添加功能。然后又接触2000亿数据级别的搜索,以及优化。 下边我来谈谈es不可抗拒的优势,以及如何做到
Canal安装与配置,推送数据到kafka
Canal安装与配置,并推送数据到kafka
32.flink sql 语法大全
flink table api 之 time Attributes, which supports standard ANSI SQL(ANSI SQL是sql语言标准).Calcite 是什么?如果用一句话形容 Calcite,Calcite 是一个用于优化异构数据源的查询处理的基础框架。最近十几
kafka数据和日志目录迁移教程
简介Kafka在运行的过程中,存储在磁盘上的数据会逐渐扩大,甚至会撑爆系统盘,在线上环境我们通常会把kafka的数据存储目录和日志存储目录迁移到磁盘中,或者扩容kafka的存储磁盘。本文将一站式解决kafka的磁盘存储或扩容问题。
什么是BPM系统?BPM流程管理系统介绍
BPM系统(英文全称:Business Process Management,翻译后简称BPM)即业务流程管理系统,是指对端到端业务流程进行建模、分析和优化,以实现战略业务目标,其特点是注重流程驱动为核心,实现端到端全流程信息化管理。BPM方法可以应用于经常重复、正在进行或可预测的任务和流程。
Ambari 2.7.7源码编译
ambari 2.7.7 源码编译
windows下 zookeeper 安装和启动
windows下 zookeeper 安装和启动zookeeper是开放源码的分布式应用程序协调服务,可以作为dubbo等服务的注册中心,也可以在分布式系统中实现分布式锁。ZooKeeper的基本运转流程:1、选举Leader。(选举leader可以参考 https://blog.csdn.net/
CDH 端口未授权访问:hdfs-50070, yarn-8088, jetty漏洞修复
【代码】CDH 端口未授权访问:hdfs-50070, yarn-8088, jetty漏洞修复。
Spark-序列化、依赖关系、持久化
Spark-序列化、依赖关系、持久化
kafka开启JMX,EFAK要监控kafka服务器?
kafka开启JMX,EFAK要监控kafka服务器?
DolphinScheduler 简介及安装部署(集群)
一、 DolphinScheduler简介1.1 DolphinScheduler概述 Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。1.2 DolphinSche
Hadoop基础之《(1)—大数据基本概念》
1、Spark本身也是一个计算框架,它和Hadoop的MapReduce对比。不同点是Spark是一个基于内存的计算,MapReduce是基于磁盘的计算,Spark速度会比Hadoop快2-3倍。2、Spark也有Spark SQL的这个模块,让用户在Spark的API上面去写SQL。Hive的执行
解决kafka启动成功后然后又关闭了的问题
如果不知道的自己的kafka的log.Dirs路径,可以去kafka的config目录下的servers.properties。如果不知道cluster.id值,可以去kafka的日志目录中查看报错信息,里面有cluster_id。原因:可能是meta.properties中cluster_id值有
7.30日重新更新下 VMOS真机抓包教程(手机再也不用root了)
7.30日更新下 VMOS真机抓包教程(手机不用root也能抓包了~)细致化教学!!图文齐全!
【毕业设计】大数据房价数据分析可视化 - python
🔥 Hi,大家好,这里是丹成学长的毕设系列文章!🔥 对毕设有任何疑问都可以问学长哦!这两年开始,各个学校对毕设的要求越来越高,难度也越来越大… 毕业设计耗费时间,耗费精力,甚至有些题目即使是专业的老师或者硕士生也需要很长时间,所以一旦发现问题,一定要提前准备,避免到后面措手不及,草草了事。为了
Delta Lake 是什么?
Delta Lake 是一个开源项目,它可以运行在你现有的数据湖之上,可以在数据湖上构建湖仓一体架构,并且与 Apache Spark API 完全兼容。