Chunjun纯钧(Flinkx)同步任务开发通用配置参数详解
Chunjun纯钧(Flinkx)是一款稳定、易用、高效、批流一体的数据集成框架，目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，支持JSON模版配置任务，兼容FlinkSQL语法。本文对chunjun同步任务的配置文件进行详细的介绍和总结。
kafka教程
Topic（主题）是消息的逻辑分类或通道。它是Kafka中用于组织和存储消息的基本单元。一个Topic可以被看作是一个消息发布的地方，生产者将消息发布到一个特定的Topic，而消费者则订阅一个或多个Topic以接收消息。
13 | 云上大数据：云计算遇上大数据，为什么堪称天作之合？
数据是现代应用的核心，也是普遍的需求。云上大数据服务的出现和发展，让我们在云上存储、处理和查询大数据变得简单而高效，它也把云计算的计算存储分离特性，体现得淋漓尽致。所以它们两者呢，真的可以说是天作之合。云计算落地大数据的形式，既有拿来主义、消化吸收，也有推陈出新、自研改进。这也是我喜欢云的一点，它没
Kafka 之 生产者（Producer） 配置
Kafka Producer 是 Kafka 集群的发送消息的客户端，主要就是向某个 Topic 的某个分区发送一条消息。Partitioner 决定向哪个分区发送消息。用户指定 Key，默认的分区器会根据 Key 的哈希值来选择分区，如果没有指定 Key 就以轮询的方式选择分区。也可以自定义分区策
kafka的安装，用于数据库同步数据
如果说 Specified-Offset 策略要求你指定位移的绝对数值的话，那么 Shift-By-N 策略指定的就是位移的相对数值，即你给出要跳过的一段消息的距离即可。有时候你可能会碰到这样的场景：你修改了消费者程序代码，并重启了消费者，结果发现代码有问题，你需要回滚之前的代码变更，同时也要把位移
实验三-HBase数据库操作
第一步：首先登陆ssh，之前设置了无密码登陆，因此这里不需要密码；再切换目录至/usr/local/hadoop ；再启动hadoopssh localhostcd /usr/local/hadoop./sbin/start-dfs.sh输入命令jps，能看到NameNode,DataNode和Se
MySQL与ApacheFlink的集成与开发
1.背景介绍MySQL与ApacheFlink的集成与开发1. 背景介绍MySQL是一种流行的关系型数据库管理系统，广泛应用于Web应用程序、企业应用程序和数据仓库等领域。Apache Flink是一个流处理框架，用于处理大规模的实时数据流。在大数据时代，MySQL和Apache Flink之间的集
【云原生进阶之PaaS中间件】第三章Kafka-4.3.2-broker网络模型
kafka broker 在启动的时候，会根据你配置的listeners 初始化它的网络组件，用来接收外界的请求，这个listeners你可能没配置过，它默认的配置是listeners=PLAINTEXT://:9092就是告诉kafka使用哪个协议，监听哪个端口，如果我们没有特殊的要求的话，使用它
【基础知识】大数据组件HBase简述
HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。只是面向列，不是列式存储。
Spark大数据分析与实战笔记（第三章 Spark RDD 弹性分布式数据集-04）
设置检查点(checkPoint)方式，本质上是将RDD写入磁盘进行存储。当RDD在进行宽依赖运算时，只需要在中间阶段设置一个检查点进行容错，即通过Spark中的sparkContext对象调用setCheckpoint()方法，设置一个容错文件系统目录(如HDFS）作为检查点checkpoint，
hive/sparksql/presto 时区转换和时间类型转换
hive/sparksql/presto 时区转换和时间类型转换
删除和清空Hive外部表数据
内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这
深入学习Kafka之概念解析
在 Kafka 集群中会有一个或多个 broker，其中有一个 broker 会被选举为控制器( Kafka Controller)，它负责管理整个集群中所有分区和副本的状态。生产者（Producers）将消息发布到特定的Topic，而消费者（Consumers）则订阅感兴趣的Topic以消费其中的
【大数据面试题】007 谈一谈 Flink 背压
在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。
python智慧交通数据分析系统 时间序列预测算法 爬虫 出行速度预测 拥堵预测 大数据 毕业设计（源码）✅
python智慧交通数据分析系统 时间序列预测算法 爬虫 出行速度预测 拥堵预测 大数据 毕业设计（源码）✅
Spark On Hive原理和配置
包含Hive、MySQL等安装配置
【UE插件DTRabbitMQ】 虚幻引擎蓝图连接RabbitMQ服务器使用插件说明
本插件可以使用蓝图连接 RabbitMQ服务器，并推送或者监听消息。
大数据背景下用户商品购买体系的自动化分析
随大数据的发展，中大型商户渐渐需要依靠大数据对顾客进行更深层次的了解。为了保证中大型商户的利益最大化，常常需要对用户进行动态采样，适当获取用户个人信息，匹配到他们真正想要的产品，因此，了解一样商品的复购率就显得尤为重要了。
大数据Doris（六十四）：Doris on ES在快手商业化的业务场景介绍
理论上都是维表主键为唯一ID来填充所有维度，这样只是冗余存储了多条维度数据，但是在OLAP引擎里，不管是DRUID、KYLIN还是DORIS都不会造成数据量的基数膨胀。维度数据与事实数据完全分离，维度数据用专门的引擎存储(如mysql、elasticsearch等等)，可以支持高频update操作，
Linux系统下Spark的下载与安装（pyspark运行示例）
最近需要完成数据课程的作业，因此实践了一下如何安装并配置好spark。
