【Spark】concat、concat_ws函数的使用
concat、concat_ws函数的使用
Apache DolphinScheduler——开源大数据调度器神器（国人之光）
本文已参与「新人创作礼」活动，一起开启掘金创作之路。
【Flink】1.Flink集群部署
flink集群部署：standalone和flink-on-yarn
Kettle的安装以及简单使用
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。下载好后将文件解压，将里面的 mysql-connector-java-8.0.28.jar 放到，ke
kafka 是如何清理过期数据
kafka 是如何清理过期数据
数学建模常用模型——回归
今天我们来介绍一下回归。回归在百度百科里面的定义是：回归是一种数学模型，研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。通常Y1，Y2，…，Yi是因变量，X1、X2，…，Xk是自变量。回归主要的种类有：线性回归、曲线回归、lo
四，Eureka 第四章
【代码】四，Eureka 第四章。
RabbitMq消息堆积问题及惰性队列
普通的队列会设置一个预警值默认40% 当队列到了40%时，mqBroker 会阻止生产者发送消息。而惰性队列呢在接收消息后会直接写到磁盘，所以不会触发队列的存储预警，性能具有稳定性，延迟性。当生产者发送消息的速度超过了消费者处理的速度，就会导致队列的消息堆积，知道队列存储消息达到上限。最早接受的消息
doker安装RabbitMQ以及用java连接
Rabbitmq入门demo
GreenPlum中性能调优之shared_buffers修改
shared_buffers：该参数决定了 Greenplum 数据库在内存中缓存数据的大小。官方文档中建议修改为机器物理内存的1/8-1/4，书籍推荐10-25%。问题背景：刚刚安装完的GreenPlum集群默认shared_buffers为128MB，为了提升系统性能需要修改。所以节点（mast
Flink Kafka-Source
Flink Kafka-Source
Pega之认证
Pega 业务架构师认证（PCBA）版本 8.7: PEGAPCBA87V1Pega 系统架构师认证（PCSA）版本 8.7: PEGAPCSA87V1Pega 高级系统架构师认证（PCSSA）版本 8.7: PEGAPCSSA87V1Pega 数据科学家认证（PCDS）版本 8.7: PEGAPC
6、Flink四大基石之Window详解与详细示例（一）
流计算中一般在对流数据进行操作之前都会先进行开窗，即基于一个什么样的窗口上做这个计算。Flink提供了开箱即用的各种窗口，比如滑动窗口、滚动窗口、会话窗口以及非常灵活的自定义的窗口。在流处理应用中，数据是连续不断的，有时需要做一些聚合类的处理，例如在过去的1分钟内有多少用户点击了我们的网页。在这种情
GPCC全球降水数据集下载并使用MATLAB进行读取分析--以长江流域为例
GPCC降水数据集、matlab时间序列分析、周年振幅、相位、线性趋势
flink数据延迟原因及详细处理方案
在java开发中flink遇到数据延迟到达的问题及解决方案
ZooKeeper 的架构是怎样的？
本文详解了 ZooKeeper 的相关知识，包括其架构、通信方式等。本文包含 ZooKeeper 的架构图，并对其进行了详细的描述。同时还画出了ZooKeeper 中 Leader/Follower/Observer 之间的通信流程图，并对其进行了简要的解释。
第三部分：Spark调优篇
Spark优化包括：常规性能调优、算子调优、Shuffle调优、JVM调优、数据倾斜方面的调优等知识点
RabbitMQ错误java.util.concurrent.TimeoutException:空
RabbitMQ错误java.util.concurrent.TimeoutException:空 出现的原因以及解决办法
Hadoop常用命令
hdfs dfs -copyFromLocal /local/data/file.txt /hadoop/data :将本地文件上传到hdfs上(原路径只能是一个文件)hadoop dfs -put /local/*.txt /hadoop/path/ :put和 copyFromLoc
Flink是什么
其中，JobManager和TaskManager进程是Flink的核心进程，负责实际的任务执行和作业管理。Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎，它支持批处理和流处理，并提供了丰富的API和库，是实时数据处理的理想选择。JobManager进程：负责接收提交的作业并分配任务
