Flink窗口与WaterMark
本文目录窗口的生命周期Window Assigners窗口函数（Window Functions）TriggersEvictorsAllowed Lateness窗口窗口（Window）是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中，再对每个“桶”加以处理。本文的重心将放在 Flin
RabbitMQ五大常用工作模式
简单模式一个生产者一个消费者，不用指定交换机，使用默认交换机工作队列模式一个生产者多个消费者，可以有轮训和公平策略，不用指定交换机，使用默认交换机发布订阅模式fanout类型交换机，通过交换机和队列绑定，不用指定绑定路由键，生产者发送消息到交换机，fanout交换机直接进行转发，消息不用指定rout
rabbitmq知识梳理
多个消费者绑定到一个队列，同一条消息只会被一个消费者处理通过设置prefetch来控制消费者预取的消息数量交换机的作用是什么？接收publisher发送的消息将消息按照规则路由到与之绑定的队列不能缓存消息，路由失败，消息丢失FanoutExchange的会将消息路由到每个绑定的队列描述下Direct
电子商务跨境电商大数据的关键技术之—主流电商大数据采集
大数据采集涵盖多种数据类型和格式，如结构化、半结构化和非结构化的数据，包括文本、图像、音频、视频等各种形式的数据。采集到的原始数据往往有噪音、冗余和不一致等问题，需要进行数据清洗和处理以提高数据的准确性和可用性。大数据采集涉及数据源的多样性，包括传感器、社交媒体、移动设备、日志文件、数据库等。根据需
探究Kafka原理-5.Kafka设计原理和生产者原理解析
如果将 retries 参数配置为非零值，并且 max .in.flight.requests.per.connection 参数配置为大于 1 的值，那可能会出现错序的现象：如果批次 1 消息写入失败，而批次 2 消息写入成功，那么生产者会重试发送批次 1 的消息，此时如果批次 1 的消息写入成功
pyspark设置了环境变量,调用python函数就报错,求指点(已解决)
pyspark设置了环境变量,运行会报错
【Flink网络通讯（一）】Flink RPC框架的整体设计
【Flink网络通讯（一）】Flink RPC框架的整体设计
Spark大数据分析与实战笔记（第三章 Spark RDD 弹性分布式数据集-05）
Spark的任务调度是指Spark集群中的任务如何被调度和执行。Spark的任务调度主要基于两个概念：DAG和RDD。DAG是有向无环图（Directed Acyclic Graph）的简称，用来描述Spark作业中的任务依赖关系。在Spark中，作业被划分为多个阶段（Stage），每个阶段包含一组
C#系列-C#访问MongoDB+redis+kafka（7）
使用查询过滤器Builders.Filter.Empty来查询集合中的所有文档，并将它们打印到控制台。我们创建了一个BsonDocument（MongoDB C#/.NET Driver中的动态文档类型），并将其插入到集合中。现在您可以使用db对象执行各种Redis命令，如设置值、获取值、删除键等。
FlinkCDC详解
flink的cdc详解
Hadoop
namenode是知道所有文件的块列表以及块列表的位置的，比如这个文件有3个块 1，2，3，分别在datanode1 datanode2 datanode3的位置上。当datanode启动的时候，会告诉namenode，说：“大哥，我启动了”，然后将自己负责的文件的块列表，也就是自己管理了哪些文件的
2024.2.10 HCIA - Big Data笔记
MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算,存储优势及大数据行业经验,为客户提供高性能,低成本,灵活易用的全栈大数据平台,为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，
JAVA操作Rabbitmq-原理讲的很详细
这是转自稀土掘金，详细介绍Rabbitmq的文章，代码都用JAVA实现，值得收藏
springboot整合RabbitMQ,RabbitMQ实现高级特性消息不丢失
RabbitMq保证消息不丢失
大数据学习之Flink算子、了解DataStream API（基础篇一）
注： 本文只涉及DataStream。
Python调用pyspark报错整理
Pycharm配置了SSH服务器和Anaconda的python解释器，如果没有配置可参考。
Linux安装zookeeper&kafka
此文基于debian12，centos也适用 因为zookeeper依赖jdk环境 预先安装好jdk。
Flink中ExecutionGraph的构建
在JobGraph向ExecutionGraph转化的过程中，主要的工作内容根据Operator的并行度来拆分JobVertext,每一个Jobvertex根据自身并行度会拆分成多个ExecutionVertex,使用IntermediateResultPartition对象来接收Execution
flink1.18.0 sql-client报错
【代码】flink1.18.0 sql-client报错。
Spark编程实验六：Spark机器学习库MLlib编程
通过Spark机器学习库MLlib编程实验掌握基本的MLLib编程方法；掌握用MLLib解决一些常见的数据分析问题，包括数据导入、成分分析和分类和预测等。
