2024.1.15 Spark 阶段原理,八股,面试题
spark是一款大数据统一分析引擎,底层数据结构是RDD1- 轮询分发策略:kafka老版本的策略,当生产数据的时候,只有value但是没有key的时候,采用轮询优点: 可以保证每个分区拿到的数据基本是一样，因为是一个一个的轮询的分发缺点: 如果采用异步发送方式，意味着一批数据发送到broker端，
【flink番外篇】22、通过 Table API 和 SQL Client 操作 Catalog 示例
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和S
【Flink-CDC】Flink CDC 介绍和原理概述
CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。经过以上对比，我们可以发现基于
RabbitMQ--MQ介绍和RabbitMQ安装
初识MQ和安装RabbitMQ
RabbitMQ之死信交换机
在了解死信交换机之前我们先了解什么是死信消息变成死信一般是由于以下几种情况：1.消息在处理过程中多次重试仍然失败，达到预定的重试次数上限；2.），并且设置requeue参数为false；3.消息在队列中等待时间过长，超过了设置的过期时间；4.当消息队列的长度达到上限时，新的消息可能成为死信。死信交换
python毕设选题 - 大数据电商用户行为分析 -python 大数据
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的淘宝用户行为分析🥇学长这里给
Java农业大数据养猪平台管理系统(开题+源码)
养猪平台管理系统的建立，可以实现对养猪生产过程的全面监控和管理，提高生产效率，降低成本，提高产品质量。此外，系统还可以对养猪生产过程中的病情、饲料等信息进行实时监控和分析，为养殖户提供更加科学、合理的养殖方案。本研究旨在开发一款基于大数据技术的养猪平台管理系统，实现对养猪生产过程的全面监控和管理，提
Ubuntu 16.04——Hadoop集群安装配置
hadoop 集群安装配置分为两个部分，一个部分是主节点（Master）和 从节点（Slave），两个部分需要完成的配置有一定的不同；总的来说，Master 所需要做的会比 Slave 会多一些。下面会演示两个部分需要做的事情；由于各台主机情况会有所不同，所以在报错的时候也会有一些的不一样，所以该文
大数据背后的绿色收割：基于Hadoop的农产品价格信息智能分析
通过本文的深度分析，读者将更全面地了解如何利用Hadoop等技术，从海量的农产品数据中挖掘出有价值的信息，为农业决策提供更加科学的支持。这个技术创新将农业与大数据相结合，为绿色农业的发展带来新的机遇和挑战。
flink内存管理（三）：MemorySegment内存使用场景：托管内存与网络内存
flink内存管理（三）：MemorySegment内存使用场景：托管内存与网络内存的使用
Hadoop 3.2.4 集群搭建详细图文教程
Hadoop 集群包括两个集群：HDFS 集群、YARN 集群。两个集群逻辑上分离、通常物理上在一起；两个集群都是标准的主从架构集群。逻辑上分离两个集群互相之间没有依赖、互不影响物理上在一起某些角色进程往往部署在同一台物理服务器上MapReduce 集群呢？MapReduce 是计算框架、代码层面的
大数据 - Hadoop系列《三》- HDFS（分布式文件系统）概述
当HDFS系统的存储空间不够时,我们只需要添加一台新的机器到当前集群中即可完成扩容,这就是我们所说的横向扩容,而集群的存储能力,是按照整个集群中的所有的机器的存储能力来计算的,这也就是我们所说的高扩容性。,如果使用多台计算机进行存储,虽然解决了数据的存储问题,但是后期的管理和维护成本比较高,因为我们
Hive-SQL语法大全
]，表示可选，如上[LOCATION]表示可写、可不写，表示或，如上ASC | DESC，表示二选一…，表示序列，即未完结，如上表示在SELECT后可以跟多个，以逗号隔开()，表示必填，如上(A | B | C)表示此处必填，填入内容在A、B、C中三选一。
kafka中，使用ack提交时，存在重复消费问题
kafka中，使用ack提交时，存在重复消费问题
代立冬：基于Apache Doris+SeaTunnel 实现多源实时数据仓库解决方案探索实践
Apache SeaTunnel 的整体架构是无中心化的，类似于 DolphinSchedule 的设计，已经是非常成熟的一个架构了。这种设计可以保证数据从源到目标的流畅传输。它的核心思想是将任务分解成多个 pipeline，如果某个链条出现问题，用户只需回滚相应的链条，而不是整个作业。这种设计在时
flink中的row类型详解
在Apache Flink中，`Row` 是一个通用的数据结构，用于表示一行数据。`Row` 可以看作是一个类似于元组的结构，其中包含按顺序排列的字段。在这个例子中，我们首先定义了一个 `RowTypeInfo`，描述了 `Row` 中两个字段的数据类型。然后，我们创建一个 `Row` 对象，设置了
kafka常用命令
kafka命令
大数据开发之kafka（完整版）
第 1 章：Kafka概述1.1 定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。1.2 消息队列目前企业中比较常见的消息队列产品主要有Kafk
hbase虚拟机搭建及使用
项目里要记录k-v键值对，且数据量非常庞大达到T级别，传统的关系型数据库扛不住查询压力。hbase对于大数据量的查询支持比较优秀。
zookeeper与kafka
同一分区的不同副本中保存的是相同的消息(在同一时刻，副本之间并非完全一样)，副本之间是"一主多从"的关系，其中leader副本负责处理读写请求，foller副本只负责与leader副本的消息同步。其中包含了所有主题，分区和副本的信息。具体来说，Queues.drain()方法会调用队列的take()
