大数据平台环境搭建---- Zookeeper组件配置
ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在 某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的
（一）PySpark3：安装教程及RDD编程（非常详细）
Apache Spark是一个用于大数据处理的开源分布式计算框架，而PySpark则是Spark的Python 实现。PySpark允许使用Python编程语言来利用Spark的强大功能，使得开发人员能够利用Python的易用性和灵活性进行大规模数据处理和分析。1、语言选择：PySpark： 使用简
Spark SQL自定义collect_list分组排序
2.使用struct和sort_array(array,asc?想要在spark sql中对group by + concat_ws()的字段进行排序，可以参考如下方法。这种方式在大数据量下性能会比较慢，所以尝试下面的操作。因为使用开窗函数本身会使用比较多的资源，
Hive 排名函数ROW_NUMBER、RANK()、DENSE_RANK等功能介绍、对比和举例
例如，如果有 10 名学生，当前学生是按成绩排序后的第 3 名，那么前三名（包括当前学生）的学生数占总学生数的比例即为当前学生的累计分布百分比。如果两个学生的分数相同，他们将共享排名，例如都是排名1，下一个学生的排名将是3（假设只有两个学生分数相同）。说明：使用与 RANK() 相同的数据，DENS
Flink系列之：Apache Kafka SQL 连接器
例如在 SQL client JAR 中，Kafka client 依赖被重置在了 org.apache.flink.kafka.shaded.org.apache.kafka 路径下， 因此 plain 登录模块的类路径应写为 org.apache.flink.kafka.shaded.org.a
Kafka篇——Kafka集群Controller、Rebalance和HW的详细介绍，保姆级教程！
一、概念在Kafka中，Controller是Kafka集群中的一个角色，负责管理集群的元数据、分区分配、副本管理等功能。Controller的主要职责包括：1. 元数据管理：Controller负责维护Kafka集群的元数据，包括broker的存活状态、分区的分配情况、副本的分配情况等。它通过与Z
Spring Cloud使用ZooKeeper作为注册中心的示例
【代码】Spring Cloud使用ZooKeeper作为注册中心的示例。
认识kafka
kafka是一种高吞吐量的分布式发布订阅消息消息队列，有如下特性：可扩展性：Kafka可以处理大规模的数据流，并支持高并发的生产和消费操作。它可以水平扩展以适应负载的增长。持久性：Kafka将消息持久化到磁盘，允许消息在发布和消费之间进行持久存储。这使得消费者能够根据自己的节奏处理数据，并且不会因为
kafka入门用这一篇就够了!
kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。
Flink从入门到实践（二）：Flink DataStream API
/ num>@Override@Override// 最终执行的方法，输出到终端});
【Flink Sink 流数据批量写入数据库】
flink 通过开窗window缓存周期数据构成批，然后下发到sink算子 批量写入 数据库 性能优化
8 分钟看完这 7000+ 字，Flink 时间窗口和时间语义这对好朋友你一定搞得懂！外送窗口计算和水印一并搞懂！！！
场景1：电商场景中计算每种商品每1min的累计销售额。场景2：我们在观看直播时，直播间的右上角会展示最近1min的在线人数，并且每隔1min会更新一次。场景3：一件商品被推荐给我们时，展示着这个商品累计的销量，并且销量还会不断地更新（假设10s更新一次）。当我们仔细分析这3个场景中计算的实时指标时，
菜鸡学习zookeeper源码（三）NIOServer的启动
上一篇写到了QuorumPeer的start方法，里面主要进行执行了loadDataBase方法（进行加载本地的数据信息，具体是怎么进行加载的，没在文章中进行说明，这块小园子也没看，等分析完整体的启动流程之后在进行分析)， 这篇文章的话主要写startServerCnxnFactory方法，在上一篇
RabbitMQ：分布式系统中的高效消息队列
RabbitMQ是一款开源、高度可靠、灵活性强的消息队列系统，被广泛应用于分布式系统中。本文将深入介绍RabbitMQ的背景、核心概念、基本工作原理，并通过实际使用场景来展示如何在应用中集成和使用RabbitMQ，旨在帮助读者更深入地理解RabbitMQ的特点以及如何充分发挥其在分布式系统中的作用。
大数据在零售行业的应用与成功案例
1.背景介绍大数据是指通过各种计算机技术和软件工具来整合、存储、分析和挖掘的数据集，这些数据通常非结构化且非常庞大。随着互联网和人工智能技术的发展，大数据已经成为许多行业的重要驱动力，包括零售行业。零售行业是一种直接向消费者提供商品和服务的经济活动，涉及到的商品和服务包括食品、服装、家居用品、娱乐设
快速了解 Kafka 基础架构
今天来聊下大数据场景下比较流行的消息队列组件 kafka。本篇文章将主要从理论角度来介绍。kafka 是一款开源、追求高吞吐、实时性，可持久化的流式消息队列，可同时处理在线（消息）与离线应用(业务数据和日志)。在如今火热的大数据时代，得到了广泛的应用。
Flink面试知识点：JobManager 和 Task
好迷茫，三本软件工程大三了，才刚学了Spring框架而且还没像样的项目，之前学校还学了python和安卓（很基础），以这个学习进度，下学期想找份像样的实习入行，俺也来试试牛爱网98男，身高173，体重65，河南人在上海读研，已签约上海某大厂，长相帅的一批。收到了快手offer，但开的不满意，想签一个
初识Hadoop-概述与关键技术
高速发展的信息时代，新一轮科技革命和变革正在加速推进，技术创新日益成为重塑经济发展模式和促进经济增长的重要驱动力量，而“大数据”无疑是核心推动力。那么，什么是“大数据”呢？如果从字面意思来看，大数据指的是巨量数据。那么可能有人会问，多大量级的数据才叫大数据？不同的机构或学者有不同的理解，难以有一个非
Flink-CDC实时读Postgresql数据
CDC（Change Data Capture）,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT, DELETE, UPDATE等。用户可以在如下的场景使用cdc：（1）实时数据同步：比如将Postgresql库中的数
RabbitMQ——构建高性能消息传递的应用
大家好，我是chowley，说到消息队列，在我之前的生产者-消费者项目中使用的是ConCurrentLinkedList结构，今天来总结一下主流的消息队列实现——RabbitMQ。RabbitMQ 是一个开源的消息代理软件，最初由 Rabbit Technologies 公司开发，现在是 Pivot
