kubernetes集群 应用实践 kafka部署
zookeeper在kafka集群中的作用一、Broker注册二、Topic注册三、Topic Partition选主四、生产者负载均衡五、消费者负载均衡。
【分布式技术专题】「Zookeeper中间件」Paxos协议的原理和实际运行中的应用流程分析
Paxos算法是莱斯利·兰伯特(Leslie Lamport)1990年提出的一种基于消息传递的一致性算法。一个进程或者服务节点可能同时充当多种角色，可能既是Proposer又是Acceptor又是Learner。只要Proposer发的提案被Acceptor接受（半数以上的Acceptor同意才行
Hadoop伪分布基本搭建
ping baidu.com 实验网络是否通。systemctl status firewalld # 查看防火墙状态。systemctl disable firewalld # 取消防火墙自启动。systemctl stop firewalld # 关闭
Spark---Master启动及Submit任务提交
Spark集群启动之后，首先调用$SPARK_HOME/sbin/start-all.sh，start-all.sh脚本中调用了“start-master.sh”脚本和“start-slaves.sh”脚本，在start-master.sh脚本中可以看到启动Master角色的主类：“org.apac
基于SpringBoot+大数据城市景观画像可视化设计和实现
# 背景意义：Java与大数据城市景观画像可视化的设计与实现随着城市化进程的加速，城市景观成为反映城市文化、环境和发展水平的重要标志。城市景观不仅是城市居民生活的一部分，更是城市形象的重要组成部分。同时，随着大数据技术的迅速发展，城市数据的规模和复杂性也在不断增加，这为城市规划、管理和决策提出了新的
大数据计算技术秘史（上篇）
在之前的文章中，我们粗略地回顾了大数据领域的存储技术。在解决了「数据怎么存」之后，下一步就是解决「数据怎么用」的问题。其实在大数据技术兴起之前，对于用户来讲并没有存储和计算的区分，都是用一套数据库或数据仓库的产品来解决问题。而在数据量爆炸性增长后，情况就变得不一样了。单机系统无法存储如此之多的数据，
Kudu与Apache Flink的集成：实时数据处理的新方法
1.背景介绍随着数据的增长，实时数据处理变得越来越重要。传统的批处理系统已经不能满足现在的需求。因此，实时数据处理技术逐渐成为了研究的热点。Kudu和Apache Flink是两个非常重要的实时数据处理系统，它们各自具有独特的优势。Kudu是一个高性能的列式存储系统，适用于实时数据处理和分析。Apa
Hadoop-Yarn-NodeManager是如何启动容器的
从源码了解Hadoop-Yarn-NodeManager是如何启动容器的
RabbitMq在Java中的应用
市面上比较火爆的几款MQ：语言的支持：ActiveMQ，RocketMQ只支持Java语言，Kafka可以支持多们语言，RabbitMQ支持多种语言。效率方面：ActiveMQ，RocketMQ，Kafka效率都是毫秒级别，RabbitMQ是微秒级别的。消息丢失，消息重复问题： RabbitMQ针对
RabbitMQ堵塞问题复盘
记一次线上RabbitMQ的堵塞问题
Java教程：RabbitMq讲解与SpringBoot项目如何对接RabbitMq实现生产者与消费者
RabbitMQ是一个开源的消息代理软件，实现了高级消息队列协议(AMQP)。它是一个面向消息的中间件，用于在分布式系统中存储和转发消息。RabbitMQ的主要组件包括生产者、消费者和代理，其中代理负责将消息路由到相应的消费者。这种模型允许应用程序在不直接依赖彼此的情况下进行通信，从而实现异步和解耦
RabbitMQ-交换机
RabbitMQ 中的交换机（Exchange）是消息路由的关键组件，它负责将消息路由到相应的队列。不同类型的交换机在消息路由时具有不同的规则。以下是 RabbitMQ 交换机的一些常见应用场景：1.直连交换机（Direct Exchange）:2.场景： 当需要将消息直接路由到与消息的路由键完全匹
RabbitMQ的安装与使用
RabbitMQ是一个在AMQP基础上完成的，可复用的企业消息系统。他遵循Mozilla Public License开源协议。开发语言为Erlang。linux系统中安装RabbitMQ比较繁琐，这里使用的是Docker安装。死信队列就是在某种情况下，导致消息无法被正常消费(异常，过期，队列已满等
“大数据&人工智能”驱动的空间天气科研范式变革初步探索
人工智能拥有强大的能力，但目前在空间天气领域应用的大部分模型是黑箱，少部分是灰箱，对于科学研究领域来说缺乏可解释性，对于为什么产生这样的结果、其中的因果关系如何、背后的物理机制如何等无法给出合理的解释，因此在科学性上受到较多的质疑。经过过去多年的研究，人类已经对其中特定空间区域的特定现象、特定事件规
【大数据】Flink SQL 语法篇（十）：EXPLAIN、USE、LOAD、SET、SQL Hints
如果熟悉 MySQL 的同学会非常熟悉这个子句，在 MySQL 中，USE 子句通常被用于切换库，那么在 Flink SQL 体系中，它的作用也是和 MySQL 中 USE 子句的功能基本一致，用于切换 Catalog，DataBase，使用 Module。
Kafka的基本介绍以及扩展
Kafka的基本命令介绍、kafka扩展
途家数据仓库源治理平台
github: www.hanyusen.Tujia.com二、平台概述2.1 平台目标构建一个统一、可扩展的指标管理体系，整合旅游业相关数据资源。提供用户友好的界面，简化指标查询和分析过程。支持多维度的数据分析和灵活的报表生成。确保数据的安全性和完整性，提供权限管理和审计功能。2.2 平台架构平台
拿什么样的大数据来“喂饱”狂飙的大模型
大数据产业创新服务媒体——聚焦数据· 改变商业当前，大模型的发展处于一场充满无限可能的大变革前夜，而作为核心要素的大数据也被赋予了全新的意涵。大模型技术的出现对大数据而言意味着什么，大数据又将如何影响大模型的发展，这两者又如何能更好双向奔赴，带来新质生产力，进入2024年又会出现哪些技术的引爆点和杀
RabbitMQ鉴权设计以及相关探讨
鉴权，分别由**鉴**和**权**组成- **鉴**： 表示身份认证，认证相关用户是否存在以及相关的用户名和密码是否一致- **权**： 完成身份的**鉴**后，还需要判断用户是否有相关操作的权限。因此对于某一个用户来说，通常情况下，需要完成**鉴**和**权**才能够满足一个完整的业务场景，因此通
Flink广播流 BroadcastStream
Flink中的广播流（BroadcastStream）是一种特殊的流处理方式，它允许将一个流（通常是一个较小的流）广播到所有的并行任务中，从而实现在不同任务间共享数据的目的。广播流在处理配置信息、小数据集或者全局变量等场景下特别有用，因为这些数据需要在所有任务中保持一致且实时更新。定义MapStat
