LLM时代中的分布式AI
深度学习相较传统机器学习模型，对算力有更高的要求。尤其是随着深度学习的飞速发展，模型体量也不断增长。于是，前几年，我们看到了芯片行业的百家争鸣和性能指标的快速提升。正当大家觉得算力问题已经得到较大程度的缓解时，大语言模型（LLM, Large language model）的兴起又带来了前所未有的挑
Zookeeper-JavaApI操作
Curator 是 Apache ZooKeeper 的Java客户端库。原生Java APIZkClientCuratorCurator 项目的目标是简化 ZooKeeper 客户端的使用。Curator 最初是 Netfix 研发的,后来捐献了 Apache 基金会,目前是 Apache 的顶级
深入理解 Kafka 的 offset、 leo、hw、epoch 概念
Kafka 作为一个分布式的消息中间件，在高性能、高并发、高可用上有杰出的表现，在数据一致性上更是做出了诸多努力
Hadoop 分布式集群搭建教程（2023在校生踩坑版）
在Hadoop01节点上执行以下命令，启动HDFS和YARN：bug1：如果出现类似报错。
spark相关网站
矢量线八方向和全方向栅格化算法C#实现。GIS中将矢量数据转换栅格数据算法。Spark的五种JOIN策略解析。
Kafka - 异步/同步发送API
该方法有两个参数分别是RecordMetadata（元数据信息）和Exception（异常信息）。回调函数callback（）会在producer收到ack时调用，为异步调用。需求：创建Kafka生产者，采用异步的方式发送到Kafka broker。同步发送的意思就是，一条消息发送之后，会阻塞当前线
Spring Boot 3 整合 xxl-job 实现分布式定时任务调度，结合 Docker 容器化部署（图文指南）
本文将以实战的方式，教你如何在 Docker 环境下部署 xxl-job，并将其与 Spring Boot 进行整合。我们将从简单介绍 xxl-job 的基本概念和特点开始，然后详细讲解如何配置调度器任务、开启任务，并调用执行器执行任务。通过本文的学习，你将能够快速上手并使用 xxl-job 实现任
分享8个分布式Kafka的使用场景
Kafka 最初是为海量日志处理而构建的。它保留消息直到过期，并让消费者按照自己的节奏提取消息。与它的前辈不同，Kafka 不仅仅是一个消息队列，它还是一个适用于各种情况的开源事件流平台。
分布式数据库Apache Doris HA集群部署
Apache Doris实在火的不得了，基于开源的这个分布式数据库HA集群，我们开启体验之旅。
RabbitMQ使用 详解
RabbitMQ单机安装 RabbitMQ消息模型：基本消息队列、工作消息队列、发布订阅（Fanout、Direct、Topic） RabbitMQ集群部署 RabbitMQ生产者消息确认 RabbitMQ消费者消息确认 RabbitMQ消息失败重试机制 RabbitMQ死信交换机 RabbitMQ
【大数据】图解 Hadoop 生态系统及其组件
HDFS是 Hadoop 的分布式文件系统，旨在在廉价硬件上存储大型文件。它具有高度容错能力，并为应用程序提供高吞吐量。 HDFS 最适合那些拥有非常大数据集的应用程序。Hadoop HDFS 文件系统提供 Master 和 Slave 架构。主节点运行 Namenode 守护进程，从节点运行 Da
Zabbix第二部分：基于Proxy分布式部署实现Web监控和Zabbix HA集群的搭建
zabbix-proxy和zabbix HA
Kafka中的生产者如何处理消息发送失败的情况？
通过以上方式，开发者可以对Kafka生产者的消息发送过程进行处理和管理，根据不同的失败情况采取相应的策略，确保消息发送的可靠性和稳定性。请根据具体的需求和业务场景选择适合的处理方式。
Spark中的Driver、Executor、Stage、TaskSet、DAGScheduler等介绍
在 Spark 中，有多个概念和组件相互协作，以实现分布式数据处理。如有错误，欢迎指出！如有错误，欢迎指出！如有错误，欢迎指出！
大数据开源框架环境搭建(四)——HDFS完全分布式集群的安装部署
普通用户下大部分命令需要加sudo，root模式下不用。如果怕麻烦，直接在root用户下操作。本框架的分布式集群如下图所示(IP地址不一定跟图中一样)
【Redis】高并发分布式结构服务器
【Redis】高并发分布式结构服务器
Kafka数据清理指南
在本文中，我们将介绍如何使用Kafka进行数据清理。当我们在Kafka集群中处理大量的数据时，及时清理过期、无效或不再需要的数据是非常重要的。首先，我们需要了解Kafka中的数据保留策略。Kafka的数据保留策略决定了消息在主题中保留的时间。默认情况下，Kafka会根据时间来保留数据，也可以根据数据
kafka详解(三)
1）查看操作主题命令参数2）查看当前服务器中的所有topic (配置了环境变量不需要写bin/)4）查看first主题的详情5）修改分区数（6）再次查看first主题的详情7）删除topic。
聊聊分布式架构08——SpringBoot开启微服务时代
聊聊分布式架构——SpringBoot开启微服务时代
Hadoop YARN功能介绍--资源管理、调度任务
YARN是一个通用资源管理系统平台和调度平台，可为上层应用提供统一的资源管理和 调度。他的引入为集群在利用率、资源统一管理和数据共享等方面带来了好处。
