垂直分表、分布式Id详细介绍、模板引擎FreeMarker、对象存储服务MinIO（黑马头条Day02）
垂直分表、分布式Id详细介绍、模板引擎FreeMarker、对象存储服务MinIO（黑马头条Day02）
微服务分布式中为什么要分库分表呢？
分库分表是一种数据库水平扩展的方法，通过将数据分散存储在多个数据库实例或多张表中，以提高系统的性能和扩展性。在Java应用中，可以使用一些数据库中间件或框架来实现分库分表。
15:Zookeeper高可用集群｜分布式消息队列Kafka｜搭建高可用Hadoop集群
Kafka角色与集群结构NameNode高可用想实现Hadoop高可用就必须实现NameNode的高可用，NameNode是HDFS的核心，HDFS又是Hadoop核心组件，NameNode在Hadoop集群中至关重要。NameNode宕机，将导致集群不可用，如果NameNode数据丢失将导致整个集
分布式概念：写一个分布式锁
上述实现是一个简单的分布式锁的示例，针对实际的应用场景和要求，可能还需要进行更加复杂的处理和优化。在实际应用中，还需要考虑锁的可重入性、锁的可靠性等问题。同时，还要注意分布式锁的性能对系统的影响，以及可能导致的死锁等问题。因此，在实际使用中，建议使用成熟的分布式锁框架或库来实现分布式锁，以满足不同的
为何Kafka在2.8版本开始会“抛弃”Zookeeper？
Kafka被官方定义为分布式流式处理平台，因为具备高吞吐、可持久化、可水平扩展等特性而被广泛使用。
Spark在降本增效中的一些思考
这也是笔者一直在关注的项目，根据 TPC-H 测试结果显示起码有2倍的性能提升，但是实际效果还是得看SQL的pattern。但是由于目前我们的Spark 是基于 3.5.0的，是比较新的版本，而社区这块的融合还在继续，所以这块今年应该可以行动起来,可以参考。注意： 我们批集群的CPU利用率在60%以
RabbitMQ面试题
总结为：消息未达到交换机，消息未达到队列，队列中丢失消息，消费者未接收到消息生产者确认机制是指生产者发送消息后，需要等待RabbitMQ服务器的确认消息，以确保消息已经被成功地发送到RabbitMQ服务器。如果RabbitMQ服务器没有收到消息或者消息发送失败，生产者会收到一个确认消息，从而可以进行
【初始RabbitMQ】高级发布确认的实现
全网最详细的高级发布确认，万字文章详细的介绍了RabbieMQ中延迟队列各种细节，以及实现方法，每一步代码均有详细的解析，看这一篇就对了！！！
基于Spark协同过滤的农产品个性推荐系统
本系统是一个基于Python技术栈开发的农产品在线交易平台。通过集成了pyspark、hadoop、django、scrapy、vue、element-plus等多个优秀开源框架，实现了全方位的功能覆盖，并采用了协同过滤算法为用户推荐相关农产品。首先，我们使用Scrapy爬虫框架抓取惠农网站上的农产
centos7-dmhs同步kafka搭建部署（保姆级）
所需空间: 1869M请选择安装目录 [/home/dmdba/dm/dmdbms]:
【Redis项目实战】使用Springcloud整合Redis分布式锁+RabbitMQ技术实现高并发预约管理处理系统
高并发预约管理：系统能够处理大量用户同时预约倾听者的情况，通过使用分布式锁来保证同一时间段只有一个用户可以进行预约，防止冲突和混乱。分布式锁实现：系统使用Redis作为分布式锁的存储介质，通过设置键值对来实现分布式锁。具体地，使用一组表来存储倾听者的预约情况，表名由倾听者的ID和日期组成。每个表使用
Zookeeper的分布式文件系统与存储
1.背景介绍1. 背景介绍Zookeeper是一个开源的分布式协调服务，它为分布式应用提供一致性、可靠性和可扩展性等特性。Zookeeper的核心功能包括集群管理、配置管理、领导选举、分布式同步等。在分布式系统中，文件系统和存储是非常关键的组成部分，Zookeeper作为分布式协调服务，也可以用于管
Rabbitmq消息大量堆积
查看库存系统的运行情况，发现系统压力非常大，接口请求存在大量超时的情况，系统也在崩溃的边缘，因为我们上面的解决方案，增加了三个节点，间接的增大了并发。整个链路服务一直都是很稳定的，因为流量的激增，库存服务的服务能力跟不上，导致整个链路出了问题，如果平台要搞促销这种活动，我们还是要提前评估下系统的性能
Kafka生产常见问题分析与总结
业务运行正常的情况下。业务运行异常的情况下。
kafka基础知识
即producer写入新消息后 不会立即消费，leader会等待该消息被所有副本都同步后，再更新高水位线位置，这样consumer才能消费producer新鞋入的消息。如果写入失败，会返回一个错误。大多数情况下，消息会正常到达，不过一旦失败，produer会自动重试，但若出错了，服务器是无感知的。特
SpringCloud-RabbitMQ消息模型
本文深入介绍了RabbitMQ消息模型，涵盖了基本消息队列、工作消息队列、广播、路由和主题等五种常见消息模型。每种模型都具有独特的特点和适用场景，为开发者提供了灵活而强大的消息传递工具。通过这些模型，RabbitMQ实现了解耦、异步通信以及高效的消息路由，为分布式系统的开发和部署提供了可靠的基础。阅
大数据Hadoop生态圈
存储： HDFS(namenode,datanode)计算：MapReduce(map+reduce，基于磁盘)便于用sql操作：Hive(核心 metastore，存储这些结构化的数据)，同类的还有Impala，hbase等基于yaml的资源调度hive ：通过 HQL访问，适合执行ETL，报表查
zookeeper动态扩缩容（无需重启）
zookeeper动态扩/缩容的reconfig命令旨在不需要重启zookeeper中任何一个节点的情况下，对整个zookeeper集群进行动态扩/缩容。
SpringCloud-MQ消息队列
本文介绍了Spring Cloud中常见的消息队列，重点探讨了RabbitMQ、Apache Kafka和ActiveMQ等消息中间件在分布式系统中的应用。通过解释消息队列的优势，如异步通信、解耦服务、可靠性和分布式事务，读者能够深入了解消息队列在微服务架构中的关键作用。进一步探讨了Spring C
RabbitMq：什么是RabbitMq？ ①
routing key：一个路由规则，虚拟机根据他来确定如何路由 一条消息。RabbitMq是一个基于消息订阅发布的一款消息中间件。Queue：消息队列，用来存放消息的队列。交换机绑定一个或多个队列。
