Docker部署开源分布式任务调度平台DolphinScheduler并实现远程访问办公
本篇教程和大家分享一下DolphinScheduler的安装部署及如何实现公网远程访问，结合内网穿透工具实现公网访问DolphinScheduler内网并进行远程办公，帮助开发人员进行远程任务调度及管理，提高工作效率。DolphinScheduler是一款开源的分布式任务调度系统，它可以帮助开发人员
Kafka如何避免消息丢失？
为了避免出现消息丢失从而造成巨大的损失，有如下方法可以最大限度避免消息的丢失在避免出现消息丢失情况出现之前，首先要知道kafka消息发送和接收过程，才能更加清楚的知道消息丢失的原因，从而避免。
吉林大学《并行与分布式计算》2022期末试题及参考答案
并行与分布式计算期末试题
使用spark进行递归的可行方案
与一些需求有冲突，比如原需求为递归计算，按照需求扣减现有量，是无法实现的。在ERP中使用pl/sql甚至sql是可以进行炸BOM的，但是怎么使用spark展开，并且效率要不Oracle更高效的展开，是个问题。在实际工作中会遇到，最近有需求将产品炸开bom到底层，但是ERP中bom数据在一张表中递归存
【漫画可视化大屏系统】基于Spark的国漫推荐系统源码
然而，面对海量的国漫资源，用户往往难以找到自己真正感兴趣的作品。本课题旨在设计和实现一个基于Spark的国漫推荐系统，通过运用大数据处理技术和机器学习算法，为用户提供个性化的国漫推荐，从而提高用户在观看国漫时的体验。3. 丰富推荐系统研究：基于Spark的国漫推荐系统将进一步完善推荐系统领域的研究，
深入浅出理解kafka ---- 万字总结
深入浅出理解kafka ---- 万字总结
HDFS如何解决海量数据存储及解决方案详解
写入测试打开方式文件系统的分类本地磁盘文件系统光盘文件系统网络文件系统分布式文件系统文件查询问题HDFS的切片问题概念HDFS的元数据HDFS的架构语法操作回收站配置HDFS的安全模式介绍操作命令HDFS的读写流程写入流程查看日志文件内容HDFS的JavaAPI操作（重点）介绍核心类代码HDFS的远
09-zookeeper
分布式架构就是将一个完整的系统，按照业务功能，拆分成一个个独立的子系统，在分布式结构中，每个子系统就被称为“服务”。这些子系统能够独立运行在web容器中，它们之间通过RPC方式通信。系统之间的耦合度大大降低，可以独立开发、独立部署、独立测试，系统与系统之间的边界非常明确，排错也变得相当容易，开发效率
RabbitMQ基础教程
消息队列（Message Queue），我们一般简称为MQ。消息队列中间件是分布式系统中重要的组件，具有异步性、松耦合、分布式、可靠性等特点。用于实现高性能、高可用、可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前主流的消息队列有RocketMQ、Kafka、RabbitMQ、Zero
使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群
Hadoop是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。Hadoop是Apache Lucene创始人 Doug Cutting 创建的，最早起源一个Nutch项目。2003年Google发表了一篇GFS论文，为大规模数据存储提供了可行的解决方案。2
Kafka的监控和报警机制
的报警响应可以根据报警的严重程度和紧急程度来配置，包括自动恢复、手动处理和通知相关人员。根据监控指标的重要性和影响程度来设置报警级别，以便及时响应和处理重要的报警。的报警规则可以根据监控指标的阈值来配置，当监控指标超过阈值时触发报警。集群的运行状态和性能指标，并设置相应的报警规则和报警方式。内存使用
从0到1构建智能分布式大数据爬虫系统
从0到1搭建分布式爬虫平台、深度汇总各功能模块应用
hadoop完全分布式集群搭建（超详细）-大数据集群搭建
本次搭建完全分布式集群用到的环境有：jdk1.8.0hadoop-2.7.7本次搭建集群所需环境也给大家准备了，下载链接地址：https://share.weiyun.com/dk7WgaVk密码：553ubk本次完全分布式集群搭建需要提前建立好三台虚拟机，我分别把它们的主机名命名为:master,
Kafka+redis分布式锁结合使用心得总结
detectionRuleBo.getLogText().append(StrUtil.format("{}-获取锁失败;//加锁后执行前判断是否已经处理过kafka中相同位置的信息了。//加锁 associatedKey()//锁的时间 根据业务需要进行调整。
Kafka 入门到起飞 - Kafka怎么做到保障消息不会重复消费的？ 消费者组是什么？
如果上面结构还不够，两个消费者消费速度依然跟不上，那么我们还可以继续添加消费者，添加到4个消费者，此时主题分区与消费者的关系再次发生变化，需要再平衡，此时一个消费者消费一个分区消息，达到并行消费的效果。如上图，当前只有一个消费者组订阅这个Topic，消费者组里只有一个消费者，那么当前Topic中所有
rabbitMq确认机制之ConfirmType
1. none（默认）：关闭发布确认模式。2. correlated：消息从生产者发送到交换机后触发回调方法。3. simple：会触发回调方法，相当于单个确认（发一条确认一条）。在发布消息成功后使用
kafka-消息丢失处理方案
1）首先当 Producer 向 Broker 发送数据后，会进行 commit，如果 commit 成功，由于 Replica 副本机制的存在，则意味着消息不会丢失，但是 Producer 发送数据给 Broker 后，遇到网络问题而造成通信中断，那么 Producer 就无法准确判断该消息是否已
Kafka消费异常处理策略及重试机制
在Kafka消费过程中，异常处理和重试机制是确保消息可靠消费的重要组成部分。通过合理的异常处理策略和重试机制，我们可以提高消费者的容错性和稳定性。在实际应用中，可以根据具体业务需求和系统情况选择适合的处理方式，并进行合理的监控和报警，以确保及时发现和解决异常情况。可以使用监控工具，如Promethe
CDH大数据平台入门篇之搭建与部署
CDH：存储各种类型的数据、使用各种不同的计算框架进行操作、能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件、高安全性且能够部署多种应用，并扩展和扩充它们以满足你的需求、还可以放心地用于关键的商业任务。
window系统修改rabbitmq 默认端口
Windows下rabbitmq服务端更新主机名为IP地址和更改端口
