Hadoop期末总复习
Hadoop期末复习
深入理解 Hadoop （五）YARN核心工作机制浅析
YARN 可以说是 Hadoop 中设计最为复杂的框架了，本章节先从 YARN 的核心工作机制入手，为读者梳理 YARN 的核心设计理念，方便后续章节深入研究 YARN。
高可用分布式部署Spark、完整详细部署教程
spark的分布式高可用 部署方案
曹操出行基于 Hologres+Flink 的实时数仓建设
在整个流程中，涉及到的数据将会在我们的业务系统中流转，主要包括有营销、订单、派单、风控、支付、履约这些系统。这些系统产生的数据将存储在RDS中，并进一步流入实时数仓中以进行分析和处理。最终数据会进入到不同的使用场景中，比如实时的标签，实时大屏、多维BI分析，还有实时业务监控以及实时算法决策。
RabbitMQ创建新用户,并给用户添加角色和授权
RabbitMQ创建新用户,并给用户添加角色和授权以及删除用户
Hive简述
而传统的数据仓库是基于关系数据库的，无法满足快速增长的海量数据存储的需求，只能支持结构化数据的存储，没有办法有效处理不同类型的非结构化数据，比如日志，也没有办法水平扩展，导致计算和处理的能力不足。4、分区，Hive中的一个表可以有一个或者多个的分区，这些分区决定了数据的存储方式，使得查询操作只查询扫
微服务集成Windows版kafka
Windows环境下微服务集成kafka
大数据之Spark架构设计与工作流程
通过上述组件的协作，Spark 实现了一个高度灵活且容错性强的大数据处理框架，能够支持批处理、流处理、机器学习等多种应用场景。
大数据本地环境搭建-Linux基础环境搭建
链接：https://pan.baidu.com/s/1sV8Rkz3hR8Z7MS-KQ2pDbQ?在平时使用www.baidu.com域名访问时，最终会同dns服务器将域名解析为ip地址访问。版本应该对应java上的版本(这个是从别的地方copy的图,摆个样子)分别在 node1/node2/n
大数据引爆点：数据可视化的飞速发展
在信息时代，数据如潮水般涌入，企业和个人面临的挑战前所未有。而在这个数据的浩瀚海洋中，数据可视化如一道明亮的灯塔，引领着信息时代的航行者。近几年，数据可视化以其直观、生动的特性，迅速成为了信息表达和决策分析的重要工具。那么，是什么推动了数据可视化的快速发展呢？
2024.1.4 Spark Core ,RDD ,算子
构建RDD, setMaster 的local 数量 ,minPartitions , 文件的具体数量 ,都会影响分区的数量, 当设置了minPartitions的时候,7 .RDD 的分区数据量受到多个因素,例如:机器Cpu的核数 , 调用的算子 , 算子中参数的设置, 集群的类型等 . 实际中一
Kafka安全认证机制详解之SASL_SCRAM
SASL/SCRAM 通过将认证用户信息保存在 ZooKeeper 的方式，避免了动态修改需要重启 Broker 的弊端。在实际使用过程中，可以使用 Kafka 提供的命令动态地创建和删除用户，无需重启整个集群。因此，如果打算使用 SASL/PLAIN，不妨改用 SASL/SCRAM 试试。不过要注
关于Kafka事务处理的详细讲解
producer可能给多个topic，多个partition发送消息，这些消息组成一个事务，这些消息需要对consumer同时可见或者同时不可见。Kafka事务需要在producer端处理，consumer端不需要做特殊处理，跟普通消息消费一样。
RabbitMQ消息确认机制
在使用RabbitMQ发送消息如果出现消息没有发送到，队列没有接收到情况。需要消息确认来排错。
Flink standalone集群部署配置
Flink Standalone 部署详细步骤和主要参数配置
SpringCloud&Eureka学习教程
SpringCloud是目前国内使用最广泛的微服务框架，集成了各种微服务功能组件，并基于Springboot实现了这些组件的自动装配，从而提供了良好的开箱即用体验官网地址：https://spring.io/projects/spring-cloud。Eureka 是 Netflix 公司开发的一款
毕业设计：热门旅游景点大数据分析系统+可视化 +贝叶斯预测模型 旅游大数据 （附源码）✅
毕业设计：热门旅游景点大数据分析系统+可视化 +贝叶斯预测模型 旅游大数据 （附源码）✅
使用python语言编写Hadoop Mapreduce程序
它将从STDIN读取mapper.py的结果（故mapper.py的输出格式和reducer.py预期的输入格式必须匹配），然后统计每个单词出现的次数，最后将结果输出到STDOUT中。这是因为在不同操作系统上编辑的文件可能使用不同的换行符格式，为了确保在Unix/Linux环境中正确解释脚本，可能需
大数据毕设项目 - 基于大数据的抖音短视频数据分析与可视化 - python 大数据 可视化
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的抖音短视频数据分析与可视化🥇
记一次RabbitMQ服务器异常断电之后，服务重启异常的处理过程
记一次RabbitMQ服务器异常断电之后，服务重启异常的处理过程
