spark 3.4.4 利用Spark ML中的交叉验证、管道流实现鸢尾花分类预测案例选取最优模型
本案例详细介绍了在Spark中使用交叉验证、逻辑回归以及管道流（Pipeline）实现鸢尾花数据集最优模型选择的过程，并提供了Scala语言的示例代码。通过管道流机制，将数据预处理、特征选择和模型训练等阶段整合在一起，提高了机器学习流程的清晰度和可复用性。同时，结合交叉验证方法，提高了模型性能评估的
大数据-244 离线数仓 - 电商核心交易 ODS层 数据库结构 数据加载 DataX
在大数据体系中，ODS（Operational Data Store），即操作数据存储，是数据仓库中的重要组成部分，起着承上启下的作用。ODS主要是用于存储原始的、经过轻度处理的数据，通常直接从业务系统（如ERP、CRM等）中抽取而来。ODS是大数据架构中的数据层之一，它是指在数据从业务系统到数据仓
SprinBoot整合KafKa的使用(详解)
前言1.高吞吐量（High Throughput）Kafka 设计的一个核心特性是高吞吐量。它能够每秒处理百万级别的消息，适合需要高频次、低延迟消息传递的场景。即使在大规模分布式环境下，它也能保持很高的吞吐量和性能，支持低延迟的数据传输。2.可扩展性（Scalability）Kafka 具有强大的可
shell中执行hive指令以及hive中执行shell和hdfs指令语法
主要介绍了shell中执行hvie指令、hive交互中执行linux及hdfs指令
毕设项目分享 大数据招聘租房可视化系统（源码+论文）
🔥这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩 毕业设计 大数据招聘租房可视化系统（源码+
Hadoop 系列 MapReduce：Map、Shuffle、Reduce
Hadoop 是一个开源的分布式计算框架，专为处理大规模数据而设计。它最初由 Apache 软件基金会开发，能够以经济高效的方式在分布式集群上存储和处理海量数据。Hadoop 的核心组件包括分布式存储（HDFS）和分布式计算（MapReduce），以及一套支持工具。本文将重点探讨分布式计算（MapR
Hbase整合Mapreduce案例1 hdfs数据上传至hbase中——wordcount
程序主类，和原有的Mapreduce相比逻辑上没有多大的区别。和一般MR程序不同，此处实现TableReducer的接口。现在调用的则是TableReducer接口的实现类。不过原有的mr程序调用的reduce接口的实现类。没什么需要特别注明的，Map层并没有什么修改。注意下哈，这里是hadoop
Hadoop(HDFS)
Hadoop是一个开源的分布式系统架构，旨在解决海量数据的存储和计算问题，Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）、MapReduce编程模型和YARN资源管理器,最近需求需要用到HDFS和YARN。
基于大数据的汽车营销可视化分析与研究
大数据，汽车营销，可视化分析，数据挖掘，机器学习，预测模型1. 背景介绍汽车行业作为全球经济的重要支柱，近年来面临着激烈的市场竞争和不断变化的消费者需求。传统汽车营销模式逐渐难以满足市场发展需求，数据驱动型营销模式成为汽车企业转型升级的重要方向。大数据技术为汽车营销提供了强大的数
Flink SQL 如何关联实时流的历史数据？
在深入探讨如何关联实时流的历史数据之前，我们先简单了解一下 Flink SQL。Flink SQL 是 Flink 提供的一种声明式查询语言，允许用户通过 SQL 语句对流数据进行处理。Flink SQL 的主要优势在于其简洁性和易用性，使得开发者可以快速构建复杂的流处理任务，而无需深入了解底层的流
大数据分类分析的详概
大数据的分类分析是一种在大数据环境下广泛应用的数据挖掘和分析技术，旨在将大量复杂的数据按照特定的标准或特征进行分类，以便更好地理解数据的内在结构和规律，为决策提供有力支持。目录前言一，分类的依据1.基于数据的属性2.基于业务需求二，分类的方法1.决策树2.支持向量机3.朴素贝叶斯三，分类分析的应用场
【运维监控】Prometheus+grafana监控flink运行情况
通过flink自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化
Docker中部署flink集群的两种方式
本文将通过 2 种方式在 docker 中部署 flink standalone 集群，集群中共有 4 个节点，分别是 1 个 jobManager 节点和 3 个 taskManager 节点。方式一能快速部署一个 flink 集群，但是使用的是默认配置，不够灵活，方式二使用的是外置配置文件，可以
【Kafka】Kafka-Eagle 和 Kafka-UI 的安装使用
Kafka Eagle 提供了完善的管理页面，可以监控 Kafka 集群的整体运行情况，很方便的去管理和可视化 Kafka 集群的一些信息，例如 Broker 详情、性能指标趋势、Topic 集合、消费者信息等，在生产环境中经常使用。
Spark 内存管理机制
如果堆外内存被启用，那么 Executor 内将同时存在堆内和堆外内存，两者的使用互补影响，这个时候 Executor 中的 Execution 内存是堆内的 Execution 内存和堆外的 Execution 内存之和，同理，Storage 内存也一样。通过以上介绍可知，应用程序申请到资源量可能
优化Kafka存储：热冷数据分层策略
根据下游应用程序的需求对摄入 Kafka 主题的数据进行分类后，我们可以在 Kafka 集群中将数据层指定为热数据的热层和冷数据的冷层。最初，在存储系统领域，数据分层是一种降低数据存储成本的策略。同时，这种优化存储资源的方式也为企业在数据驱动的时代中赢得了更多的竞争优势，使企业能够更加从容地应对各种
分布式存储方式的地理信息数据仓库建立设计方案
分布式存储的地理信息数据仓库通过空间分片、索引优化和并行计算，为大规模地理数据的存储和分析提供了强有力的支持。图 5：栅格与矢量数据存储对比（图像数据 vs. 点线面数据）。图 2：空间哈希分片示意图（数据点映射到存储节点的过程）。图 7：分布式存储结构示意图（多个节点间的数据分布关系）。图 3：R
Flink中普通API的使用
使用env.fromElements：类型要一致使用env.fromcollections：支持多种collection的具体类型使用env.generateSequence()方法创建基于Sequence的DataStream --已经废弃了使用env.fromSequence()方法创建基于开始
Spark作业提交
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度T
Kafka集群扩容(新增一台kafka节点)
kafka集群扩容、kafka topic迁移现有环境上步骤完成以后kafka集群没有完全扩容成功，因为只扩容了kafka节点，原来有的topic还是在原有的几点上，这台新扩容的还没有分担原有的压力，所以还需要迁移topic。
