Spark 部署与应用程序交互简单使用说明
在本章中，我们介绍了开始使用Apache Spark所需的三个简单步骤:下载框架，熟悉Scala或PySpark交互shell，掌握高级Spark应用程序概念和术语。我们快速概述了使用转换和操作来编写Spark应用程序的过程，并简要介绍了使用Spark UI来检查所创建的job、stage和task
深入挖掘大数据的价值：实例分析
1.背景介绍大数据技术在过去的几年里取得了巨大的发展，成为当今世界各行业的核心技术之一。随着互联网、人工智能、物联网等领域的快速发展，大数据已经成为了这些领域的基石。大数据技术的核心在于能够有效地挖掘大量、多样化、高速增长的数据中的价值，以满足各种业务需求。在这篇文章中，我们将从以下几个方面进行深入
集群上运行pyspark
一、PySpark应用背景大规模结构化数据处理要求；scala编写函数对开发人员接受度低，python的高度简化代码完美契合数据处理过程；和scala处理无任何性能上的差异；二、PySpark原理Spark是什么：分布式（集群部署），高性能（基于内存可缓存磁盘），高可用的基于RDD（分区的不可变的弹
总结:HDFS+YARN+HIVE
狭义上：大数据是一类技术栈，是一种用来处理海量数据的软件技术体系。广义上：大数据是数字化时代、信息化时代的基础（技术）支撑，以数据为生活赋能。分布式数据存储 - HDFS组件分布式数据计算 - MapReduce组件分布式资源调度 - YARN组件。
rabbitMQ实现延迟队列
自定义的交换机是一种新的交换类型（CustomExchange），这种类型消息支持延迟投递机制消息传递之后不会立即投递到目标队列当中，而是存储在mnesia（一个分布式数据系统）表当中，当到达投递时间之后，才会投递到目标队列当中。//声明目标队列//声明基于插件实现的交换机}*///基于插件实现的交
OLAP与数据仓库和数据湖
本文阐述了OLAP、数据仓库和数据湖方面的基础知识以及相关论文。同时记录了我如何通过ChatGPT以及类似产品（通义千问、文心一言）来学习知识的。通过这个过程让我对于用AI科技提升学习和工作效率有了实践经验和切身感受。
Kafka 和 Spring整合Kafka
Kafka是一个分布式的流媒体平台。早期只是消息队列,慢慢扩充,可以进行很多其他操作,功能很综合,因此称为一个分布式的流媒体平台应用：消息系统(核心) 日志收集 用户行为追踪 流式处理。kafka是目前来说性能最好的消息队列服务器，能处理TB级别的数据.
老杨说运维 | 运维大数据价值探索
运维大数据具有其独特的特征，那么该在什么场景下使用才有效？如何更好的利用这些数据？
HBase Shell基本操作
先在Linux Shell命令行终端执行脚本启动HDFS，再执行脚本启动HBase。如果Linux系统已配置HBase环境变量，可直接在任意目录下执行脚本命令，就可进入HBase Shell的命令行终端环境，exit可以退出HBase Shell（我安装的是伪分布式的HBase）。
Linux中安装使用RabbitMQ
在Linux中安装RabbitMQ
Spark Stage
Spark中的一个Stage只不过是物理执行计划其中的一个步骤，它是物理执行计划的一个执行单元。一个Job会被拆分为多组Task，每组任务被称为一个Stage，可以简单理解为MapReduce里面的Map Stage， Reduce Stage。Spark的Job中Stage之间会有依赖关系。可以利
毕业设计项目 基于大数据人才岗位数据分析
这里是毕设分享系列，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据人才岗位数据分析毕业设计 基于大数据人才岗位数据分析。
数据仓库—建模方法论—范式建模
不知道读者们有没有发现，以上所介绍的范式的最终目的都是为了减少我们的工作量呢？所以说，尽管范式是一种很好的指导规范，但在实际应用中，我们也不需要太局限在范式中，更多的是应该从项目中出发，设计出合理的表结构。以下是本篇三范式的简单总结：第一范式（1 NF）：字段不可再拆分。第二范式（2 NF）：表中任
[flink 实时流基础]源算子和转换算子
所以，source就是我们整个处理程序的输入端。filter转换操作，顾名思义是对数据流执行一个过滤，通过一个布尔条件表达式设置过滤条件，对于每一个流内元素进行判断，若为true则元素正常输出，若为false则元素被过滤掉。flatMap可以认为是“扁平化”（flatten）和“映射”（map）两步
毕业设计：基于python的电商数据可视化系统 大数据
毕业设计：基于python的电商数据可视化系统 实现了对电商数据的清洗、处理、分析和可视化。系统提供了多种可视化图表，如柱状图、折线图、饼图、散点图等，能够直观地展示电商数据的关键信息和趋势。为计算机毕业设计提供了一个创新的方向，为毕业生提供了一个有意义的研究课题。对于计算机专业、软件工程专业、人工
spark-shell（pyspark）单机模式使用和编写独立应用程序
我的是spark-3.3.3版本，日志文件名字为log4j2.properties.template，每个版本的日志文件名字不太一样，具体的，要按照自己安装的版本的日志文件来，复制日志文件。spark有四种部署方式：Local，Standalone，Spark on Mesos，Spark on y
大数据AI的未来：智能化与自动化
1.背景介绍随着人工智能技术的不断发展，我们的生活和工作已经逐渐被智能化和自动化的技术所取代。大数据AI技术是这一趋势的重要组成部分，它可以帮助我们更有效地处理和分析大量数据，从而提高工作效率和提高生活质量。大数据AI技术的核心概念包括机器学习、深度学习、自然语言处理、计算机视觉等。这些技术可以帮助
大数据毕设分享 大数据B站数据分析与可视化 - python 数据分析 大数据
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩大数据B站数据分析与可视化🥇学长这里给一
大数据毕设分享 糖尿病视网膜病变数据据分析
逻辑回归的原理有很多博主写的很好，我就不班门弄斧了，主要说说代码。利用sklearn库提供的LogisticRegression()可以很方便的完成训练和预测。。
Kimball维度模型之构建数据仓库先决条件
成功的DW/BI项目通常共享上述一系列关键特征，而失败的项目则往往面临各种问题，其中一些问题可以总结自数据仓库专家Kimball的观点。失败的DW/BI项目因素：失败的项目往往出现在业务发起人缺乏深刻业务理解或技术发起人无法有效沟通业务需求的情况下。成功的项目通常建立在业务和技术团队紧密协作的基础上
