毕业设计项目 基于大数据的电影数据爬取分析可视化系统
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的电影数据爬取分析可视化系统🥇
HBase Shell 操作：自动拆分和预分区
启动Zookeeper集群。进入hbase shell。创建的表使用自动拆分命令。启动hadoop集群。
Spark重温笔记（一）：一分钟部署PySpark环境，轻松上手Spark配置
Spark 是一种快速、通用、可扩展的大数据分析引擎，2009 年诞生于加州大学伯克利分校。1-速度快：其一、Spark处理数据时，可以将中间处理结果数据存储到内存中其二、spark job调度以DAG方式，每个任务Task以线程Thread方式，而不是mapreduce以进程process方式2-
Spark-机器学习（2）特征工程之特征提取
今天的文章，我会带着大家一起了解我们的特征提取和我们的tf-idf，word2vec算法。希望大家能有所收获。同时，本篇文章为个人spark免费专栏的系列文章，有兴趣的可以收藏关注一下，谢谢。同时，希望我的文章能帮助到每一个正在学习的你们。也欢迎大家来我的文章下交流讨论，共同进步。
大数据机器学习：常见模型评估指标
模型评估是指在机器学习中，对于一个具体方法输出的最终模型，使用一些指标和方法来评估它的泛化能力。这一步通常在模型训练和模型选择之后，正式部署模型之前进行。模型评估不针对模型本身，而是针对问题和数据，因此可以用来评价不同方法的模型的泛化能力，以此决定最终模型的选择。
实验五 Spark SQL编程初级实践
实验五 Spark SQL编程初级实践，从零开始，教你安装，有详细图表和注释。新手小白也可以学会
阿里巴巴瓴羊基于 Flink 实时计算的优化和实践
本⽂整理⾃阿里云智能集团技术专家王柳焮⽼师在 Flink Forward Asia 2023 中平台建设专场的分享。
Pyspark库以及环境配置
一、pyspark类库类库：一堆别人写好的代码，可以直接导入使用，例如Pandas就是Python的类库。框架：可以独立运行，并提供编程结构的一种软件产品，例如Spark就是一个独立的框架。PySpark是Spark官方提供的一个Python类库，内置了完全的Spark API，可以通过PySpar
每天十分钟学会Spark【期末必看系列】
小白学大数据Spark编程第3课
大数据开发之离线数仓项目（4-1电商数据仓库系统）（可面试使用）
事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（维度表外键）以及该业务过程的度量（通常是可累加的数据类型字段）事务事实表用来记录各业务过程，它保存的是各业务过程的原子操作事件，即最细粒度的操作事件。粒度是指事实表中一行数据所表达的业务细节程度。周期快照事
【大数据】分布式文件系统HDFS
一文快速聊明白HDFS的核心概念
Flink WordCount实践
Flink WordCount实践
【大数据】bigtable，分布式数据库的鼻祖
看懂这一篇，就能理解分布式数据库的核心，详聊分布式数据库的鼻祖bigtable。
实验五 Spark Streaming编程初级实践
注意，上面命令中，“localhost:9092 wordsender 3 5”是提供给KafkaWordProducer程序的4个输入参数，第1个参数“localhost:9092”是Kafka的Broker的地址，第2个参数“wordsender”是Topic的名称，我们在KafkaWordCo
二百二十九、离线数仓——离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程
离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程
认识Hadoop
Hadoop由Apache基金会开发， 开源的、可靠的 、可拓展的、用于分布式计算 的分布式系统基础架构或框架。MapReduce是Hadoop的核心计算框架——是用于大规模数据集（大于1TB）并行运算的编程模型，主要包括Map（映射）和Reduce（规约）两个阶段。MapReduce的核心思想是—
太原理工大学大数据期末简答题
第一个节点在接收到数据写入本地的同时，会把数据传给第二个数据节点，同时第二个数据节点接收到数据时，会在写入的同时将数据发送给第三个节点，以此类推。第二名称节点会要求第一名称节点停止使用EditLog，将新到达的操作写入EditLog.new中，然后把FsImage和EditLog拉回本地，将两者进行
大数据平台和AI的整体架构和开源技术使用
大数据平台为AI提供数据支撑，AI模型则嵌入到大数据处理流程中，实现智能分析和决策。例如，通过Spark或Flink处理原始数据，然后使用MLlib或TensorFlow进行模型训练，最后将训练好的模型部署到如Kafka或Flink的流处理系统中进行实时预测，或者使用TensorFlow Servi
大数据技术原理及应用课实验3 ：熟悉常用的HBase操作
在本次实验中，我更加进一步理解了HDFS在Hadoop体系结构中的角色并能使用HDFS操作常用的Shell命令以及HDFS操作常用的Java API。在本次实验的第一题是用编程Java API实现指定功能，并用Hadoop提供的HBase Shell命令完成相同任务。在本题中学习了列出HBase所有
【大数据】分布式数据库HBase下载安装教程
一文详解HBase下载安装教程。
