基于spark的音乐数据分析系统的设计与实现_基于spark的音乐数据分析系统的设计与实现的功能介绍

前言

本文主要对音乐数据，进行分析，系统技术主要使用，1.对原始数据集进行预处理；3.使用python语言编写Spark程序对HDFS中的数据进行处理分析，并把分析结果写入到MySQL数据库；4.利用Spark MLlib进行数据和关系预测；5.利用IntelliJ IDEA搭建动态Web应用；6.利用plotly进行前端可视化分析。

关键词：音乐数据分析；可视化分析；python语言

一、项目介绍

本文对网易云音乐平台的数据进行分析，分析年度音乐专辑销量TOP10 ；年度月排行榜榜首播放量；最受欢迎的音乐类型；音乐评论数TOP榜；用户性别比例。使用Hadoop提供HDFS的分布式存储[10]，利用Spark对HDFS中的数据进行处理，并对结果进行可视化分析。
音乐数据分析系统的设计开发工作：

1. 网易云音乐数据爬虫。在本课题中，需要爬取的数据主要包括音乐数据、用户数据、评论数据等等，每一种类型的数据对