spark集群配置
1.集群部署规划表1-1集群部署规划主机名 master slave1 slave2 HDFS NameNode SecondaryNameNode DataNode DataNode YARN NodeManage Resour
利用用户行为数据——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（二）
系列文章目录初识推荐系统——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（一）……项目资源下载电影推荐系统网站项目源码Github地址（可Fork可Clone）电影推荐系统网站项目源码Gitee地址（可Fork可Clone）电影推荐系统网站项目源码压缩包下载（直接使用）电影推荐系统网站项
6. 数据仓库环境准备
6. 数据仓库环境准备数据仓库环境准备数据仓库运行环境Hive环境搭建Hive on Spark 配置Hive on Spark 测试Yarn环境配置数据仓库开发环境启动 HiveServer2配置 DataGrip 连接创建连接配置连接属性测试使用模拟数据准备用户行为日志业务数据生成模拟数据全量表
over 与lateral view 的hive、spark sql执行计划
建表语句create table test_over ( user_id string, login_date string)COMMENT '测试函数使用，可以删除' row format delimited fields terminated by '\t';over 执行计划
Mysql 窗口函数
一, MySQl 8.0 窗口函数窗口函数适用场景: 对分组统计结果中的每一条记录进行计算的场景下, 使用窗口函数更好;可以跟Hive的对比着看: 点我, 特么的花了一晚上整理, 没想到跟Hive 的基本一致, 还不因为好久没复习博客了, 淦注意: mysql 因为没有array数据结构, 无法像
2022暑期实习字节跳动数据研发面试经历
🌟今天下午面试两家，字节跳动数据研发一面和百度三面，百度那边突然不面了，hr说下个星期再看看，是直接过了还是再来一面，需要和部门商量一下，先来总结一下字节跳动的面试吧。废话，对百度面试感兴趣的同学可以参考如下文章：链接: 2022百度大数据开发工程师实习面试经历.链接: spark学习之并行度、并
DolphinScheduler无故删除HDFS上的Hive库表目录
亲爱的朋友们，我可爱的同事又搞了个大BUG待我慢慢道来…DolphinScheduler大家应该都用过，中国人开源的一个调度工具，类似Azkaban，本次的事情就是在DolphinScheduler上发生的。据领导描述，某团队负责的某业务数仓上云后，HDFS上的Hive库表目录总是无故被删，他们找不
数据湖之Hudi（9）：使用Spark向Hudi中插入数据
目录0. 相关文章链接1. 开发说明2. 环境构建2.1. 构建服务器环境2.2. 构建Maven项目3. Maven依赖4. 核心代码0. 相关文章链接大数据基础知识点 文章汇总1. 开发说明Apache Hudi最初是由Uber开发的，旨在以高效率实现低延迟的数据库访问。Hudi 提供了Hudi
Spark环境搭建（保姆级教程）
Spark 是一个大规模数据处理的统一分析引擎本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。文末有相应资源下载网盘链接。
spark：使用java语言理解scala
最近看的spark学习视频，视频里面都是用scala操作spark的，对scala语言学习较少，想要入门，可以通过下面的这个例子去用java语言思想去理解scala。主要是函数式编程思想：==一种Map Reduce的计算示例==
PySpark求解连通图问题
前文回顾：PySpark与GraphFrames的安装与使用https://xxmdmst.blog.csdn.net/article/details/123009617networkx快速解决连通图问题https://xxmdmst.blog.csdn.net/article/details/12
PySpark与GraphFrames的安装与使用
pandas快速升级到spark，简单丝滑，值得拥有。
六十七、Spark-两种运行方式（本地运行，提交集群运行）
本地运行：在IDEA中直接运行控制台输出结果即可集群运行：在本地将程序打包为 jar，提交至集群运行其程序（将结果上传至hdfs）
spark运行架构和基础
基本 概念RDD:(官方概念）弹性分布式数据集，就是一个个的在内存里的数据。就是数据的基本单位，所有spark都是来操作他的 DAG 是有向无环图，它的作用主要是反应rdd之间的关系。 Excutor 就是一个容器，就像Hadoop的node一样，用来运行的 应用 顾名思义来编写spark程序的 任
像写SQL一样去处理内存中的数据，SparkSQL入门教程
像写SQL一样去处理内存中的数据，SparkSQL入门教程
一天学完spark的Scala基础语法教程十三、文件IO操作(idea版本)
????前言????????博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主????✍本文由在下【红目香薰】原创，首发于CSDN✍????2022年最大愿望：【服务百万技术人次】????????初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】???
Spark追妻系列(TopN案例和动作算子)
Spark中的TopN案例
一天学完spark的Scala基础语法教程十二、异常处理(idea版本)
????前言????????博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主????✍本文由在下【红目香薰】原创，首发于CSDN✍????2022年最大愿望：【服务百万技术人次】????????初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】???
一天学完spark的Scala基础语法教程十、类和对象(idea版本)
????前言????????博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主????✍本文由在下【红目香薰】原创，首发于CSDN✍????2022年最大愿望：【服务百万技术人次】????????初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】???
Spark追妻系列(Spark初了解)
感觉每天又有了希望，又有动力，感觉学习尽头十足Spark是什么Spark是一个用来实现快速而通用的集群计算的平台。在之前，学习了MR，学习了hadoop，用mapreduce来对数据进行处理，但是hadoop是用批处理的，而且还有延迟，况且，出来了Hive，Hive将sql转化为mr算子。可以不用去
