大数据技术之——zookeeper的安装部署
Zookeeper是一个`开源的分布式的`，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解，`是一个基于观察者模式设计的分布式服务管理框架`，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper就负责通知已经在Z
一种基于“spark lite”和“按键自动精灵”软件的不间断跑流量方法
spark lite,自动按键精灵，快速刷流量
任务二：数据清洗
数据清洗
Spark系列之Spark安装部署
Spark系列Spark安装部署
黑马Hive+Spark离线数仓工业项目--项目总结
黑马Hive+Spark离线数仓工业项目--项目总结
SparkSQL详细的调优步骤及参数配置？
在spark-defaults.conf文件中设置spark.sql.shuffle.partitions参数，该参数控制shuffle操作的分区数，一般设置为每个executor的cores的数量，可以根据实际情况调整。在spark-defaults.conf文件中设置spark.executor
Spark系列(一)spark简介及安装配置
什么是Spark：Spark是一个用于大规模数据处理的统一计算引擎注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎内存计算Spark中一个最重要的特性就是基于内存进行计算，从而让它
Centos7上安装配置Spark
该文章主要是描述单机版Spark的简单安装，版本为 spark-3.1.3-bin-hadoop3.2.tgz1、Spark 下载、解压、安装Spark官方网站： Apache Spark™ - Unified Engine for large-scale data analytics Spark下
大数据平台环境搭建
这段时间基于大数据技术与应用大赛所做的大数据平台环境搭建，原创文章。在自己电脑上搭建过几遍，按照上述笔记搭建没有出现问题。家人们如果在尝试搭建的过程中出现问题可以在下方评论区留言或者私信，我看到后会回复。希望能对有需求的萌新有所帮助。...
线上 hive on spark 作业执行超时问题排查案例分享
m分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法
spark入门案例以及sbt安装与打包（Linux环境）
sbt 安装与打包应用程序源码放spark-submit执行，包含问题处理
Spark-SQL连接Hive 的五种方法
Spark-SQL连接Hive 的五种方法
spark3.3.0安装&部署过程
spark安装&部署过程
分布式学习-1 Hadoop Spark安装
折腾了一个多月的时间，成功实现了一些应用。学习过程中还是踩了不少坑的，所以在这里对整个构建过程进行整理，方便大家参考学习。
Flink知识点总结 Flink简介
flink记录
PySpark 相关基础知识
主要介绍Pyspark相关的知识，Pycharm配置Spark，Conda管理Python环境
spark安装教程
spark安装
Spark 下载安装配置详解文档 (spark-2.4.8-bin-hadoop2.7.tgz)
解压tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /opt/moudel/官网地址：https://archive.apache.org/dist/spark/重命名mv spark-2.4.8-bin-hadoop2.7 spark-2.4.8。进入/usr
Spark 连接 Mongodb 批量读取数据
spark 读取 mongodb 数据
