【极简spark教程】spark聚合函数
spark进阶内容，手把手教你实现UDAF，实现自己的average聚合函数
大数据笔记（四）：HDFS集群搭建-HA模式概念
HDFS集群搭建-HA模式概念，伪分布式到完全分布式，HDFS- Federation解决方案等知识点的讲解。
hadoop伪分布式安装（超详细）
hadoop伪分布式安装
【kafka专栏】消息队列通用消息传递模型(带视频)
两种消费模型及消费者组模式讲解：Point-to-Point(P2P)，一条消息由一个消费者消费；Publish/Subscribe(Pub/Sub)，一条消息被多个消费者消费。
Hadoop完全分布式环境部署(一看就会）
Hadoop完全分布式环境部署
python数据分析实战之用户分析及RFM模型分析
利用python进行用户分析和产品分析：用户画像分析：地区、性别、年龄分布，不同分类下的下单数量及消费金额对比，二八定律，用户分层模型(RFM模型)及销量最高的10个品牌。 思路清晰，注释全面详细。
【kafka专栏】核心概念篇-broker、主题、分区、消费者组、分区副本
本节为大家介绍一下kafka的一些基础概念，这些概念将在后续的学习中不断的被提到，所以有必要清晰明了。**本节内容是应用kafka消息队列最核心的理论知识内容，初学者请务必研读揣摩。** 第一遍读不懂往后学一学，再回来都这一篇文章，总之反复揣摩，这篇是kafka的理论知识核心。
记一次基于CBO的Oracle SQL调优
记一次基于CBO的Oracle SQL调优
大数据笔记（三）：HDFS集群搭建-伪分布式模式
HDFS集群搭建-伪分布式模式
大数据，请把它推给还不会单链表的人（数据结构）
每一个不曾起舞的日子,都是对生命的辜负! --------尼采目录：链表的基本介绍二：单链表的基本操作单链表只要有人和你将过左值和右值问题，单链表so easy一.基本介绍：1.链表的每一个结点都包含..
【Spark】(task6)Spark RDD完成统计逻辑
文章目录一、Spark RDD二、使用RDD functions完成任务2的统计逻辑Reference一、Spark RDDRDD：resilient distributed dataset (RDD)每个spark程序都有一个driver program运行main函数，在cluster集群上执行
大数据A环境搭建--HADOOP--Ubuntu
模块A环境搭建一、安装JDK1.更改主机名字2.配置密钥 免密登录3.映射地址4 .解压并移动5.配置环境变量6.分发到各个节点二、安装HADOOP1.解压并且移动2.配置环境变量3.配置.sh和.xml文件i.创建临时文件ii.配置hadoop-env.shiii.配置core-site.xmlV
CDH6.3.1安装指南
CDH安装指南！！！！CDH简介CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。Cloudera Manager的功能：管理：对集群进行管理，如添加、删除节点等
Spark SQL底层执行流程详解
本文目录一、Apache Spark二、Spark SQL发展历程三、Spark SQL底层执行原理四、Catalyst 的两大优化完整版传送门：Spark知识体系保姆级总结，五万字好文！一、Apache SparkApache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大
关于建立开放的学术论文共享平台的倡议
如果您赞同，欢迎动动手指转发！近日“中科院因续订费用不堪重负，停用中国知网数据库”的消息让我们大吃一惊。中科院是我国论文成果产出最多的单位，据传闻中科院每年要花千万元购买知网里的论文访问权限。且不论里面的版权细节，这事情的逻辑是不通的。“中国政府采购网上显示，2022年，上海师范大学以79.8万元的
【源码解读】|SparkEnv源码解读
【源码解读】|SparkEnv源码解读导读SparkEnv 创建入口SparkEnv 架构组件前置创建SecurityManager安全管理器创建RPCEnv 环境创建SerializerManager序列化管理器创建BroadcastManager广播管理器创建mapOutputTracker创建
初步认识Hadoop
学习目的· 了解大数据的概念及其特征· 了解Hadoop发展· 掌握Hadoop的生态体系Hadoop作为一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop可靠及高效的处理性能，逐渐称为分析大数据的领先平台。1.1 什么是大数据 从
通俗理解大数据及其应用价值
在大数据这个概念兴起之前，信息系统存储数据的方法主要是我们熟知的关系型数据库，关系型数据库，关系型模型之父 Edgar F. Codd，在 1970 年 Communications of ACM 上发表了《大型共享数据库数据的关系模型》的经典论文，从此之后关系模型的语义设计达到了 40 年来普世、
Canal使用流程、部署安装文档
文章目录背景信息使用流程步骤一：准备MySQL数据源步骤二：创建索引步骤三：安装并启动Canal-server(Deployer)步骤四：部署Client-Adapter步骤五：验证增量数据同步步骤六：同步MySQL全量数据（如果不需要同步全量数据，可忽略这一步）常见问题及解决方式1. 部署后启动出
Spark流处理日志+SSM前端展示（详细）
Spark流处理日志加SSM前端展示
