大数据A环境搭建--HADOOP--Ubuntu
模块A环境搭建一、安装JDK1.更改主机名字2.配置密钥 免密登录3.映射地址4 .解压并移动5.配置环境变量6.分发到各个节点二、安装HADOOP1.解压并且移动2.配置环境变量3.配置.sh和.xml文件i.创建临时文件ii.配置hadoop-env.shiii.配置core-site.xmlV
CDH6.3.1安装指南
CDH安装指南！！！！CDH简介CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。Cloudera Manager的功能：管理：对集群进行管理，如添加、删除节点等
Spark SQL底层执行流程详解
本文目录一、Apache Spark二、Spark SQL发展历程三、Spark SQL底层执行原理四、Catalyst 的两大优化完整版传送门：Spark知识体系保姆级总结，五万字好文！一、Apache SparkApache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大
关于建立开放的学术论文共享平台的倡议
如果您赞同，欢迎动动手指转发！近日“中科院因续订费用不堪重负，停用中国知网数据库”的消息让我们大吃一惊。中科院是我国论文成果产出最多的单位，据传闻中科院每年要花千万元购买知网里的论文访问权限。且不论里面的版权细节，这事情的逻辑是不通的。“中国政府采购网上显示，2022年，上海师范大学以79.8万元的
【源码解读】|SparkEnv源码解读
【源码解读】|SparkEnv源码解读导读SparkEnv 创建入口SparkEnv 架构组件前置创建SecurityManager安全管理器创建RPCEnv 环境创建SerializerManager序列化管理器创建BroadcastManager广播管理器创建mapOutputTracker创建
初步认识Hadoop
学习目的· 了解大数据的概念及其特征· 了解Hadoop发展· 掌握Hadoop的生态体系Hadoop作为一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop可靠及高效的处理性能，逐渐称为分析大数据的领先平台。1.1 什么是大数据 从
通俗理解大数据及其应用价值
在大数据这个概念兴起之前，信息系统存储数据的方法主要是我们熟知的关系型数据库，关系型数据库，关系型模型之父 Edgar F. Codd，在 1970 年 Communications of ACM 上发表了《大型共享数据库数据的关系模型》的经典论文，从此之后关系模型的语义设计达到了 40 年来普世、
Canal使用流程、部署安装文档
文章目录背景信息使用流程步骤一：准备MySQL数据源步骤二：创建索引步骤三：安装并启动Canal-server(Deployer)步骤四：部署Client-Adapter步骤五：验证增量数据同步步骤六：同步MySQL全量数据（如果不需要同步全量数据，可忽略这一步）常见问题及解决方式1. 部署后启动出
Spark流处理日志+SSM前端展示（详细）
Spark流处理日志加SSM前端展示
【面经】数据开发一面-美团暑期实习
美团数据开发工程师暑期实习生招聘一面面经。同学们一定不要等准备好了再去面试。先投递简历进行面试，将面试中每次被问到的问题都记录下来并针对性学习，可以发现自己成长非常快。下面给出面试中遇到的问题。自我介绍介绍自己研究生阶段的研究方向，做过的项目，毕业时间，本科生阶段的情况，为什么想要投递这个岗位。
大数据-kafka学习（八）—— 生产调优、硬件配置选择
一、场景说明100万日活，每人每天100条日志，每天总共的日志条数上100万*100条=1亿条1亿/24小时/60分/60秒=1150条/每分钟每条日志大小：0.5K-2K（取1K）1150条/每分钟*1K≈ 1m/s高峰期每分钟：1150条*20倍 = 23000条。每秒多少数据量：20MB/s。
大数据-kafka学习（五）——消费者
一、KAfka消费方式1、pull（拉）模式：consumer 采用从broker中主动拉取数据，Kafka 采取这种方式2、push（推）模式：Kafka 没有采用这种方式，是因为由broker决定消费发生速率，很难适应所有消费者的消费速率。例如推送的速度是50m/sConsumer1、Consu
大数据-kafka学习（六）——简单代码实现生产者消费者
maven依赖导入 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artif
使用Flink1.14.3与Kafka、Fine BI练习搜狗日志实时BI小项目
使用Flink1.14.3与Kafka、Fine BI练习搜狗日志实时BI小项目
Spark框架-离线数据统计
数据清洗任务简介:第一步：输出日志(使用spark默认的log4j配置文件)第二步：创建SparkSession对象(关闭严格模式,否则创建静态分区)第三步:拿出所有的表并进行清洗第四步：删除分区并且统计第五步：将对于字段的日期改为timestamp类型第六步：去除重复字段并创建临时视图第七步：查看
【MySQL8入门到精通】基础篇-客户端工具的使用
本系列要是我们团队20多人从事MySQL DBA 多年的工作经验中总结提炼而成，每周更新2篇
Spark框架——离线数据抽取(样题实例超详细)
模块B离线数据抽取任务简介具体步骤简介第一步：开启动态分区第二步：提取前一天时间第三步：读取MYSQL数据第四步：全量写入数据第五步：Main第六步：打包集群第七步：找到jar包第八步：把jar包打包到集群目录下第九步：进入Master目录下运行任务简介具体步骤简介第一步：开启动态分区val spa
【源码解读】|SparkContext源码解读
本文针对于SparkContext 初始化总线，来阐述了Spark接收到任务时的一系列操作，让读者可以随时溯源
Flink实时数仓项目—项目初了解
Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1 日常统计报表或分析图中需要包含当日部分2.2 实时数据大屏监控2.3 数据预警或提示2.4 实时推荐系统三、数仓架
SpringBoot整合Kafka消息队列并实现发布订阅和消费
SpingBoot整合Kafka，实现基本的订阅与消费pom依赖 --版本和springboot相关 <dependency> <groupId>org.springframework.kafka</groupId> <artifact
