抖音进攻，B站退守
“爱优腾芒”等长视频平台的崛起，在一定层面上丰富了人们的日常生活，而抖音、快手等短视频平台的出现，则在很大程度上改变了用户观看视频的方式。只不过，近几年，随着流量增长逐渐遭遇瓶颈，各视频平台便纷纷开始在彼此领域试水，试图通过不断拓宽自身边界，来寻找新的增量。而当长短视频均进入存量竞争阶段，介于二者之
Spark 基本架构及运行原理
Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Meso
大数据技术之SparkSQL（超级详细）
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模
直达CSDN——创作者创收
帮助创作者创收
Elasticsearch查询文档--常见API篇（附详细代码和案例图文）
本篇文章将介绍Elasticsearch在Java中的几种API的使用，这块内容不作为面试中的重点，主打的就是一个陪伴。
数据迁移工具
DataStage，即IBM WebSphere DataStage，是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，并将其输入数据集市或数据仓库目标数据库的集成工具，可以从多个不同的业务系统中，从多个平台的数据源中抽取数据，完成转换和清洗，装载到各种系统里面。FineData
大数据上课笔记之Hadoop集群的启动和测试
Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。
Java中的文件解析——Excel解析
在日常的开发过程中，经常会使用到excel工作簿进行数据的保存，那么在java中，通常会使用第三方提供的技术来进行excel文件的解析，比如：Apache POI、JXL、Alibaba EasyExcel。本文则使用的是Apache POI。 目前Apache POI用的比较广泛的实
NiFi【部署 01】NiFi最新版本1.18.0下载安装配置启动及问题处理（一篇学会部署NiFi）
NiFi最新版本1.18.0下载安装配置启动及问题处理（一篇学会部署NiFi）
Linux下安装、配置、使用conda环境（教程详细，亲测无误）
Linux下安装、配置、使用conda环境（对新手友好，亲测无误！！！）
2021.11.29 JAVA的变量和数据基本类型知识(大数据笔记2)
P43-P45命名规则：可用26英文字母，0-9， _ $命名数字不可开头，大小写严格区分，不可有空格。包名：所有字母小写。xxxyyyzzz类名 接口名：首字母大写。XxxYyyZzz方法名 变量名：首字母小写其他单词首字母大写。xxxYyyZzz常量名：全部大写并且单词用下划线分割。XXX_YY
2023版最新最强大数据面试宝典
2023年最新大数据面试宝典，目前已更新到第4版，广受好评！
从 Linux 安装到 Hadoop 环境搭建全过程
从 Linux 的最小化安装到 Hadoop 环境的搭建，尽可能详尽介绍每个步骤。
Hive简介
ETL:首先从数据源池中提取数据，将数据保存在临时暂存数据库中（ODS），然后执行转换为合适目标数据仓库系统的形式，然后将结构化数据加载到仓库中，已备分析。数据仓库层（DW）：数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。操作型数据层（ODS）:存
docker安装es
docker es
【Flink】详解Flink的八种分区
本文详细介绍乐Flink中分区API以及底层分区器并给出图例，从源码角度分析各个分区器的原理，最后介绍了分区器的使用源码。
Galaxy 平台下 LEfSe 安装与使用教程
LEfSe (Linea...
大数据 | 实验零：安装 Hadoop 伪分布式系统
实验零：安装 Hadoop 伪分布式系统
关于hive无法正常启动（个人存档）
#此文仅作为本人问题解决过程存档环境：VM、CentOS、Xshell问题：输入hive后无法正常启动hive，并有如下提示 错误原因：hdfs 和yarn没有完全启动（主要是namenode无法正常启动）解决方法：1.jps 查看当前进行进程2.hadoop namenode -format
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】
