Hadoop 生态圈及核心组件简介Hadoop|MapRedece|Yarn
大数据Hadoop、mapreduce、yarn，Hadoop生态圈总结，侠义上Hadoop指的是Apache软件基金会的一款开源软件允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理Hadoop核心组件HDFS:分布式文件存储系统，解决海量数据存储YARN:集群资源管理和任务调度
HDFS常用命令汇总
HDFS常用命令
HDFS文件上传与下载
运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log1目录中。运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log2目录中。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。此
大数据Hadoop之——Apache Hudi 数据湖实战操作（FlinkCDC）
Hudi 是一个流式数据湖平台大数据Hadoop之——新一代流式数据湖平台 Apache Hudi大数据Hadoop之——Apache Hudi 数据湖实战操作（Spark，Flink与Hudi整合）数据处理：计算引擎，例如：flink、spark等。数据存储：HDFS、云存储、AWS S3、对象存
HDFS总结
客户端拿到数据存放节点位置信息后，会和对应的DataNode节点进行直接交互，进行数据写入，由于数据块具有副本replication，在数据写入时采用的方式是先写第一个副本，写完后再从第一个副本的节点将数据拷贝到其它节点，依次类推，直到所有副本都写完了，才算数据成功写入到HDFS上，副本写入采用的是
Hadoop学习笔记之HDFS
支持海量数据的存储，成百上千的计算机组成存储集群，HDFS可以运行在低成本的硬件之上，具有的高容错、高可靠性、高可扩展性、高吞吐率等特征，非常适合大规模数据集上的应用。
使用navicat连接虚拟机的hive
使用Navicat连接虚拟机的Hive数据的步骤。
HDFS的文件存储格式以及HDFS异构存储和存储策略
HDFS常见的文件存储格式。冷数据、热数据、暖数据、冻数据的异构存储。HDFS块存储类型的选择策略：HOT 、COLD、WARM、LAZY_PERSIST 以及相关操作的方法。
实验03熟悉常用的HBase操作
hadoop大数据实验3 熟悉常用的HBase操作
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后，查看相关WEB界面，打不开的原因可能如下：1、可以先去检查LINUX（CentOS7）机器的防火墙是否关闭，命令如下：systemctl status firewalld.service （查看防火墙状态）(如果显示为关闭状态，则进行下一步；如果显示尚未关闭，则进行关闭并设定开机如
Hadoop课程学习——Hadoop的windows环境安装及问题
关于Hadoop环境配置的过程以及出现的一系列问题解决系统：window10t=M85Bt=M85Bjdk1.8.0_251下载链接http://xn--https-bl8js66z7n7i//pan.baidu.com/s/18xDQtQz1MH4WCkrC0QR0yQ%20%E6%8F%90%E
JavaAPI操作Hive
JavaAPI操作Hive
hive创建表后怎么新增分区结构（创建表时没有创建分区）
hive在创建表时没有添加分区结构（希望大家不要杠，硬说是字段，只要您高兴，您怎么说都行），增加分区结构的方法
Windows下配置Hadoop及Spark环境
前言教程所用各版本说明一 JDK环境配置由于项目用的JDK17，所以单独给Hadoop配了JDK11，建议直接配置JAVA_HOME环境变量为JDK11，因为后面Spark需要用到JAVA_HOME下载jdk-11.0.13_windows-x64_bin.zip链接：https://www.or
手把手教你快速在生产环境搭建Doris集群附集群启停管理脚本
手把手教你快速在生产环境搭建Doris集群
基于Hadoop生态的相关框架与组件的搭建
本篇文章，着重与Hadoop生态的相关框架与组件的搭建，以及不同框架或组件之间的依赖配置，使读者能够熟悉与掌握Hadoop集群的搭建，对于Hadoop生态有一定的认识。本次搭建三台虚拟机为hadoop01.bgd01、hadoop02.bgd01、hadoop03.bgd01，hadoop01.bg
大数据Hadoop集群搭建 1（伪分布式集群）
（2）另一种是Hadoop集群自定义配置时编辑的配置文件，包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves共7个文件，可以根据需要在这些文件中对默认配置文件中的参数
11.Linux下Spark的安装配置以及spark-shell的启动和 Spark集群环境搭建
（1）安装Spark1.先用xftp将安装包传到home/hadoop/Downloads文件夹下，然后解压安装。2.解压缩：3. 更改文件夹名称：4.修改hadoop用户对文件夹spark的访问权限：（2）配置1.复制一份由Spark安装文件自带的配置文件模板：如图所示：返回结果：Pi is ro
Linux下hive的安装（保姆级）
Hadoop集群上hive安装全过程，详细截图配文字说明
CDH数仓项目(一) —— CDH安装部署搭建详细流程
CDH数仓项目——基于CDH搭建数据仓库
