HDFS常用命令汇总
HDFS常用命令
HDFS文件上传与下载
运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log1目录中。运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log2目录中。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。此
大数据Hadoop之——Apache Hudi 数据湖实战操作（FlinkCDC）
Hudi 是一个流式数据湖平台大数据Hadoop之——新一代流式数据湖平台 Apache Hudi大数据Hadoop之——Apache Hudi 数据湖实战操作（Spark，Flink与Hudi整合）数据处理：计算引擎，例如：flink、spark等。数据存储：HDFS、云存储、AWS S3、对象存
HDFS总结
客户端拿到数据存放节点位置信息后，会和对应的DataNode节点进行直接交互，进行数据写入，由于数据块具有副本replication，在数据写入时采用的方式是先写第一个副本，写完后再从第一个副本的节点将数据拷贝到其它节点，依次类推，直到所有副本都写完了，才算数据成功写入到HDFS上，副本写入采用的是
Hadoop学习笔记之HDFS
支持海量数据的存储，成百上千的计算机组成存储集群，HDFS可以运行在低成本的硬件之上，具有的高容错、高可靠性、高可扩展性、高吞吐率等特征，非常适合大规模数据集上的应用。
使用navicat连接虚拟机的hive
使用Navicat连接虚拟机的Hive数据的步骤。
HDFS的文件存储格式以及HDFS异构存储和存储策略
HDFS常见的文件存储格式。冷数据、热数据、暖数据、冻数据的异构存储。HDFS块存储类型的选择策略：HOT 、COLD、WARM、LAZY_PERSIST 以及相关操作的方法。
实验03熟悉常用的HBase操作
hadoop大数据实验3 熟悉常用的HBase操作
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后，查看相关WEB界面，打不开的原因可能如下：1、可以先去检查LINUX（CentOS7）机器的防火墙是否关闭，命令如下：systemctl status firewalld.service （查看防火墙状态）(如果显示为关闭状态，则进行下一步；如果显示尚未关闭，则进行关闭并设定开机如
Hadoop课程学习——Hadoop的windows环境安装及问题
关于Hadoop环境配置的过程以及出现的一系列问题解决系统：window10t=M85Bt=M85Bjdk1.8.0_251下载链接http://xn--https-bl8js66z7n7i//pan.baidu.com/s/18xDQtQz1MH4WCkrC0QR0yQ%20%E6%8F%90%E
JavaAPI操作Hive
JavaAPI操作Hive
hive创建表后怎么新增分区结构（创建表时没有创建分区）
hive在创建表时没有添加分区结构（希望大家不要杠，硬说是字段，只要您高兴，您怎么说都行），增加分区结构的方法
Windows下配置Hadoop及Spark环境
前言教程所用各版本说明一 JDK环境配置由于项目用的JDK17，所以单独给Hadoop配了JDK11，建议直接配置JAVA_HOME环境变量为JDK11，因为后面Spark需要用到JAVA_HOME下载jdk-11.0.13_windows-x64_bin.zip链接：https://www.or
手把手教你快速在生产环境搭建Doris集群附集群启停管理脚本
手把手教你快速在生产环境搭建Doris集群
基于Hadoop生态的相关框架与组件的搭建
本篇文章，着重与Hadoop生态的相关框架与组件的搭建，以及不同框架或组件之间的依赖配置，使读者能够熟悉与掌握Hadoop集群的搭建，对于Hadoop生态有一定的认识。本次搭建三台虚拟机为hadoop01.bgd01、hadoop02.bgd01、hadoop03.bgd01，hadoop01.bg
大数据Hadoop集群搭建 1（伪分布式集群）
（2）另一种是Hadoop集群自定义配置时编辑的配置文件，包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves共7个文件，可以根据需要在这些文件中对默认配置文件中的参数
11.Linux下Spark的安装配置以及spark-shell的启动和 Spark集群环境搭建
（1）安装Spark1.先用xftp将安装包传到home/hadoop/Downloads文件夹下，然后解压安装。2.解压缩：3. 更改文件夹名称：4.修改hadoop用户对文件夹spark的访问权限：（2）配置1.复制一份由Spark安装文件自带的配置文件模板：如图所示：返回结果：Pi is ro
Linux下hive的安装（保姆级）
Hadoop集群上hive安装全过程，详细截图配文字说明
CDH数仓项目(一) —— CDH安装部署搭建详细流程
CDH数仓项目——基于CDH搭建数据仓库
大数据技术——Flume实战案例
1. 复制和多路复用1.1 案例需求1.2 需求分析1.3 实现操作2. 负载均衡和故障转移2.1 案例需求2.2 需求分析2.3 实现操作3. 聚合操作3.1 案例需求3.2 需求分析3.3 实现操作
