安装配置flume（超详细）
（百度网盘连接：链接：https://pan.baidu.com/s/1VeelyVBttwLMRS-2LGzp8w?内容：export JAVA_HOME=/home/newadd/software/jdk1.8.0_171。2、解压：tar -zxvf apache-flume-1.7.0-bi
大数据从入门到实战-HDFS-JAVA接口之删除文件
HDFS-JAVA接口之删除文件
【大数据】记一次hadoop集群missing block问题排查和数据恢复
记一次 Hadoop 集群 missing block 问题解决及排查思路，集群环境总共有2个NN节点，3个JN节点，40个DN节点，基于hadoop-3.3.1的版本。集群采用的双副本，未使用ec纠删码。因为出现了missing block块高于namenode安全模式启动的阈值，导致nameno
Hadoop伪分布集群配置（我用的是VMwareWorkstation）
记录学习，加深巩固，方便回忆！
大数据 | 实验一：大数据系统基本实验 | 熟悉常用的HDFS操作
1）理解 HDFS 在 Hadoop 体系结构中的角色。2）熟练使用 HDFS 操作常用的 shell 命令。3）熟悉 HDFS 操作常用的 Java API。
HDFS上传文件的过程
hdfs上传文件的过程
头歌 分布式文件系统HDFS 答案
迢迢牵牛星，皎皎河汉女。纤纤擢素手，札札弄机杼。终日不成章，泣涕零如雨。河汉清且浅，相去复几许？盈盈一水间，脉脉不得语。HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。第2关：HDFS-JAVA接口之读取文件。第3关：HDFS-JAVA接口之上传文件。第4关：HDFS-JAVA接口之删除文件。
Flume采集数据到HDFS配置参数详细解析
flume到hdfs
Hadoop HA 部署
Hadoop HA 部署、1+x大数据中级认证
Hbase Hbck2修复工具介绍和实践
Hbase Hbck2修复工具介绍和实践,我们在Hbase 的使用过程中，我们可能遇到过因为：机房断电、机房断网、ZK或者HBase的GC时间过长等原因引发的一系列HBase不可用的问题，这些问题通常需要通过hbase-operator-tool（HBase集群修复工具）中的工具来解决
实验4 RDD编程初级实践
一、实验目的（1）熟悉Spark的RDD基本操作及键值对操作；（2）熟悉使用RDD编程解决实际具体问题的方法。二、实验平台操作系统：Ubuntu16.04Spark版本：2.1.0三、实验内容和要求实验内容与完成情况：1.spark-shell交互式编程（1）该系总共有多少学生；（2）该系共开设来多
Hadoop集群间文件拷贝
文章主要介绍了Hadoop集群减文件拷贝的使用，借助源码简要分析了拷贝过程。
hadoop HA高可用集群实战
HA（high available），即高可用（24h不中断服务）实现高可用最关键的策略是消除单点故障。HA严格来说是应该分成各个组件的HA机制hadoop2.0之前，在HDFS集群中NamNode存在单点故障（SPOF）NameNode主要存在以下两个方敏影响HDFS集群。NameNode机器发生
数据同步工具DataX从Mysql同步数据到HDFS实战
会先写入临时文件，如果成功，则将临时文件rename，再删除临时文件；如果失败，直接删除临时文件。会在该文件名后添加随机的后缀，作为每个线程写入的实际文件名。我自己在下面的模板文件中添加了一些说明注释。
Hadoop集群配置及运行
本文章基于尚硅谷Hadoop 3.x视频进行总结，仅作为学习交流使用
HDFS常用命令汇总
HDFS常用命令
HDFS文件上传与下载
运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log1目录中。运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log2目录中。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。此
HDFS总结
客户端拿到数据存放节点位置信息后，会和对应的DataNode节点进行直接交互，进行数据写入，由于数据块具有副本replication，在数据写入时采用的方式是先写第一个副本，写完后再从第一个副本的节点将数据拷贝到其它节点，依次类推，直到所有副本都写完了，才算数据成功写入到HDFS上，副本写入采用的是
Hadoop学习笔记之HDFS
支持海量数据的存储，成百上千的计算机组成存储集群，HDFS可以运行在低成本的硬件之上，具有的高容错、高可靠性、高可扩展性、高吞吐率等特征，非常适合大规模数据集上的应用。
HDFS的文件存储格式以及HDFS异构存储和存储策略
HDFS常见的文件存储格式。冷数据、热数据、暖数据、冻数据的异构存储。HDFS块存储类型的选择策略：HOT 、COLD、WARM、LAZY_PERSIST 以及相关操作的方法。
