文章目录
前言
本篇详细介绍了HDFS的工作原理，看完这篇文章对HDFS能够有非常深刻的理解与应用。
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
一、HDFS的优缺点
1、优点：
- 高容错性： （1）数据自动保存多个副本。它通过增加副本的形式，提高容错性。 （2）某一个副本丢失以后，它可以自动恢复。
- 适合处理大数据： （1）数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据； （2）文件规模：能够处理百万规模以上的文件数量，数量相当之大。
- 可构建在廉价机器上，通过多副本机制，提高可靠性。
2、缺点：
- 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
- 无法高效的对大量小文件进行存储。 （1） 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的； （2）小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
- 不支持并发写入、文件随机修改。 （1）一个文件只能有一个写，不允许多个线程同时写； （2）仅支持数据append（追加），不支持文件的随机修改。
二、HDFS的组织架构
1、HDFS组件
- NameNode（nn）：就是Master，它是一个主管、管理者。 （1）管理HDFS的名称空间； （2）配置副本策略； （3）管理数据块（Block）映射信息； （4）处理客户端读写请求。
- DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。 （1）存储实际的数据块； （2）执行数据块的读/写操作。
- Client：就是客户端。 （1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传； （2）与NameNode交互，获取文件的位置信息； （3）与DataNode交互，读取或者写入数据； （4）Client提供一些命令来管理HDFS，比如NameNode格式化； （5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；
- Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。 （1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ； （2）在紧急情况下，可辅助恢复NameNode。
2、HDFS块
HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。
（1）如果寻址时间约为10ms，即查找到目标block的时间为10ms。
（2）寻址时间为传输时间的1%时，则为最佳状态。（专家）
（3）因此，传输时间=10ms/0.01=1000ms=1s
（4）而目前磁盘的传输速率普遍为100MB/s。
（5）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；
（6）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。
（7）HDFS块的大小设置主要取决于磁盘传输速率。
三、HDFS命令操作
hadoop fs -help#查看HDFS的命令
hadoop fs -mkdirtest#新建test文件夹
hadoop fs -moveFromLocal a.txt /test #剪切本地文件上传到HDFS
hadoop fs -copyFromLocal a.txt /test #复制本地文件上传到HDFS
hadoop fs -put a.txt /test #与copyFromLocal 相同，常用
hadoop fs -appendToFile b.txt /test/a.txt #将b.txt文件内容追加到a.txt末尾
hadoop fs -copyToLocal /test/a.txt ./ #将HDFS的a.txt文件下载到本地
hadoop fs -get /test/a.txt ./a.txt #与copyToLocal 相同，常用
hadoop fs -ls /test #展示目录信息
hadoop fs -cat /test/a.txt #查看文件内容
hadoop fs -chmod775 /test/a.txt #更改文件权限
hadoop fs -chown username:username /test/a.txt
hadoop fs -cp /test/shuguo.txt /test1 #将文件从HDFS的一个目录复制到另一个目录
hadoop fs -mv /test/a.txt /test1 #将文件从HDFS的一个目录剪切到另一个目录
hadoop fs -tail /test/a.txt #展示一个文件某位1kb的数据
hadoop fs -rm /test/a.txt #删除文件或者文件夹
hadoop fs -rm-r /test #递归删除目录和目录中的内容
hadoop fs -du-s-h /test #统计文件夹的大小信息
hadoop fs -du-h /test#统计文件夹中文件的大小信息
hadoop fs -setrep10 /test/a.txt #设置HDFS中文件副本的数量，与DataNode的个数相关
四、JAVA操作HDFS
1、搭建环境
1）配置hadoop环境变量
2）搭建IDEA程序环境
日志配置文件
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
新建hdfs-site.xml文件作为hdfs的配置文件
<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!--设置副本数--><property><name>dfs.replication</name><value>3</value></property></configuration>
2、代码案例
publicclassTestHDFS{privateFileSystem fileSystem;privateConfiguration configuration;privateURI uri;privateString user;@Beforepublicvoidinit()throwsIOException,InterruptedException{
uri =URI.create("hdfs://hadoop102:8020");
configuration =newConfiguration();// 参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath下的用户自定义配置文件 >（3）然后是服务器的自定义配置（xxx-site.xml） >（4）服务器的默认配置（xxx-default.xml）//configuration.set("dfs.replication","1");
user ="atguigu";
fileSystem =FileSystem.get(uri,configuration,user);}@Afterpublicvoidclose()throwsIOException{
fileSystem.close();}/**
* 创建目录
* @throws IOException
*/@TestpublicvoidtestHDFS()throwsIOException{String path ="/testhdfs1";
fileSystem.mkdirs(newPath(path));}/**
* 上传
* @throws IOException
*/@TestpublicvoidtestUpload()throwsIOException{
fileSystem.copyFromLocalFile(false,true,newPath("E:\\SpringCloud.md"),newPath("/testhdfs"));}/**
* 下载
*/@TestpublicvoidtestDownload()throwsIOException{
fileSystem.copyToLocalFile(false,newPath("/testhdfs/SpringCloud.md"),newPath("D:\\SpringCloud.md"),true);}/**
* 更改和移动
*/@TestpublicvoidtestMove()throwsIOException{
fileSystem.rename(newPath("/testhdfs/SpringCloud1.md"),newPath("/testhdfs/SpringCloud.md"));}/**
* 文件详情
*/@TestpublicvoidtestListFiles()throwsIOException{RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles(newPath("/"),true);while(listFiles.hasNext()){LocatedFileStatus fileStatus = listFiles.next();System.out.println(fileStatus.getPath()+","+fileStatus.getPermission());}}/**
* 判断是文件还是目录
* @throws IOException
*/@TestpublicvoidtestListStatus()throwsIOException{FileStatus[] fileStatuses = fileSystem.listStatus(newPath("/"));for(FileStatus fileStatus : fileStatuses){if(fileStatus.isFile()){System.out.println("file:"+fileStatus.getPath());}else{System.out.println("dir:"+fileStatus.getPath());}}}/**
* 删除
*/@TestpublicvoidtestDelFile()throwsIOException{// fileSystem.delete(new Path("/testhdfs/SpringCloud.md"),true);// fileSystem.delete(new Path("/testhdfs"),false);
fileSystem.delete(newPath("/testhdfs"),true);}}
五、HDFS的读写流程
1、写数据流程
（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
（2）NameNode返回是否可以上传。
（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。
（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
（6）dn1、dn2、dn3逐级应答客户端。
（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个到Block的服务器。（重复执行3-7步）。
在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。
节点距离：两个节点到达最近的共同祖先的距离总和。
2、读数据流程
（1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
（3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
（4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。
六、NameNode和SecondaryNameNode
1、为什么要使用SecondaryNameNode？
元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件（只进行追加操作，效率很高）。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。
2、NameNode工作机制
（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode记录操作日志，更新滚动日志。
（4）NameNode在内存中对元数据进行增删改。
3、Secondary NameNode工作机制
（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
（2）Secondary NameNode请求执行CheckPoint。
（3）NameNode滚动正在写的Edits日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint到NameNode。
（8）NameNode将fsimage.chkpoint重新命名成fsimage。
4、checkpoint设置
1）通常情况下，SecondaryNameNode每隔一小时执行一次。
[hdfs-default.xml]
<property><name>dfs.namenode.checkpoint.period</name><value>3600s</value></property>
2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。
<property><name>dfs.namenode.checkpoint.txns</name><value>1000000</value><description>操作动作次数</description></property><property><name>dfs.namenode.checkpoint.check.period</name><value>60s</value><description> 1分钟检查一次操作次数</description></property>
七、DataNode
1、DataNode工作机制
（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据，包括数据块的长度，块数据的校验和，以及时间戳。
（2）DataNode启动后向NameNode注册，通过后，周期性（6小时）的向NameNode上报所有的块信息。
DN向NN汇报当前解读信息的时间间隔，默认6小时；
<property><name>dfs.blockreport.intervalMsec</name><value>21600000</value><description>Determines block reporting interval in milliseconds.</description></property>
DN扫描自己节点块信息列表的时间，默认6小时
<property><name>dfs.datanode.directoryscan.interval</name><value>21600s</value></property>
（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
（4）集群运行中可以安全加入和退出一些机器。
2、数据完整性
如下是DataNode节点保证数据完整性的方法。
（1）当DataNode读取Block的时候，它会计算CheckSum。
（2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。
（3）Client读取其他DataNode上的Block。
（4）常见的校验算法crc（32），md5（128），sha1（160）
（5）DataNode在其文件创建后周期验证CheckSum。
3、掉线时限参数设置
1、DataNode进程死亡或者网络故障造成DataNode无法与NameNode通信
2、NameNode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。
3、HDFS默认的超时时长为10分钟+30秒。
4、如果定义超时时间为TimeOut，则超时时长的计算公式为：
T
i
m
e
O
u
t
=
2
∗
d
f
s
.
n
a
m
e
n
o
d
e
.
h
e
a
r
t
b
e
a
t
.
r
e
c
h
e
c
k
−
i
n
t
e
r
v
a
l
+
10
∗
d
f
s
.
h
e
a
r
t
b
e
a
t
.
i
n
t
e
r
v
a
l
TimeOut = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval
TimeOut=2∗dfs.namenode.heartbeat.recheck−interval+10∗dfs.heartbeat.interval
而默认的dfs.namenode.heartbeat.recheck-interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。
需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。
<property><name>dfs.namenode.heartbeat.recheck-interval</name><value>300000</value></property><property><name>dfs.heartbeat.interval</name><value>3</value></property>
版权归原作者 zhangqw1013 所有， 如有侵权，请联系我们删除。