hadoop面试题

一、单项选择题

1、目前，Hadoop的最高版本是哪个（ A ）

A、Hadoop3.x B、Hadoop2.x C、Hadoop4.x D、Hadoop1.x

2、大数据的4V特征是指? （ B ）

A、数据量大(Volume)、类型繁多(Variety)、价值密度低(Value)、技术发展速度快(Velocity)

B、数据量大(Volume)、类型繁多(Variety)、价值密度低(Value)、处理速度快(Velocity)

C、数据量大(Volume)、类型繁多(Variety)、价值密度高(Value)、数据产生速度快(Velocity)

D、数据量大(Volume)、类型繁多(Variety)、价值密度低(Value)、数据变化速度快(Velocity)

3、HDFS有一个gzip文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时input split大小为？（ D ）

A、一个map读取64MB，另外一个map读取11MB

B、128MB C、64MB D、75MB

4、HDFS有一个LZO（with index）文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce任务读取该文件时input split大小为？（ A ）

A、一个map读取64MB，另外一个map读取11MB

B、64MB C、75MB D、128MB

5、关于SecondaryNameNode哪项是正确的? （ A ）

A、它目的是帮助NameNode合并编辑日志,减少NameNode的负担和冷启动时的加载时间

B、它对内存没有要求 C、它是NameNode的热备

D、SecondaryNameNode应与NameNode部署到一个节点

6、把本地文件放到集群里,可以使用下面哪个hadoop shell的命令? （ C ）

A、hadoop fs –put B、hadoop fs –push /

C、hadoop fs –put / D、hadoop -push /

7、如果想要修改集群的备份数量,可以修改下面哪个配置文件? （ C ）

A、mapred-site.xml B、core-site.xml

C、hdfs-site.xml D、hadoop-env.sh

8、在Centos7中,如果想要查看本机的主机名可以使用下面哪个命令? （ B ）

A、reboot B、hostname C、pwd D、tail

9、Hadoop-2.x集群中的HDFS的默认的副本块的个数是? （ A ）

A、3 B、2 C、1 D、4

10、以下哪个不是HDFS的守护进程（ C ）

A、SecondaryNameNode B、NameNode C、MrappMaster/YarnChild D、DataNode

11、大数据至少为以下哪种存储量级? （ B ）

A、EB B、PB C、TB D、ZB

12、关于HDFS集群中的DataNode的描述不正确的是? （ A ）

A、一个DataNode上存储的所有数据块可以有相同的

B、存储客户端上传的数据的数据块

C、DataNode之间可以互相通信

D、响应客户端的所有读写数据请求,为客户端的存储和读取数据提供支撑

13、MapReduce的Shuffle过程以下中哪个操作是最后做的？（ B ）

A、排序 B、合并 C、分区 D、溢写

14、Hadoop起始于以下哪个阶段？（ D ）

A、2004年，Nutch的开发者开发了NDFS。

B、2004年，Google发表了关于MapReduce的论文。

C、2003年，Google发布了GFS论文。 D、2002年，Apach项目的Nutch。

15、下面哪个程序负责HDFS数据存储。（ C ）

A、NameNode B、Jobtracker C、Datanode D、tasktracker

16、配置机架感知的下面哪项正确？（ C ）

A、MapReduce会根据机架获取离自己比较近的网络数据

B、写入数据的时候会写到不同机架的DataNode

C、都正确 D、如果一个机架出问题，不会影响数据读写

17、下列关于HDFS的描述正确的是? （ A ）

A、NameNode磁盘元数据不保存Block的位置信息

B、DataNode通过长连接与NameNode保持通信

C、HDFS集群支持数据的随机读写

D、如果NameNode宕机,SecondaryNameNode会接替它使集群继续工作

18、一个gzip文件大小75MB，客户端设置Block大小为64MB，请问其占用几个Block？（ B ）

A、3 B、2 C、4 D、1

19、按照所处理的数据形式和得到结果的时效性分类,大数据处理框架可以分为三类,以下系统中哪一项不是? （ B ）

A、混合处理系统 B、分布式键值系统 C、批处理系统 D、流处理系统

20、关于大数据的价值密度描述正确的是以下哪个? （ A ）

A、大数据由于其数据量大,所以其价值密度低。

B、大数据由于其数据量大,所以其价值也大。

C、大数据的价值密度是指其数据类型多且复杂。

D、大数据由于其数据量大,所以其价值密度高。

二、多选题

1、下面哪个组件可以在Hadoop集群中代替MR做一些计算? （ AC ）

A、Spark B、Sqoop C、Hive D、Avro

2、大数据的计算模式主要有哪些? （ ABCD ）

A、图计算模式 B、流计算模式 C、查询分析计算模式 D、批处理计算模式

3、Hadoop MapReduce对外提供了5个可编程组件，以下哪对中的方法或任务不全在这

5个编程组件中。（ AB ）

A、Partitioner和Combiner B、Split和Sort

C、InputFormat和OutputFormat D、Mapper和Reducer

4、YARN主要包含的模块有以下哪些？（ ABC ）

A、ApplicationMaster B、ResourceManager

C、NodeManager D、QuorumJournalManager

5、下面哪些是Hadoop 2.x的组件? （ ABC ）

A、Spark B、Hive C、HBase D、GFS

6、Hadoop的三种安装模式包括以下哪种? （ BCD ）

A、两分布式模式 B、完全分布式模式

C、伪分布模式 D、单机模式

7、VMware提供了哪几种工作模式？（ ABD ）

A、host-only仅主机模式 B、NAT模式

C、自定义除以上3种其他模式 D、桥接（bridged）模式

8、Hadoop集群具有以下哪个优点? （ ACD ）

A、高容错性 B、高成本性 C、高可靠性 D、高扩展性

9、关于数据副本的存放策略正确的有些? （ ABCD ）

A、第三个副本:与第一个副本相同机架的其他节点上;

B、更多副本:随机节点。

C、第一个副本,放置在上传文件的数据节点;

D、第二个副本,放置在与第一个副本不同的机架的节点上;

10、以下关于SSH免密码配置的描述正确的选项有哪个？（ ABCD ）

A、SSH专为远程登录会话和其他网络服务提供安全性的协议。

B、SSH是Secure Shell的缩写，则IETF的网络工作小组制定。

C、SSH是建立 在应用层和传输导上的安全协议。

D、使用SSH公钥登录可以解决Hadoop集群节点之前的通信略掉需要输入密码才能登录的步骤。

11、大数据采集中面临的主要问题有以下哪些? （ ABCD ）

A、如何避免重复数据 B、数据源多种多样,数据量大、变化快

C、如何保证数据的质量 D、如何保证数据采集的可靠性

12、以下关于文件块的说法正确的是? （ ABCD ）

A、文件的所有Block为了容错都会被冗余复制。

B、除了最后一个Block,所有的Block都是同样的大小。

C、每个文件的Block大小和复制(Replication)因子都是可配置的。

D、HDFS将文件存储成块序列。

13、MapRecue的优点有哪些？（ ACD ）

A、可扩展性强 B、计算机性能高 C、容错性强 D、开发简单

14、以下关于HDFS体系结构的描述正确的有哪几项？（ ABCD ）

A、NameNode作为主结点，用来管理文件系统的元数据（命名空间和访问操作等信息）。

B、DataNode作为从结点，用来管理存储的数据。

C、HDFS采用主从结构模型。

D、一个HDFS集群是由一个NameNode和若干个DataNode组成的。

15、HDFS中常用命令有下面哪些? （ ABCD ）

A、hadoop fs –rm B、hadoop fs –ls

C、hadoop fs –mv D、hadoop fs –put

16、在新的Hadoop MapReduce框架YARN产生之前，MapReduce架构存在的问题有哪些？

（ ABCD ）

A、容易造成TaskTracker端内存溢出 B、JobTrack单点故障问题

C、JobTrack任务过重 D、容易造成资源浪费

17、常用的HDFS API有哪些? （ ABCD ）

A、rename() B、copyFromLocalFile() C、mkdirs() D、delete()

18、以下关于序列化Writable的说法正确的是？（ ABCD ）

A、反序列化也称反串行化，它是指将字节流转回结构化对象的逆过程。

B、Hadoop中使用自己开发的类：IntWritable、FloatWritable、Text等，都是Writable的实现类。

C、序列化和反序列化在分布式数据处理中，主要于进程间通信和永久存储两个领域。

D、Writable接口是一个序列化对象的接口，能够将数据写入流或者从流中读出。

19、大数据关键技术包括哪些? （ ABCD ）

A、大数据存储 B、大数据预处理 C、大数据采集 D、大数据分析挖掘

20大数据中常见的类型有哪些? （ ABCD ）

A、视频 B、图片 C、音频 D、日志

三、判断题

1、Hadoop实现了一个分布式文件系统,简称HDFS。（**√ ** ）

2、在大数据框架中,批处理系统一般不适用于对延时要示较高的场景。（ √ ）

3、HDFS既适合超大数据集存储,也适合小数据集的存储。（ × ）

4、Hadoop下使用MapRecue。用户只要继承MapReduceBase,提供分别实现Map和Reduce的两个类,并注册Job即可自动分布式运行。（ √ ）

5、我国的大数据产业政策一直在有序推进,工业和信息化部在2017年1月正式印发了《大数据产业发展规划》。（ √ ）

6、HDFS为海量的数据提供了存储,而MapReduce为海量的数据提供了计算。（ √ ）

7、Hadoop的框架最核心的设计就是:HDFS和MapReduce。（ √ ）

8、HDFS以流的形式访问文件系统中的数据。（ √ ）

9、HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。（ √ ）

10、MapRecue在shuffle阶段基于排序的方法会将key相同的数据聚集在一起。（√ ）

四、填空题

1、（ datanode ）负责HDFS数据存储。

2、hadoop运行的模式有：单机模式 、（ 伪分布模式 ） 、（ 伪分布模式 ）。

3、Hadoop集群搭建中常用的4个配置文件为core-site.xml 、（ hdfs-site.xml ）

、mapred-site.xml、（ ，yarn-site.xml ） 。

4、一个HDFS集群包括两大部分，即 （ namenode ） 与（ datanode ）。

5、格式化HDFS系统的命令为：（ hdfs namenode –format ）。

6、hadoop创建多级目录（如：/a/b/c）的命令为（ hadoop fs –mkdir –p /a/b/c ）。

7、hadoop显示根目录命令为：（ hadoop fs –lsr ）。

8、hadoop包含的四大模块分别是： Hadoop common 、（ HDFS ） 、（ Mapreduce ）、（ yarn ）。

9、（ job ）是客户端需要执行的一个工作单元。

10、map任务将其输出写入到（ 本地磁盘 ）。

11、reduce的输出通常存储在（ HDFS ） 中以实现可靠存储。

12、大数据是由结构化和非结构化数据组成的。（ 10% ）的结构化数据，存储在数据库中，（ 90% ）的非结构化数据，它们与人类信息密切相关。

13、大数据关键技术两大核心技术是：（ 分布式存储或（HDFS） ）和（ 分布式处理或（MapReduce） ）。

五、简答题

1. hdfs的体系结构是什么？

HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。

2、NameNode与SecondaryNameNode的区别与联系？

1）区别

（1）NameNode 负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的

数据块信息。

（2）SecondaryNameNode 主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。

2）联系：

（1）SecondaryNameNode 中保存了一份和 namenode 一致的镜像文件（fsimage）和编

辑日志（edits）。

（2）在主 namenode 发生故障时（假设没有及时备份数据），可以从 SecondaryNameNode

恢复数据。

3、hdfs文件写入的流程？

1. Client向NameNode发起文件写入的请求。

2. NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。

3. Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。

4、完全分布模式又有什么注意点？

完全分布模式通常被用于生产环境，这里我们使用N台主机组成一个Hadoop集群，Hadoop守护进程运行在每台主机之上。这里会存在Namenode运行的主机，Datanode运行的主机，以及task tracker运行的主机。在分布式环境下，主节点和从节点会分开。

5、MapReduce核心思想是什么？

分而治之:就是把一个复杂的问题，按照一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果，把各部分的结果组成整个问题的结果

MapReduce是框架和平台，主要解决海量数据的计算，是目前分布式计算模型中应用较为广泛的一种

Map阶段：用于对原始数据进行处理

Reduce阶段：对map阶段数据进行汇总

部分任务不一定需要reduce阶段可能只有map阶段，map阶段产生的数据直接写入HDFS中

有map产生相关key的输出都会集中在到Reduce中处理，reduce是最终的处理过程，其结果不会进行二次处理。

Hadoop系统核心组件之一，它是一种可用于大数据并行处理的计算模型、框架。

6、Hadoop分布式集群，默认备份数为多少，每个数据块大小是多少？在哪个配置文件中可以修改备份数与每个数据块大小？

默认备份为3份，每块数据大小128M， 在hdfs-site.xml配置文件中可以修改备份数和数据块大小。