作者：禅与计算机程序设计艺术
1.简介
大数据组件是解决大数据的关键组件之一，在Hadoop生态系统中占据着至关重要的地位，它包括了HDFS、MapReduce、Hive等等一系列框架和工具。本文将会通过主要分析HDFS、MapReduce、Hive三个大数据组件的特点和架构，并详细阐述它们之间的联系与区别。本章节的内容分为以下几个部分：
- HDFS（Hadoop Distributed File System）介绍
- MapReduce（Hadoop Distributed Computing Framework）介绍
- Hive（Data Warehouse on Hadoop）介绍 在正式开始之前，首先让我们先明确一下什么叫做大数据？我们如何定义它呢？这里我引用自美剧“西部世界”里的一个台词：“那里充满了令人惊叹的数据”，也就是说，如果把整个互联网的信息都收集起来，它就是大数据。再举个例子，如果你收集了你和你的邻居的所有通话记录、手机短信记录、社交媒体消息记录、照片、视频等，那么这些信息构成的集合，也同样可以称为大数据。
2. 大数据技术的定义与分类
大数据技术的定义和分类，可以参考Jin Tang的这篇论文。他将大数据技术划分为了两大类——分布式存储系统和分布式计算框架，以及离线分析系统。
分布式存储系统：通常指基于硬盘存储和网络通信的海量数据集上的高效访问，具有快速存储和检索能力，能够支持多用户同时访问。目前最主流的分布式存储系统包括HDFS、Ceph等。
分布式计算框架：基于集群环境的并行计算模型，能够处理海量数据并产生实时结果&
本文转载自: https://blog.csdn.net/universsky2015/article/details/132095056
版权归原作者 禅与计算机程序设计艺术 所有， 如有侵权，请联系我们删除。
版权归原作者 禅与计算机程序设计艺术 所有， 如有侵权，请联系我们删除。