【项目实战】基于Web的管理和监控Hadoop集群工具——Ambari入门介绍

一、Ambari介绍

1.1 Ambari是什么？

Apache Ambari是一种基于Web的工具，它提供了一个易于使用的Web界面 ，是一个强大的开源的集群管理工具，它可以帮助管理员轻松管理和监控Hadoop集群，支持Apache Hadoop集群的供应、管理和监控。

1.2 支持大多数Hadoop组件的集中管理

Ambari已支持大多数Hadoop组件，包括HDFS、Hadoop MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等的集中管理。

1.3 五个顶级hadoop管理工具之一

当你利用 Hadoop 进行大数据分析和处理时，首先你需要确保配置、部署和管理集群。
5个顶级hadoop管理工具解释Apache AmbariApache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari向大多数Hadoop组件提供服务。Apache MesosApache Mesos是集群管理器，可以让用户在同一时间同意集群上运行多个Hadoop任务或其他高性能应用。Twitter的开放源代码经理Chris Aniszczyk表示，Mesos可以在数以百计的设备上运行，并使其更容易执行工作。Platform MapReducePlatform MapReduce提供了企业级可管理性和可伸缩性、高资源利用率和可用性、操作便利性、多应用支持以及一个开放分布式系统架构，其中包括对于Hadoop分布式文件系统(HDFS)和Appistry Cloud IQ的即时支持，稍后还将支持更多的文件系统和平台，这将确保企业更加关注将MapReduce应用程序转移至生产环境中。StackIQ Rocks+ Big DataStackIQ Rock+ Big Data是一款Rocks的商业流通集群管理软件，该公司已加强支持Apache Hadoop。Rock+支持Apache、Cloudera、Hortonworks和MapR的分布，并且处理从裸机服务器来管理Hadoop集群配置的整个过程Zettaset OrchestratorZettaset Orchestrator是端到端的Hadoop管理产品，支持多个Hadoop的分布。Zettaset吹捧Orchestrator的基于UI的经验和MAAPS(管理、可用性、自动化、配置和安全)的处理能力。

二、Ambari的使用步骤

2.1 安装Ambari Server和Ambari Agent：

在一台服务器上安装Ambari Server，然后在每个节点上安装Ambari Agent。

Ambari Server和Ambari Agent是Ambari架构中的两个重要组件

• Server负责管理和监控整个集群
• Agent负责在每个节点上安装和管理服务。 通过AmbariServer和Ambari Agent的协作，我们可以轻松地管理和监控Hadoop集群。

2.1.1 Ambari Server组件

Ambari Server是Ambari架构中的核心组件，它负责管理和监控整个集群。
Ambari Server的架构如下图所示：

Ambari Server主要由以下组件组成：

• REST API：提供了一组RESTful API，用于与Ambari Server进行交互。
• Database：用于存储集群配置信息、主机信息、服务信息等。
• Web UI：提供了一个易于使用的Web界面，用于管理和监控整个集群。
• Metrics Collector：用于收集集群的各种指标数据，如CPU使用率、内存使用率、磁盘使用率等。
• Alerting Framework：用于监控集群的各种警报，如节点宕机、服务停止等。
• Stack Definition：用于定义集群中所使用的软件栈，包括Hadoop、Hive、HBase等。
• Configuration Management：用于管理集群的配置信息，如Hadoop配置文件、Hive配置文件等。

2.1.2 Ambari Agent组件

Ambari Agent是Ambari架构中的另一个重要组件，它负责在每个节点上安装和管理服务。
Ambari Agent的架构如下图所示：

Ambari Agent主要由以下组件组成：

• Heartbeat：用于向Ambari Server发送心跳消息，以便Ambari Server了解节点的状态。
• Command Execution：用于执行由Ambari Server发送的命令，如安装、启动、停止服务等。
• Service Management：用于管理节点上的服务，如安装、启动、停止服务等。
• Metrics Collector：用于收集节点的各种指标数据，如CPU使用率、内存使用率、磁盘使用率等。
• Alerting Framework：用于监控节点的各种警报，如节点宕机、服务停止等。

2.2 创建集群：

在Ambari Server上创建一个新的集群，并指定集群的名称和节点列表。

2.3 安装组件

在Ambari界面上选择要安装的组件，例如HDFS、YARN、MapReduce、Hive等。

2.4 配置组件

为每个组件配置参数，例如HDFS的副本数、YARN的资源管理器和节点管理器等。

2.5 启动服务：

在Ambari界面上启动每个组件的服务。

2.6 监控集群

使用Ambari界面监控集群的状态、性能和健康状况。

2.7 扩展集群

在需要时，可以使用Ambari界面添加新的节点或组件来扩展集群。

总之，