大数据：Flume安装部署和配置

文章目录

Flume 简介

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

数据采集我们使用Flume。

一，Flume下载和安装

1）登录Flume官网，下载 apache-flume-1.9.0-bin.tar.gz

1.在官网页面单击download

2.在download页面中，单击archive repository
3.在下图页面单击 1.9.0/，

4.单击 apache-flume-1.9.0-bin.tar.gz，开始下载

2）解压文件到 /opt 目录下

1.拖动apache-flume-1.9.0-bin.tar.gz文件到FinalShell的master中的root目录下，它就会上传到该目录下，如下图所示：

2.在master界面下，输入命令：

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt

3）改名为 flume

1.改名
进入opt目录，输入命令：

cd /opt 

将文件夹apache-flume-1.9.0-bin改名为flume，输入命令：

mv apache-flume-1.9.0-bin flume

2.查看改名是否成功
查看opt目录下的文件名，输入命令：

ls

二，Flume配置

1）修改 /conf/ 目录下的 flume-env.sh 文件

进入/opt/flume/conf/目录下，输入命令：

cd /opt/flume/conf/

拷贝flume-env.sh.template并重命名为flume-env.sh在该文件夹下，输入命令：

cp flume-env.sh.template flume-env.sh

查看文件是否拷贝成功，输入命令：

ls

编辑 flume-env.sh 文件，输入命令：

vi flume-env.sh

按i键进入插入模式，添加内容为（自己jdk的安装路径）：export JAVA_HOME=/usr/java/latest

按Esc键退出插入模式，输入英文状态下的 :wq，按回车存盘退出

2）配置环境变量

1.打开环境变量配置文件，输入命令：

vi /etc/profile

，增添以下内容：

# Flume环境变量
export FLUME_HOME=/opt/flume   
export PATH=$FLUME_HOME/bin:$PATH

2.刷新一下环境变量配置，输入命令：

source /ect/profile

三，测试安装是否成功

验证安装是否成功，输入命令：

flume-ng version