flume安装部署手册-new - 图文

Flume-NG安装部署说明

保密文件 不得外传

Flume-NG安装部署说明1 / 14

目录

1. 前言 ................................................................................................................................... 5 1.1. 适用范围 .................................................................................................................... 5 1.2. 专业术语 .................................................................................................................... 5 1.3. 前提和假设 ................................................................................................................ 5 1.4. 注意事项 .................................................................................................................... 5 1.5. 参考文档 .................................................................................................................... 5 2. Apache Flume介绍 ........................................................................................................ 6 2.1. 数据流模型 ................................................................................................................ 6 2.2. Apache Flume支持的其它数据流模型 ................................................................. 6 2.2.1.

多代理流 ............................................................................................................ 6

Flume-NG安装部署说明2 / 14

2.2.2. 2.2.3.

合并流 ................................................................................................................ 7 多通路流 ............................................................................................................ 7

3. 部署说明 ........................................................................................................................... 8 3.1. 先决条件 .................................................................................................................... 8 3.1.1. 3.1.2.

操作系统平台 .................................................................................................... 8 所需软件 ............................................................................................................ 8

3.2. 环境准备 .................................................................................................................... 8 3.2.1. 3.2.2. 3.2.3.

账号分配 ............................................................................................................ 8 目录分配 ............................................................................................................ 8 环境变量设置 .................................................................................................... 8

3.3. 安装步骤 .................................................................................................................... 8 3.3.1. 3.3.2. 3.3.3.

下载安装包 ........................................................................................................ 8 解压安装包 ........................................................................................................ 8 配置说明 ............................................................................................................ 9

4. 日常维护 ......................................................................................................................... 10 4.1. 启动Apache Flume Agent.................................................................................... 10 4.2. 启动Apache Flume Client .................................................................................... 11 4.3. 停止Apache Flume ............................................................................................... 13 4.4. Apache Flume命令 ............................................................................................... 13 5. 其它 ................................................................................................................................. 14

Flume-NG安装部署说明3 / 14

Flume-NG安装部署说明4 / 14

1. 前言

Flume开始由Cloudera公司开发，2011年Cloudera公司将Flume贡献给开源社区，现在Apache Flume是Apache Software Foundation的一个顶级项目。

目前Flume有两个可用的Release版本：0.9x和1.x。0.9x版本称为Flume-OG由Cloudera公司开发和维护，1.x版本称为Flume-NG由Apache Software Foundation开发和维护。本文档只对Apache Flume 1.2.0进行介绍说明。

1.1. 适用范围

本手册说明了Apache Flume的安装、配置、日常维护、及常见问题的处理方法。

1.2. 专业术语

术语 avro agent event source sink channel 解释 基于二进制的高性能的通讯中间件. 提供了数据序列化的功能和RPC服务。 一个JVM进程，其中运行了Flume NG组件。 在Flume NG中传输的单个数据单元。 Flume NG中接收数据源的地方。 在flume NG中数据流动的终点。 source和sink之间的数据连接导管。 1.3. 前提和假设

阅读本手册前，您需要对linux操作系统和java编程语言的基础知识比较了解。

1.4. 注意事项

不要在手册描述的生产环境进行学习类型的操作，否则将引发生产故障。

1.5. 参考文档

http://flume.apache.org/FlumeUserGuide.html https://cwiki.apache.org/FLUME/flume-ng.html

Flume-NG安装部署说明5 / 14