一篇文章,通晓Flume1.7安装,并实例讲解文件写入kafka-bin文件怎么安装

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力,所以学会使用flume,是在学习大数据处理中比不可少的事情,学会Flume配置使用,能处理很多数据场景

一篇文章,通晓Flume1.7安装,并实例讲解文件写入kafka


一、安装要求

(1).java运行环境,要安装jdk1.7以上版本

(2).系统内存要足够用运行agent组件source,channel和sink。

(3).磁盘空间要足够

(4).目录权限,agent要有足够读写权限

二、下载安装Flume

(1).cd到指定flume目录,执行以下命令下载flume

wget http://mirrors.hust.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

(2).解压文件

tar -xzvf apache-flume-1.7.0-bin.tar.gz

(3).进行flume目录

cd apache-flume-1.7.0-bin

(4).进行conf文件夹根据模板创建文件

cd conf/

cp flume-env.sh.template flume-env.sh

cp flume-conf.properties.template flume-conf.properties

(5).设置环境变量

vi /etc/profile

export FLUME_HOME=/opt/BIG3/flume/apache-flume-1.7.0-bin

export FLUME_CONF=$FLUME_HOME/conf

export PATH=$PATH:$FLUME_HOME/bin

source /etc/profile

(6).编辑flume-env.sh,具体设置请看截图

vi flume-env.sh

一篇文章,通晓Flume1.7安装,并实例讲解文件写入kafka

(7).验证是否安装成功

flume-ng version

一篇文章,通晓Flume1.7安装,并实例讲解文件写入kafka

说明:出现上面的信息,表示安装成功了

三、配置文件实例

(1).编写文件

本文件为测试通过flume 监控文件,把文件写入到kafka

vim flume_conf.conf

一篇文章,通晓Flume1.7安装,并实例讲解文件写入kafka

a.sinks=k1

a.sources=s1 s2

a.channels=r1

#定义source是从文本文件过来

a.sources.s1.type=exec

a.sources.s1.command=tail -F /opt/BIG3/flume/a.log

a.sources.s2.type=exec

a.sources.s2.command=tail -F /opt/BIG3/flume /b.log

#sink 是kafka topic 是test broker 是10.20.25.199:9092

a.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink

a.sinks.k1.kafka.topic = test

a.sinks.k1.kafka.bootstrap.servers =node1:9092

a.sinks.k1.kafka.flumeBatchSize = 20

a.sinks.k1.kafka.producer.acks = 1

a.sinks.k1.kafka.producer.linger.ms = 1

a.sinks.ki.kafka.producer.compression.type = snappy

a.channels.r1.type=file

a.channels.r1.checkpointDir=/root/flume/checkpoint

a.channels.r1.dataDirs=/root/flume/data

a.sources.s2.channels=r1

a.sources.s1.channels=r1

a.sinks.k1.channel=r1

(2).启动flume服务

./bin/flume-ng agent --conf conf --conf-file conf/flume-conf.conf --name a -Dflume.root.logger=INFO,console

PS:看到启动文件无保存且有started,即为启动成功

(3).测试

cd /opt/BIG3/flume/

echo "猿先生大数据">a.log

echo "请关注">b.log

查看kafka test主题

四、总结

如果大家觉得我写的好的,请点击右上角进行关注我,大家有大数据技术类的问题,欢迎在评论里面留言,我会一一回复,希望跟大家共同努力,共同进步。

推荐阅读