Flume安装

  1. 下载Flume可以选择官网下载,我选择版本apacheflume-1.9.0-bin.tar.gz

点击这里哟

  1. 压缩包上传到/usr/local/software上面

  1. 解压文件

tar -zxvf /usr/local/software/apache-flume-1.9.0-bin.tar.gz -C /usr/local/
  1. 修改文件夹名称

mv apache-flume-1.9.0-bin flume
  1. 进入flume/conf目录修改文件名

cd flume/conf
 mv flume-env.sh.template  flume-env.sh
  1. 修改 flume-env.sh配置,注意前面的#号要去掉

vim flume-env.sh

export JAVA_HOME=/usr/local/jdk1.8
  1. 环境变量配置

其实环境变量配置方法有很多,说麻烦也麻烦,说简单简单,笔者把网上资料整理了一些

1、系统环境变量

系统环境变量对全部的用户生效设置系统环境变量三种方法

用户登录执行/etc/profile文件设置系统环境变量。但是,Linux不建议在/etc/profile文件设置系统环境变量

/etc/profile在每次启动时会执行/etc/profile.d下全部的脚本文件。/etc/profile.d比/etc/profile好维护,不想要什么变量直接删除/etc/profile.d对应shell 脚本即可

文件配置环境变量将会影响全部用户使用bash shell。但是,Linux也不建议在/etc/bashrc文件中设置系统环境变量

2、用户环境变量

用户环境变量只对当前用户生效,设置用户环境变量也有多种方法

在用户的主目录,有几个特别的文件,用ls是看不见的,用 ls .bash_* 可以看见。

当用户登录执行每个用户都可以使用该文件来配置专属自己的环境变量。

当用户登录时以及每次打开新的Shell时该文件都将被读取,不推荐在里面配置用户专用的环境变量,因为每开一个Shell,该文件都会被读取一次,效率肯定受影响。

笔者是在bashrc下配置的,因为笔者只有一个root用户,而且之前有太多的环境变量配置在这里面

vim ~/.bashrc
# FLUME_HOME
export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin
source ~/.bashrc
  1. 测试flume 在任意目录输入【flume-ng version查看flume是否安装成功

flume-ng version

FLuem的配置

  1. 配置文件exapmle.conf

首先我们进入到flume的conf目录下

cd /usr/local/flume/conf

接着创建一个名为example.conf的文件,并且向里面写入配置项

touch example.conf
vim example.conf
#写入的配置项
# example.conf: A single-node Flume configuration

# Name the components on this agent 三大组件名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source 第一个sources来源的类型 第二个绑定的IP 第三个是输出端口
a1.sources.r1.type = netcat
a1.sources.r1.bind = master
a1.sources.r1.port = 44444

# Describe the sink sink名词水池的意思
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory 管道组件的配置
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel一步是为了将三个组件关联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  1. 运行第一个demo测试

运行命令

flume-ng agent --name a1  --conf conf --conf-file /usr/local/flume/conf/example.conf 

使用telnet命令测试,刚才打开shell终端不要关闭,在开一个端口输入命令连接成功后输入信息即可,有的虚拟机节点安装可能没有安装telnet命令这里推荐去这个博主下面查看安装命令

telnet安装

telnet master 44444

可以看到我们的flume程序已经打印出来刚才输入信息

总结

flume的安装配没有什么太大问题后续,有什么问题官网一查即可,后续还要安装tomcat

还有,我是说如果可以可以给我一个赞吗

原文地址:https://blog.csdn.net/qq_62485695/article/details/129439635

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_28154.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注