本文介绍: filebeat是一个轻量级日志收集工具,所使用系统资源logstash部署启动使用的资源要小的多。filebeat可以允许在非java环境,他可以代替logstash在非java环境上收集日志filebeat无法实现数据的过滤,一般是结合logstash数据过滤功能一块使用logstash工作线程默认值就是cpu数,4 2 8 4给一般即可 2核, 2个。out这个文件当中。filebeat收集的数据可以发往多个主机远程收集logstash收集日志过程远程收集远程收集多个日志

filebeat是一个轻量级日志收集工具,所使用系统资源比logstash部署启动使用的资源要小的多

filebeat可以允许在非java环境,他可以代替logstash在非java环境上收集日志

filebeat无法实现数据的过滤,一般是结合logstash的数据过滤功能一块使用

filebeat收集的数据可以发往多个主机远程收集

nohup ./filebeat -e –c filebeat.yml > filebeat.out &

nohup 标识在后台记录执行命令过程

./filebeat 允许文件

-e 使用标准输出的同时艰辛syslog文件输出

-c 指定配置文件

执行过程输出filebeat。out这个文件当中。 &后台运行

logstash -f nginx.conf —path.data /opt/test1 &

logstash收集日志过程

input (从哪里收集)

filer 作用过滤

output发送es实例

本地收集:

远程收集,远程收集多个日志

mysql

配置conf

input {

​      beats {  port=>"5045"  }



}

output {

​     if  "nginx_21" in [tags] {

​      elasticsearch {

​        hosts => ["20.0.0.77:9200","20.0.0.121:9200"]

​         index => "%{[fields] [service_name]}-%{+YYYY.MM.dd}"

}

}

​     if  "httpd_21" in [tags] {

​      elasticsearch {

​        hosts => ["20.0.0.77:9200","20.0.0.121:9200"]

​         index => "%{[fields] [service_name]}-%{+YYYY.MM.dd}"

}

}

​     if  "mysql_21" in [tags] {

​      elasticsearch {

​        hosts => ["20.0.0.77:9200","20.0.0.121:9200"]

​         index => "%{[fields] [service_name]}-%{+YYYY.MM.dd}"

}

}

stdout {

codec =>rubydebug

}

}

nohup ./filebeat -e -c filebeat.yml > filebeat.out &

如何来对logstash性能上的小优化

logstash启动是在jvm虚拟机上当中其中,启动一次至少需要500M内存

pipeline.workers: 2

logstash工作线程,默认值就是cpu数,4 2 8 4给一般即可 2核, 2个

pipeline.batch.size: 125

一次性能够批量处理检索事件大小 125条数 性能强设置成200

pioeline.batch.delay: 50

查询更新延迟 50毫秒,也可以自行调整。15 10 也要看机器性能

原文地址:https://blog.csdn.net/m0_52416577/article/details/134673838

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。

如若转载,请注明出处:http://www.7code.cn/show_4923.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注