本文介绍: filebeat是一个轻量级的日志收集工具,所使用的系统资源比logstash部署和启动使用的资源要小的多。filebeat可以允许在非java环境,他可以代替logstash在非java环境上收集日志。filebeat无法实现数据的过滤,一般是结合logstash的数据过滤功能一块使用。logstash工作线程,默认值就是cpu数,4 2 8 4给一般即可 2核, 2个。out这个文件当中。filebeat收集的数据可以发往多个主机,远程收集。logstash收集日志的过程。远程收集,远程收集多个日志,
filebeat是一个轻量级的日志收集工具,所使用的系统资源比logstash部署和启动使用的资源要小的多
filebeat可以允许在非java环境,他可以代替logstash在非java环境上收集日志
filebeat无法实现数据的过滤,一般是结合logstash的数据过滤功能一块使用
nohup ./filebeat -e –c filebeat.yml > filebeat.out &
-c 指定配置文件
执行过程输出到filebeat。out这个文件当中。 &后台运行
logstash -f nginx.conf —path.data /opt/test1 &
input (从哪里收集)
filer 作用过滤
本地收集:
input {
beats { port=>"5045" }
}
output {
if "nginx_21" in [tags] {
elasticsearch {
hosts => ["20.0.0.77:9200","20.0.0.121:9200"]
index => "%{[fields] [service_name]}-%{+YYYY.MM.dd}"
}
}
if "httpd_21" in [tags] {
elasticsearch {
hosts => ["20.0.0.77:9200","20.0.0.121:9200"]
index => "%{[fields] [service_name]}-%{+YYYY.MM.dd}"
}
}
if "mysql_21" in [tags] {
elasticsearch {
hosts => ["20.0.0.77:9200","20.0.0.121:9200"]
index => "%{[fields] [service_name]}-%{+YYYY.MM.dd}"
}
}
stdout {
codec =>rubydebug
}
}
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
如何来对logstash性能上的小优化
logstash启动是在jvm虚拟机上当中其中,启动一次至少需要500M内存
logstash工作线程,默认值就是cpu数,4 2 8 4给一般即可 2核, 2个
一次性能够批量处理检索事件的大小 125条数 性能强设置成200
查询更新的延迟 50毫秒,也可以自行调整。15 10 也要看机器性能
原文地址:https://blog.csdn.net/m0_52416577/article/details/134673838
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_4923.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。