前段时间参与的项目主要采集大量的日志数据，进行各种的存储和分析，并产出可展示的数据，提供出接口等供其他项目和大屏进行展示。最开始项目中数据存储采用mysql，但当多种类型日志量急剧上升到千万级别之后，管理查询处理数据就会很慢，已无法满足需求。故查找解决方案，发现神器Clickhouse。
经测试，Clickhouse并发支持率不高，实际在数据库并发连接20-30左右会出现崩溃现象，几分钟后自动重启，所以最好是少量的连接，只进行数据的插入和分析等操作。插入的效率很高，但及其占用cpu资源，服务器性能要求较高。
单机数据量支持亿级别，目前项目中的日志，部分已超亿级甚至10亿级，同时关联其他如组织表用户表等进行多表关联及分组、排序等查询，仍可在几秒内进行处理完成，更复杂的sql能在20秒内执行完成，满足数据汇总需求。
参考：Clickhouse在CentOS下离线安装并新建用户远程连接_clickhouse-server-19.17.10.1-1.el7.x86_64-CSDN博客
Index of /clickhouse/rpm/stable/x86_64/
原文地址:https://blog.csdn.net/lpping90/article/details/134659737
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_35900.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
