本文介绍: 前段时间参与的项目主要采集大量的日志数据，进行各种的存储和分析，并产出可展示的数据，提供出接口等供其他项目和大屏进行展示。经测试，Clickhouse并发支持率不高，实际在数据库并发连接20-30左右会出现崩溃现象，几分钟后自动重启，所以最好是少量的连接，只进行数据的插入和分析等操作。单机数据量支持亿级别，目前项目中的日志，部分已超亿级甚至10亿级，同时关联其他如组织表用户表等进行多表关联及分组、排序等查询，仍可在几秒内进行处理完成，更复杂的sql能在20秒内执行完成，满足数据汇总需求。
前段时间参与的项目主要采集大量的日志数据，进行各种的存储和分析，并产出可展示的数据，提供出接口等供其他项目和大屏进行展示。最开始项目中数据存储采用mysql，但当多种类型日志量急剧上升到千万级别之后，管理查询处理数据就会很慢，已无法满足需求。故查找解决方案，发现神器Clickhouse。
经测试，Clickhouse并发支持率不高，实际在数据库并发连接20-30左右会出现崩溃现象，几分钟后自动重启，所以最好是少量的连接，只进行数据的插入和分析等操作。插入的效率很高，但及其占用cpu资源，服务器性能要求较高。
单机数据量支持亿级别，目前项目中的日志，部分已超亿级甚至10亿级，同时关联其他如组织表用户表等进行多表关联及分组、排序等查询，仍可在几秒内进行处理完成，更复杂的sql能在20秒内执行完成，满足数据汇总需求。
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
