添加描述

This commit is contained in:
weifengwu 2024-02-02 15:02:49 +08:00
parent 0a5860761a
commit 042cd6ee72

View File

@ -13,6 +13,8 @@
由于该方案着重于极致的吞吐性能和极低的磁盘占用而对数据全程进行了压缩。故并不适合于需要es关键字模糊查询的场景使用而仅支持提前设定好的索引字段查询。数据库使用的是clickhouse集群配置中心采用的etcd如果之前没有相关经验的还涉及了新技术的学习成本以及需要对部分源码进行改造故未必适合大部分项目使用。建议关注实现方案和处理超大量级的数据、缓冲、入库等代码逻辑即可整套思路可适用于多种场景。
该项目适用于日志量极大且用于节省中转环节如使用kafka等mq进行日志中转的场景。在京东、方舟健客等公司线上使用由于各公司日志查询时索引字段不同固必然有一定的开发工作需要注意。这不是一个开箱即用的项目。
关于性能及机器配置简述目前线上的worker配置主要为8核32g的docker32g内存是专门定制的参数因为worker需要靠纯内存来承接和缓冲大量接收的日志这样的单机每秒可以承接的日志量为160M-200M因为是压缩后的对应原始日志约1个G约1千万行。
clickhouse机器配置为16核64G内存单机每秒可以稳定写入180M再高会丢可用率。对应原始日志约1个G。