亿级消息落库,大数据收集,秒级10w+数据落库源代码。简介
flowback 亿级消息落库,低成本秒级百兆消息落库方案(单机秒级处理100M/s~300M/s)
亿级数据检索秒级响应,单机秒级落库处理10w+数据,集群可叠加性能
高压缩率的存储节省磁盘空间1GB数据只需要原来的80%~90%存储甚至更低
原本需要接收1GB的数据压缩后只需要200M来传递是原来的1/4,从而节省带宽
适用于大数据落库需求、网关日志收集、各类日志收集、物联网设备数据收集、游戏/app埋点数据收集、大量数据收集统计需求 等等..
功能:
稳定持续秒级写入10W+消息,磁盘性能稳定情况下几乎无缓冲实时落库
秒级统计监控实时接收消息,实时落库消息,实时堆积消息
支持集群clickhouse
支持从直接从消息队列直接消费消息,无需入侵性