后端搜索展示图形和报表

背景：

因 日上行数据量4000万，下行数据量12000万，现有mysql集群，响应速度不是很理想，遂 计划 使用 es集群解决此问题。

架构 ：

kafka,logstash,es,echarts ,flume,hdfs,hive。

流程：

主业务 各个应用落日志 入kafka ,组 logstash 消费数据入es;组 flume 消费数据 入hdfs；实时部分从 es 读取数据，非实时部分 用hive sql每天处理完导入到 mysql，根据业务需求通过 echarts 展示图形报表，导出excel。

部署：

Kafka 部署5台机器但节点集群，factors 3，默认2g内存，20个分片，存储7天；

Es 也部署在这5台机器，factors  2，默认内存20 g，关键字段配置索引，存储7天；

Hdfs 数据存储 3个月。查询 es和mysql 应用 部署两台机器，每台2个节点。

小结：

    因应用需兼容 ie7 遂 echarts 用1.2.6版本，高版本会有兼容问题，现每天实时查询量在 1000万左右，响应速度 20-120毫秒，若查询量剧增，可通过增加es节点优化es配置来提升效率。