1评论

后端搜索

后土 2017-09-01 8浏览

想免费获取内部独家PPT资料库?观看行业大牛直播?点击加入腾讯游戏学院游戏开发行业精英群711501594

后端搜索

后端搜索展示图形和报表

背景:

日上行数据量4000万,下行数据量12000万,现有mysql集群,响应速度不是很理想,遂 计划 使用 es集群解决此问题。

架构

kafka,logstash,es,echarts ,flume,hdfs,hive

流程:

主业务 各个应用落日志 kafka , logstash 消费数据入es; flume 消费数据 hdfs;实时部分从 es 读取数据,非实时部分 hive sql每天处理完导入到 mysql,根据业务需求通过 echarts 展示图形报表,导出excel

部署:

Kafka 部署5台机器但节点集群,factors 3,默认2g内存,20个分片,存储7天;

Es 也部署在这5台机器,factors  2,默认内存20 g,关键字段配置索引,存储7天;

Hdfs 数据存储 3个月。查询 esmysql 应用 部署两台机器,每台2个节点。

小结:

    因应用需兼容 ie7 echarts 1.2.6版本,高版本会有兼容问题,现每天实时查询量在 1000万左右,响应速度 20-120毫秒,若查询量剧增,可通过增加es节点优化es配置来提升效率。

本文作者

腾讯游戏学院公众号