1评论
想免费获取内部独家PPT资料库?观看行业大牛直播?点击加入腾讯游戏学院游戏开发行业精英群711501594
后端搜索
后端搜索展示图形和报表
背景:
因 日上行数据量4000万,下行数据量12000万,现有mysql集群,响应速度不是很理想,遂 计划 使用 es集群解决此问题。
架构 :
kafka,logstash,es,echarts ,flume,hdfs,hive。
流程:
主业务 各个应用落日志 入kafka ,组 logstash 消费数据入es;组 flume 消费数据 入hdfs;实时部分从 es 读取数据,非实时部分 用hive sql每天处理完导入到 mysql,根据业务需求通过 echarts 展示图形报表,导出excel。
部署:
Kafka 部署5台机器但节点集群,factors 3,默认2g内存,20个分片,存储7天;
Es 也部署在这5台机器,factors 2,默认内存20 g,关键字段配置索引,存储7天;
Hdfs 数据存储 3个月。查询 es和mysql 应用 部署两台机器,每台2个节点。
小结:
因应用需兼容 ie7 遂 echarts 用1.2.6版本,高版本会有兼容问题,现每天实时查询量在 1000万左右,响应速度 20-120毫秒,若查询量剧增,可通过增加es节点优化es配置来提升效率。
腾讯游戏学院公众号
