Elasticsearch 在百度 aladdin 日志系统的应用
王鹏，百度研发工程师，自学校毕业以来就加入百度aladdin搜索团队，至今有三年半，主要从事数据建库，索引存储和数据对外开放等工作。当然我们有自己的检索系统，思路跟ES也有很多相似之处，17年10月份开始接触ES。
Elasticsearch 在百度 aladdin 日志系统的应用
背景：aladdin建库问题相关的case追查，日志统计分析，问题需要解决。
方案：使用ES（es版本： 6.0.0）做存储和检索系统，日志以json格式，抽取重要字段建索引，每天一个index，index名字包含时间后缀，保存三天内的数据；建库10个模块，每天有100亿条记录，20T左右数据；使用20个容器做集群。
效果：毫秒级返回查询结果，利用kibana实时分析建库情况，同时能方便按需提供数据给业务方。
页:
[1]