日志易：金融行业如何应对大数据浪潮

本文摘自《中国证券期货》，由日志易投稿发布，未经允许禁止转载。

出版日期 2017年6月10日，P58-P61

前言

两年前《政府工作报告》中指出，要“制定‘互联网+’行动计划”，“促进互联网金融健康发展”，这标志着我国金融行业正面临着用互联网和新技术重构业务、管理与IT重大变革的窗口。

依托移动终端的普及和互联网科技的飞速发展，金融行业面临着与日俱增的海量日志，这既给传统金融行业带来了巨大的压力，又提供了广阔的发展空间，金融行业需要抓住机会积极应变，实现技术升级。在转型过程中如何利用大数据技术发掘数据真正的价值，是当前金融业打破传统局限、应对深刻变化的解决之道。

传统金融行业的困境

在互联网时代，各种各样的行为都会被以“日志”形态记录存储下来，这些日志数据包括了用户的基本信息、网络浏览行为、交易行为、社交行为等等。而在金融行业，面对每天交易所产生的海量数据，以及各种服务器、防火墙所产生的日志，如何在大体量数据中挖掘有效信息加以利用是一个重大难题。

日志分散难以管理

日志产生于不同的业务部门，分布在不同的服务器上，无人重视随时可能被覆盖和删除。只有将这些分散的日志数据统收集、才能相互对照，发现问题所在。以投资银行为例，传统模式下，交易部门和研究部门的数据是相互独立的，甚至数据的储存格式都不同，由此形成一个个信息孤岛，造成不同系统间关联分析困难、事故原因分析困难。

缺乏海量日志处理能力

数据体量大所带来的问题不仅仅是存储，更多的是庞大的数据无法利用。作为成熟的金融行业，随着网上支付、手机银行、互联网金融等新一代业务的出现，每天产生的各种业务数据、网络设备数据及防火墙数据等将轻松突破TB级别，传统的数据库及系统架构已经无法支撑如此庞大的数据量，传统方法处理效率低、时延长，企业完全淹没在一片数据汪洋之中。

日志格式复杂难以解读

就数据处理而言，最容易处理的是企业内部的传统数据——结构化数据。然而随着信息技术的飞速发展，日志数据的范围已经扩大到企业的各个层面，服务器、各种网络设备及五花八门的应用软件产生了多种多样的数据格式。这些数据的可读性很差，对于普通人来说无异于乱码，即便是专业的技术人员，也很难一眼看懂一条日志数据。

使用成本高昂

作为电子货币与交易信息传输系统，一旦出现账户盗用、虚假信息等现象，将影响到国家金融与个人经济利益，又涉及到交易隐私的安全性，同时还增加了金融风险的传导与扩散危险。面对海量日志带来的运维难题，无论是购买国外最先进的产品还是聘请专业的技术团队，对企业来说都是一笔不小的开支，需要花费大量的人力物力。

应运而生的日志易

作为2014年3月成立的国内首家海量日志分析企业，优特捷信息技术有限公司一直致力于开发易用、灵活而且强大的日志管理工具——日志易，以高品质的产品为金融行业用户信息化建设搭建高可靠动力平台，竭力探寻金融行业对数据更深层次的需求，帮助企业降低业务流程和应用系统的开发和运维成本，实现准实时处理海量日志，从而达到大数据时代的风险管控需求。目前日志易已成功为国内银行、基金、支付行业等不同金融行业的多家商业用户提供日志解决方案。

统一的日志管理平台

日志易作为国内首家海量日志分析企业，为企业用户提供既方便又实惠的日志管理解决方案，共同面对大数据浪潮中更多的未知与挑战。

一个统一的日志管理平台可以帮助企业解决问题，提高运维效率，并能帮助企业将运营数据分析成报表，转化为企业的竞争优势，帮助金融企业从IT 系统的行为、状态、配置、故障等事件中，自动产出趋势预判和商业洞察等，从而帮助企业赢得快速发展的机会。

统一采集，集中管理

日志易为企业建立统一日志管理平台，将分散的日志统一采集，整个系统由多个模块构成，用户可以根据自身服务器资源、数据量、系统稳定性等因素，自定义各个模块的节点组成，同时支持物理机和虚拟机混合部署，保证数据安全性。

日志解析，让日志格式化

日志易提供常见日志格式的自动解析，将非格式化日志转化为格式化日志。同时为用户提供交互友好的提取字段功能，用户可使用鼠标划选日志内容，系统将自动生成正则表达式，帮助用户将日志中的有效信息划分为一个个字段，方便查看和检索。

日志易同时支持在数据接入存储之后，根据搜索统计需求，提取临时字段，并以这些临时字段进行后续统计分析，解决了数据预先处理的性能损耗、冗余字段的磁盘占用、提取规则变动时的重建处理等诸多常见问题。

日志准实时检索，快速定位目标日志

日志易日志处理速度达到5百万条／秒，总字节可达到100TB/天。日志易支持全文索引，用户无需掌握复杂的查询语句，可以像使用搜索引擎一样查询日志，通过鼠标点击实现字段过滤、时间范围选择和简单查询。系统采用分布式数据处理技术，可达到秒级延时。

关联分析，探寻日志真相

模块化、服务化的业务系统，需要进行跨主机、跨网络的事务追踪和故障定位。日志易支持搜索处理语言SPL（Search Processing Language），提供 stats、eval、where等20多项管道指令， max、min、avg、sum、dc、es、hg、pct、pct_ranks 等20多项统计函数，if-else、case、+-*%等逻辑计算。另外，日志易还提供 transaction 搜索和可自定义的关联事务查询界面，让用户快速直观的定位复杂网络和业务架构下的异常事务。

丰富的可视化

日志易对日志的分析统计结果提供了丰富多样的可视化效果，并支持用户将不同纬度的可视化效果汇聚成仪表盘，日志情况一目了然。

基金行业实践案例

多种日志格式统一处理

日志易详细了解基金公司需求，搭建日志管理平台，将各类日志统一收集：

日志采集源集中管理

日志易提供直观的web界面对日志采集源进行管理，用户可以直接从页面添加需要采集的日志目录及文件：

点击具体IP地址，工程师可以看到日志采集Agent对相应目录下日志文件的采集情况，方便管理，彻底解决了日志分散的问题：

日志灵活解析，复杂数据格式化

日志易能对Apache、Linux、JSON等常见格式日志自动解析，同时也提供自定义日志解析功能：对于一条超过1kb的复杂日志，日志易可对其进行多行合并处理并提供多种自定义解析方法，同时支持对日志进行中文转换等处理，使日志内容更易读。

例如该公司的原始金证系统日志，日志内容复杂，结构混乱，可读性极差，通过多行日志合并，正则匹配等方式完成重要字段抽取解析。

解析前

解析后

敏感信息过滤

针对基金行业涉及的敏感信息，日志易提供灵活的脱敏处理，用户可以将日志信息中的敏感信息在集中采集时进行替换：

利用字段提取-内容替换功能，用户可自定义设置敏感信息替换，例如：

将日志信息中的卡号信息（15～19位数字）和身份证信息（15或18位数字，末尾可能为X），使用正则匹配替换为：$1#######$2

统一管理页面，实时日志检索

通过日志搜索界面，日志易将所有日志集中展现，用户只需点击相应日志类型，即可筛选出特定日志格式。

同时用户利用日志易可对日志进行准实时检索，以下案例中，269万条10GB日志可在5秒钟返回搜索结果，帮助用户快速定位问题日志：

关联分析——海量数据中快速定位问题

通过日志易多维度搜索查询页面，用户利用关键字查询即可快速过滤出目标日志，例如根据中间件客户请求IP，请求路径、状态码搜索出对应访问日志。日志易同时支持搜索处理语言SPL（Search Processing Language）进行复杂统计及关联分析。

例如对比防火墙、路由器产生日志趋势，使用以下语句：

* | bucket timestamp span = 1h as ts | stats count(appname) as count_ by ts,hostname

可以看到ASA防火墙日志量相对较大，会有波峰波谷，路由器发出日志量较少，其中一台仅在4月22日14:00左右发出一条日志

关联分析——深度分析挖掘

在实际业务分析中，用户利用关联分析可将不同来源的日志中的相关内容进行聚合，再进行统计分析。

强大的告警——防患于未然

日志易具备强大的日志告警功能，改变过去只能事后追查的被动运维方式。用户可以通过统计分析，对日志分析结果进行告警，例如分时段交易监控告警功能，当交易量低于阀值时实时告警，运维人员将及时发现异常，第一时间进行处理。

用户可以针对日志内容设定告警条件，例如针对网络CC攻击告警，首先需要在日志中找出正在遭受CC攻击的IP地址，即对在一定时间范围相同源IP发生的请求事件次数进行统计。

丰富的报表——让日志一目了然

日志易同时配备了丰富的可视化及定时报表功能，内置IP地址库，改变过去古板的统计报表模式。用户可自定义仪表盘，实时展示各种分析图形，数据情况一目了然：

完善的权限体系

作为一个安全可靠的日志管理平台，日志易同时也提供完善的权限管理体系，用户可对日志分组及用户分组进行权限划分，同时针对敏感信息提供灵活的脱敏服务，保障客户的数据安全。

日志分析，助力金融企业

当前阶段，大数据智能运维帮助传统运维进入新阶段，极大地提高了金融行业运维工作的效率，降低了运维工作的难度，改变了过去人工为主，依赖经验的运维模式。尤其在新兴的互联网金融领域，大数据智能运维更是发挥了重要的作用。

极大提高运维效率

传统运维技术需要大量人工操作，通常排查一个问题需要花费一个有经验的运维技术人员数小时精力，而依靠大数据日志分析运维技术，可以实现实时检索，定制化告警达到秒级延时，同时建立提前预警、事中告警、事后定位三环连动告警机制。这样就可以满足消费金融场景中，夜间快速运维工作的要求，减轻了工作人员的压力，也极大提升了用户体验。

贯穿整个核心交易系统，实现可视化

大数据日志分析技术改变了传统的数据使用模式，基于多种维度的用户访问习惯统计，例如用户的终端类型、访问时间、地理区域及运营商接入情况等，与互联网、金融机构、线下零售与社交、运营商等多维数据源相结合，建立全方位的用户行为画像，覆盖的维度广，并可将数据可视化，让企业更了解用户，有助于实现精准营销。

合规审计

利用大数据日志分析技术进行合规审计，可帮助企业灵活应对上级主管部门的合规性要求，将合规性管理工作由无序变有序，适时呈现企业的合规状态：

通过在业务主机上安装轻量级的Agent，将业务日志实时的送到日志中心，真实的还原业务的访问过程，精准的分析业务流程的时延；精准的识别基于业务逻辑的攻击行为，对不符合业务流程的访问行为进行提取，为工作人员提供清晰的可视化的业务分析报表和业务攻击告警；同时满足审计记录的规范化的需求，由于全网设备种类繁多，各设备日志信息存储格式、字段含义、通信协议差异较大，需要对采集到的各种设备日志进行归一化处理，提取审计记录完整信息，为后续审计分析提供依据。

防止内外部的安全威胁

采用大数据日志搜索分析技术，数据具有高安全性 :用户行为的每条日志，都会被记录；任意磁盘损坏、机器宕机情况下，数据自动复制修复。

稳定服务：进程Crash、机器宕机数据自动迁移；可以进行水平扩展，用户可以按需动态增加节点数来增加吞吐。

展望未来

我国利用搜索引擎技术进行日志分析尚处于起步阶段，日志易作为国内最早涉足的企业也一直在用户授权、数据采集和实时检索、关联分析及定制化应用等诸多方面努力探索。展望未来，我们需要推动企业重视日志数据，部门间打破信息壁垒，开放共享数据；利用数据更好的了解用户、提供更加个性化的服务是众多机构的共同愿景。

部门间数据开放

当前信息孤岛的问题依然是金融企业大数据发展的巨大障碍，分割和垄断造成企业数据的系统性、权威性不强。大量有价值的数据掌握在少数部门，这些部门之间的数据和信息不公开、不流动，没有统一的信息共享平台，大量的信息被闲置，甚至重复统计。

个人信息保护

《征信业管理条例》规定：“采集个人信息应当经信息主体本人同意，未经本人同意不得采集。”这在传统风控模式中较容易实现，但对于利用大数据技术的企业来说，想要大量来自于互联网的数据获得本人认可，在操作上是有困难的，这在一定程度上限制了大数据在金融行业的发展。而另一方面，当前我国对个人信息保护没有专门的立法，这使得真正滥用个人信息的机构得不到应有的监管和惩罚。因此，规范数据使用原则，是行业发展的迫切需求。

更加了解用户

对于已经使用大数据技术的金融企业来说，大数据技术的引入最直接也最根本的目的是要了解真实的数据信息，甚至是挖掘自己都尚未觉察到的需求。大数据将帮助企业获得越来越精准的画像，未来，营销将不再像现在这样铺天盖地，而是在消费者真正有需求的时候，才会收到专属的方案和建议。

服务更加个性化

对于金融行业来说，不同的企业根据自身日志内容均有不同的需求，传统的银行、基金行业、电子支付企业也拥有各自独特的使用场景。只有更多的了解用户使用情况，才能更好地把握用户需求，目前日志易正在筹划推出定制APP，为企业量身定做更完善的日志解决方案。