金融科技野蛮袭来 证券业“实战”大数据分析

作者：海书山

Kyligence Enterprise避免了开源框架需要投入的大量维护和调优成本，使我们能将大数据技术快速落地，我们最终的结果展现都是通过Kyligence Enterprise完成的，最终也得到了业务部门的正面反馈。
                                                                                                                                                                                 -财通大数据项目负责人

自上世纪90年代至今，中国证券行业经过二十多年的发展，从初步萌芽到发展壮大、从监管缺位到逐步完善，市场规模已经达到发达国家几十年甚至上百年的发展水平，成为金融业务中最为重要的组成部分之一。

而在过去几年间，随着信息技术革命的不断发展，越来越多的券商开始尝试采用数据驱动的方法来促进自身业务的升级转型，大数据分析与证券行业的结合日益紧迫。爱分析《中国金融大数据行业报告》显示 ，大数据已被以银行为代表的金融机构广泛认可，招商银行在2017年出资7.9亿元成立金融科技创新项目基金，中国银行也宣布将于2018年投入近50亿元用于科技创新建设，保险、证券等非银机构将成为银行之后的又一波将投入巨额资金用作大数据IT建设的企业。

大数据分析技术在证券行业中的应用与推广虽然势不可挡，但想要驾驭大数据分析技术仍须克服重重困难。我们看到的典型问题和困难如下：

• 资金挑战：证券行业的许多IT预算并不是为创新提供资金，而是用于金融合规和欺诈检测的“防御性”应用程序；
• 系统老化：证券行业老化的数据系统很大程度上无法存储、汇总和分析来自不同数据源的客户和服务的海量大数据；
• 应用缺位：面对迅猛发展的大数据变革环境，证券行业对于大数据改革缺乏具体落地的数据应用；
• 决策谨慎：由于证券行业在数据安全、风险管理及合规性等方面的高要求，在大数据平台建设时需要寻找更加谨慎的方案——即在充分利用大数据技术、持续优化技术和业务架构，与满足各方面的安全和稳定性之间取得平衡。
  

这些因素一定程度上限制了券商的大数据分析平台建设推进，也使得券商的大数据分析完全无法满足业务部门越来越高的业务需求。Kyligence 的大数据分析解决方案 Kyligence Enterprise，为证券公司解决了大数据IT建设与业务的需求。

接下来，本文将以财通证券使用Kyligence Enterprise建设大数据平台为例，分析国内券商的大数据分析平台搭建实践，及如何通过建设大数据分析平台为其业务发展保驾护航。

———————————券商大数据分析平台建设——————————–

财通证券是一家总部位于杭州的上交所主板上市证券公司，随着公司业务的高速发展，公司积累了各类海量数据，这些数据具有来源广、规模大、价值大和增长快等特征，且亟待整合、管理与发挥价值。在财通证券中构建自上而下、协调一致的数据治理体系，迫切而适时。

财通证券的大数据平台建设分为三个阶段，第一阶段的建设目标是形成统一集中的大数据中心，这一目标旨在通过开源大数据技术，自主建设基于hadoop和Kyligence Enterprise的大数据技术平台，并在此基础上自主研发各类大数据应用，包括经纪业务经营管理分析平台、两融大数据分析平台等，打破数据孤岛，并在数据治理体系下全面提高数据应用质量。目前，第一阶段的建设已经落地应用，其大数据中心的核心能力如下：

• • 数据治理体系建设：在数据治理体系基础上，对现有指标体系进行梳理和完善，规范化数据模型层，更好的支撑业务能力；
  • 数据仓库和技术平台：抽取集中交易系统UF2.0数据，在大数据平台下进行分布式存储和计算处理，Kyligence Enterprise 企业版则在超大数据集上提供亚秒级分析能力和计算服务；
  • 数据共享服务平台：通过数据订阅和Kyligence Enterprise RestAPI的方式，对下游业务应用系统提供数据共享和交互查询服务，并具备严格的数据访问权限；
  • 大数据分析平台：通过OLAP技术，多维可视化展现公司管理层、机构管理部、分支机构（分公司、营业部）所关心的指标体系，以及历史数据的查询统计分析，数据展示更直观，交互性更强。
    
  
  

下面分别为财通证券落地后的业务和技术架构图：

除此之外，在自动化运维方面，财通也做了很多个性化探索，通过实时监控，实现自动化数据采集、清洗、Cube构建等，与现有运维管理系统对接，实现自动化运维，以提升整体可用性。

总体而言，财通证券在其大数据分析平台采用Kyligence Enterprise后，在以下几方面得到了提升：

    •节省原有的繁琐报表开发中70%的人力成本，通过自主研发各类大数据应用，上线周期缩短50%；

    •在大数据平台上，快速准确地监测分支机构运营情况，在以下四方面为管理者提供“一站式”决策支持信息服务；

   •通过客户画像的数据挖掘分析，进行客户细分、流失客户预测等有效的客户关系管理，以提升客户满意度；

   •深入挖掘海量投资交易信息，从而对市场预期和风险加以预测，提升综合金融服务能力和市场竞争能力。

财通证券大数据团队负责人表示，未来，财通证券将致力于建设更加强大的大数据平台，实现数据应用价值的进一步挖掘，重构券商的“数据”与“业务”应用场景。在第二阶段，将致力于数据应用支持范围和深度的扩大与完善，同时丰富数据应用服务场景，第三阶段则将探索深入数据挖掘和人工智能等专业的数据分析应用，建立数据为核心的生态体系。

——————————————-结论——————————————

结合财通证券的案例，我们归纳出大数据分析技术助力证券行业的转型与发展主要体现在技术与服务两个层面：

   •技术层面：大数据分析技术的使用将有助于实现券商投资产品的创新——如智能投顾、黑天鹅预警等业务，并通过端到端自助服务平台缩短分析周期、丰富数据探索、增加数据洞察力，从而快速调整业务以满足不断变化的需求。

   •服务层面：大数据分析技术的应用将有助于提高券商的服务水平，一方面，通过精准营销的方式提升获客质量，从用户、业务、留存、成本等多个维度进行评估，以实现ROI最大化；另一方面，通过精细化管理和运营，加强现有客户的业务转化和留存，在保证活跃用户体验的同时，不断提升用户生命周期的价值。

目前，证券行业仍然是风险最大，但最具活力的行业之一，证券公司从客户、交易、全球化和其他许多来源获得的数据量很大，往往是传统处理平台无法承载的。可以说Hadoop和Kyligence Enterprise的数据分析解决方案是专门为这种丰富的数据和依赖数据的业务而构建的，借助其横向扩展能力、数据包容性，以及不断迭代的OLAP分析解决能力，以Kyligence Enterprise为代表的大数据分析平台将会成为证券业务增长的重要力量。

作者简介：海书山（Sky Hai），Kyligence高级解决方案架构师，超过7年数据行业从业经历，在零售、金融等行业拥有丰富的大数据架构、实施和咨询经验。

来源：https://kyligence.io/zh/2018/06/ ... mbat-data-analysis/