中国大地保险数据管理应用中心大数据应用平台案例分析

来源：51CTO.com

2017年底，在“科技驱动的客户综合经营”战略导向下，中国大地保险创新孵化中心应运而生，该中心旨在落实公司科技驱动的战略目标，从而在变革时期承接对创新业务的持续探索。据悉，中国大地保险创新孵化中心的职能大致分为四大板块：即行业研究，创新管理，金融科技，大数据及人工智能应用。

近年来，大数据、云计算、人工智能和区块链等技术如雨后春笋般涌现，以众安为代表的互联网保险公司横空出世，BATJ等互联网公司纷纷涉足保险业，使得市场竞争不断加剧。与此同时，移动互联时代下，保险客户的行为以及保险营销生态都发生了巨大变化。

保险业转型迫在眉睫

中国保险行业传统发展模式面临发展瓶颈，传统保险企业的转型升级迫在眉睫。在这样的一个转型窗口期，谁先抓住时代、抓住客户，谁就能获得更好的生存和发展空间，否则将面临出局的风险。保险业要想在强敌环伺的移动互联网时代生存和发展，必须开发更为合适的产品，提供更为优质贴心的服务，以满足客户的需求。而传统的营销、承保、理赔、后援服务等，都面临新时代的挑战，需要科技手段为其全面赋能。

2017年底，在“科技驱动的客户综合经营”战略导向下，中国大地保险创新孵化中心应运而生，该中心旨在落实公司科技驱动的战略目标，从而在变革时期承接对创新业务的持续探索。据悉，中国大地保险创新孵化中心的职能大致分为四大板块：即行业研究，创新管理，金融科技，大数据及人工智能应用。

中国大地保险大数据业务模型实例

在大数据及人工智能应用领域，中国大地保险创新孵化中心项下的数据管理应用中心将大数据技术应用于营销获客、风险控制、精准营销等领域，辅助决策，为业务全面赋能。

数据管理应用中心列举了三类业务模型实例：

• 数据管理应用中心构建了家用车续保预测模型，在车辆保险到期前进行续保预测，指导销售人员有针对性的开展续保工作；
• 开发了基于SNA社交网络的理赔反欺诈模型，用于公司车险理赔反欺诈管理，已成功追偿多笔赔款；
• 开发了销售人员产能分析模型，用于销售人员分群管理，帮助业务线更好地进行销售人员管理。
  
  
  
  

保险业的数据特点及需求

与互联网大数据海量、高频、数据复杂度高的特点不同，保险业的数据以保险交易数据为主，例如报价、承保、缴费、理赔等数据，以官网、公众号、App等平台获取的客户行为数据为辅，这些数据的特点是结构化、准确、低频。

保险业的数据来自于业务的各个环节，很容易形成数据孤岛，因此保险企业做大数据分析时对数据分析技术和工具的要求相对较高。首先，在数据整合和清洗环节，数据的整合工作需要跨越多个平台，涉及多种数据类型，需要高兼容性的数据处理工具高效地将各类数据集成起来。其次，当多个业务环节的数据被整合在一起之后，海量的金融数据会变得高维、稀疏，因此在数据探索、建模阶段，传统的基于单台服务器的数据分析工具难以满足保险行业超高量级的分析建模需求，需要具有大规模分布式处理能力的数据分析工具进行支撑。

保险大数据架构及方案的选择

hadoop生态系统具有高可靠性、高容错性、高可拓展性、高效性以及单位计算能力低成本的特点，通过数据多拷贝、冗余存储的方式，能够满足金融行业对数据处理工具高可靠性和高容错性的要求。

• 在扩展性方面，传统的数据处理工具难以实现处理能力随着数据量的增长而线性拓展，Hadoop生态系统在线性扩展方面有较强的优势，能够充分满足企业业务增长的需求。
• 在高效性方面，作为并行分布式计算平台，Hadoop采用分布式存储和分布式处理两大核心技术，能够高效地处理PB级数据。
• 在单位计算能力的成本方面，Hadoop能够运行在使用Linux操作系统的X86服务器上，硬件成本更低，结合其高可拓展性的优势，能够大大降低企业大规模数据处理的成本。
  
  

Cloudera是Hadoop生态系统中领先的大数据解决方案供应商，也是全球知名的企业级数据管理和数据分析平台提供商。Cloudera的CDH是最成熟、稳定的Hadoop商业发布版本之一，拥有大量企业级大数据部署案例，并且能够提供专业、全面的技术支持服务。

因此，经过多个方面的综合考量，大地保险数据管理应用中心决定使用Hadoop平台作为整体架构，选择Cloudera成为其合作伙伴，搭建大数据平台，将大数据技术应用到极致，为企业业务全面赋能。

中国大地保险大数据平台部署策略

在软件方面，中国大地保险已经于2017年引入Cloudera的全套大数据解决方案，并在此基础上进行了一定的定制化改造和封装，使其在应用中更贴合大地保险的业务需求。目前中国大地保险的大数据集群已部署20+台服务器，并计划在2019年将集群扩充到50+台。

在实时数据处理方面，中国大地保险采用Flume+Kafka+Spark streaming+Hbase的技术方案，实现数据从前端的采集、传递到中台的计算、展示，最后到后台进行存储。在离线大批量数据处理方面，中国大地保险采用Sqoop+Spark+Hive/Parquet的技术组合，实现数据跨平台同步、大批量处理和存储。在OLAP(On-Line Analysis Processing)在线分析方面，由于Impala的查询性能强悍，因此中国大地保险使用Impala进行数据的快速理解、分析。在数据建模方面，使用Spark中的MLlib来进行大规模数据的分布式机器学习、建模。

目前，中国大地保险已明确了“线上化、数字化、智能化”的年度工作目标，将数字化转型列入公司的战略层面，围绕“移动、云、大数据”等新技术，逐步提升企业的数字化水平。大数据及人工智能应用平台只是大地保险战略下的创新项目之一，在构建数据分析平台的基础之上，大地保险将实现领先的大数据分析能力，以科技创新为核心驱动力，向构建信息共享生态圈这一目标继续前行。