百亿级电子合同的存储之道
中国金融认证中心（以下简称CFCA）采用杉岩数据的海量对象存储产品，重构了“安心签”原有的存储基础架构，极大简化业务系统的开发，提升了电子合同业务的服务质量与服务效率，无惧业务百亿级增长。https://mmbiz.qpic.cn/mmbiz_png/fUj9td3P4W155h8wjE3ibgkBWeX3ICyrtuvD6hmuTjTTa326vGqJ6dsOLlxNweWTWmruvUeyChe9eqnPx417LdA/640?wx_fmt=png在人们印象中，传统的商务合同签署需要面对面，比如房贷、信贷等，都需要在约定的时间、地点，手工签署纸质的合同件并盖上印章，才具有法律效力。
随着普惠金融与金融科技的深入拓展，消费结构的变化，越来越多的商务交易都转移到互联网上进行，呈现小额、高频的特点，若采用传统的签约模式，效率低、服务成本高。即便不是面对面，而是通过邮寄等方式签约，合同上的印章、签名真实性也难以鉴别。在管制机构的政策支持与鼓励下，通过第三方权威机构提供的电子合同，日益受互联网金融行业的认可。如CFCA推出的安心签服务。
安心签电子合同平台以电子签名技术为核心，为用户签发数字证书，并提供数据电文或电子合同文件的在线签署、存储和管理服务。该平台基于密码学原理，对电子合同签署者的身份进行认证，防止抵赖、篡改、伪造，保障电子合同内容的真实性、完整性、机密性。目前支持PC网页端、手机App等多种渠道签署，并对接第三方司法鉴定机构，能够为用户提供完整的司法取证记录。鉴于CFCA本身已为银行提供认证服务，积累了大量的银行客户群，因此安心签的主要客户也集中在银行及互联网金融领域。如：中信银行、徽商银行、360借条、拉卡拉、阳光保险等。https://mmbiz.qpic.cn/mmbiz_png/fUj9td3P4W155h8wjE3ibgkBWeX3ICyrt8XiaAP20XiacBPgnpjbQHPH7lmdSH64dtGN88Nv9Kfs7WLwNX2xR3icsQ/640?wx_fmt=png
百亿级电子合同的困扰2015年，互联网金融业务蓬勃发展，给电子合同业务的发展提供了非常好的契机。CFCA打造的“安心签”是SaaS服务平台，业务产生的合同量是传统金融业务的数十倍，而且可预见到，未来大量金融机构的合同也将汇聚到CFCA的数据中心，预计需要存储的电子合同数量达到数十亿甚至数百亿。
为此，2015年在安心签平台技术方案设计伊始，CFCA技术团队首先评估了传统的NAS方案，评估测试发现：传统的中高端NAS，按照每个月一个挂载点，当每个月的数据量超过千万规模时，写入发生超时的概率就很大。咨询了几家高端的NAS厂商后，由于报价高，CFCA最终不得不放弃采用传统NAS的方案，而选择了本地数据库+ NAS的混合存储方案。其中，“数据库+高配硬件”作为一级存储承载业务压力，存储一个月的数据；超过一个月的数据则通过业务归档到多个中低端NAS中，为历史数据提供查询服务，也降低历史数据的硬件成本。
截止到2018年下半年，安心签的电子合同每个月已产生接近5000万个约500KB左右的PDF文件，预计2018年底的月增长量会达到8000万个文件。
然而， CFCA在两年的使用与探索过程中，逐步发现“数据库+ NAS”的存储架构暴露出一些问题：
高峰性能无法满足业务需求：数据库的高峰性能只能处理1000TPS(每秒写入文件数)的写入，而现有业务峰值经常达到2000TPS以上，这会导致部分业务请求超时或者堆积。如果提升性能，可能需要更换更高配的硬件。
名字空间不统一：应用需要维护数据库和NAS不同物理名字空间的关系，特别是随着数据的积累，NAS的挂载目录越来越多，增加应用的复杂度。
温数据迁移管理复杂：需要通过工具迁移数据，且迁移后需要业务系统调整文件挂载，增加维护和变更的工作量。
心里有“数”才安心CFCA的技术团队不得不重新考虑优化已经使用两年的存储架构方案。此时杉岩数据闯入了CFCA的视线，双方对采用分布式存储技术优化现有的存储架构达成共识。相对于传统的集中式存储，杉岩数据提供的海量对象存储产品采用了软件定义框架，不易形成瓶颈的控制器，具备去中心化的关键特点，横向扩展更为灵活，首先满足了CFCA在扩展性方面的刚需。
为解决业务高峰时期的性能需求，杉岩海量对象存储采用哈希计算替代索引查找访问文件的先进技术，并且在数据存储方面，采用创新性的文件合并和独有的元数据缓存技术，保证了小文件优越的访问性能。此外，杉岩的海量对象存储支持动态扩展，只需要通过简单操作即可动态地增加服务器，线性提升性能和容量。
杉岩海量存储产品提供单一名字空间，支持千亿级文件，从而保证无论文件数如何增长，应用开发部门看到的永远是统一的路径。最后，杉岩海量存储产品支持不同配置的服务器和磁盘作为硬件平台，组成热/温存储池，能够将数据自动从热池流动到温池，但访问的路径，访问的方式完全不变，应用无需感知具体的硬件设备和位置。
2018年年底，CFCA邀请了国内知名的几家分布式对象存储厂商进行测试，每个厂商测试1个月，主要关注点在于：一是否真正保证海量数据下的性能平稳性；二是产品本身的可靠性和稳定性。测试选择在一个4台服务器的小规模存储集群上，文件数量从0增长到10个亿文件，考验读写性能的平稳性。在测试过程中，只有杉岩数据的海量对象存储产品，在文件数量增加到10亿以上，相比未写入文件的存储，访问时延下降不超过10%。
而在数据安全性方面，杉岩提出的三层数据安全性方案也让高度谨慎的CFCA放心：第一层，杉岩存储集群内部提供数据副本和纠删机制，令业务数据的可靠性有保障；第二层，内置自动备份恢复机制，文件发生人为删除或误覆盖时，系统会自动对删除或覆盖的内容进行文件备份，并提供完善的恢复机制，完全取代外置的备份软件和外置备份设备；第三层，提供跨数据中心容灾功能，一旦某一个数据中心的系统出现问题，另外一个数据中心也有完整的数据备份。
对CFCA现有数台NAS的数据搬迁和利用的问题，杉岩提出：一方面杉岩海量对象存储支持NAS的异构技术，在数据无需搬迁的情况下，通过统一的S3接口，统一的名字空间访问NAS上已有的数据。另一方面，在NAS需要淘汰的情况下，可以启动内部的搬迁过程，数据从NAS设备搬迁到服务器硬盘上，而整个搬迁过程，业务无需任何调整或者停机。（见下图）https://mmbiz.qpic.cn/mmbiz_jpg/fUj9td3P4W155h8wjE3ibgkBWeX3ICyrtOWiaCPPt2z8o2rib99W3tU3IPOLvbhfgxBAgsJgCksFOshnR2VaumzYg/640?wx_fmt=jpeg图 采用海量对象存储后的安心签电子合同平台经过综合评估，2019年年中，CFCA与杉岩达成正式合作。杉岩海量对象存储产品全面替换CFCA原来数据库+NAS的方案，对整个安心签的存储基础架构进行重构，极大简化业务系统的开发，提升了电子合同业务的服务质量与服务效率，无惧电子合同数量百亿级的增长。
过去商务交易都在线下进行，如今通过电子化的照片、活体视频、指纹等认证手段的应用，越来越多的交易活动都发生在线上，企业的获客难度和客户服务成本由此降低，服务质量和效率得到提升。与此同时，IT技术的快速发展和业务的不断升级变革，使得业务应用系统产生的非结构化数据的规模也越来越大，呈指数级爆发式增长。基于公有云技术发展而来的对象存储技术，是企业当前解决非结构化数据的重要基础设施，也是应对之策。
页:
[1]