三大银行（工行、建行、农行） 新 IT 架构是什么样的？

《金融电子化》新媒体部

主任 / 邝源 编辑 / 潘婧

文 中国建设银行北京数据中心

副主任 王立新

建设银行数据中心在“新一代”核心系统、“两地三中心”基础设施建设等工作中，进行了一系列技术架构创新，提高了系统吞吐能力和资源供给效率，提升了系统可靠性，大大增强了数据中心风险防范水平。以电子渠道为例，业务量从2012 年每月21 亿笔增加到2016年179 亿笔， 年均增长72%。2016 年“双十一”的核心业务系统交易峰值接近8000 笔/ 秒，较2015 年增长81%，所有系统均顺利应对业务高峰，充分验证了建行新一代系统架构的健壮性。

“主机+ 开放”融合架构确保

“好钢用在刀刃上”

主机平台可用性高，运行稳定，适合作为银行核心系统运行平台，但也存在风险集中、处理能力瓶颈、敏捷性不够、价格昂贵等不足。为了更好地利用主机资源，建设银行提出“主机+ 开放”的融合架构，确保“好钢用在刀刃上”。主机资源用于核心账务系统，利用开放平台处理查询业务或者普通维护性交易，采用削峰填谷的方法优化主机资源使用，确保账务交易的资源。目前，已经在个人客户综合积分、贷记卡管理、客户信息查询、对公/ 对私存款查询、客户渠道等系统上使用交易与查询分离的架构进行部署，取得了良好效果。通过把这些查询系统部署在开放系统分布式平台上，既分散了系统风险，又提高了并发处理能力。目前各类查询交易总计下移日均交易量1.4 亿笔，节省主机资源2.6 万MIPS，相当于8.22 亿元。最近三年在实际业务量年均增长32% 的情况下，主机MIPS资源零增长，取得了节省投资的良好效果。

在开放平台的选择上，由于同等计算能力的X86服务器价格只有小型机的1/20，所以首先在新一代架构的应用（AP）层中大量采用X86服务器替代小型机，随着替代技术逐步成熟，继续提高在数据库（DB）层使用X86服务器的比例，进一步减少小型机的数量。自新一代实施以来，应用层和数据库层部署的X86服务器替代小型机已累计节省12.2亿元。新一代实施前后，小型机占开放计算资源比例已从1/3逐步下降到1/12，计算资源的总体可靠性和可用性保持不降。

图1 基础设施云部署架构

用虚拟化技术构建标准化资源池

建设银行自2013 年起采用云计算技术来构建基础设施环境，将计算资源、存储资源、网络资源统一打包成共享资源池，形成统一的新一代基础设施开放平台资源池，对上层应用提供计算、存储、网络能力，统一动态调配资源。根据每种资源池的特点，采用不同的云部署单元（CDP）模型，构建了X86 虚拟化资源池、Power 虚拟化资源池、HP 资源池以及大数据资源池等。以云部署单元为基本单位进行部署、更新和替换，统一了标准，提高了通用性，降低了成本。在云计算基础设施架构下，资源池内部共享、灵活调配，可以为应用提供按需的资源供给能力，快速满足硬件资源需求，在提高资源使用率的基础上，支持了更强大的整体处理能力。

经过三年实践，建行实现了云计算在金融生产环境的深度应用，全面提升了业务运行的敏捷性、安全性和可靠性。目前已经在私有云环境中部署了1000台以上物理机，提供10000 台以上虚拟机，有力地支撑了“ 新一代”核心系统上线。通过多集群并行承担工作负载的冗余设计和动态迁移技术，大大提高基础设施的可靠性、敏捷性，资源供给效率提升了10~30 倍，故障情况下虚拟机可以自动漂移至相关设备并继续对外提供服务，大大提高了数据中心风险防范能力。

“一网双平面”提高网络可用性

新一代核心网络平台采用“一网双平面”的网络架构，用多协议标签交换技术，采用层次化、模块化的网络结构，将网络局部可靠性逐步提高到99.999% 水平，支持无中断维护。新一代局域网通过推广柜顶接入架构，以虚拟端口聚合技术为基础，采用插入式服务架构来提高网络综合服务能力，接入层交换机使用板卡延伸技术，大规模标准化网络交换机配置。通过采用“双平面”冗余设计避免逻辑单点，采用分散部署模式来分散整体性风险，逐步采用自动化变更手段杜绝操作失误。采用松耦合的理念，模块化、层次化，网络服务资源池化，将二三层网络与四七层网络服务解除耦合关系，减少管理复杂度，有利于横向扩展，大幅提高数据中心网络平台的可靠性、健壮性。

“多层水闸式”防范体系保障安全

图2 新一代局域网柜顶接入架构

原安全架构的安全功能与应用系统集成实现，嵌入到应用系统中，与应用系统紧密耦合，导致安全策略与安全功能固化。“新一代安全架构”的应用系统只集成通用、标准化的安全代理，所有安全功能通过安全代理为应用系统提供，后台的安全服务可以统一调度、灵活组合，安全服务的调整不会导致业务系统的改造。在安全即服务的基础上，成功避免了安全短板问题，实现了边界防护和纵深防御并重，将传统边界防护“木桶原理”发展为纵深排列的“多层水闸式”的防范体系，整体安全保障水平大大提升。

图3 新一代标准化资源池化存储架构

图4 云管理平台架构

标准的池化存储架构

提高数据安全及可用性

存储领域在和新一代的同步建设过程中，坚持以服务为导向，按需、按服务级别（白金、金、银、铜），以目录形式为应用系统提供存储服务。SAN 存储从应用（AP）层、数据库（DB）层混合部署转变为全数据库层部署，大面积在应用层使用NAS 存储替代SAN 存储。实行存储配置标准化、资源池化，屏蔽了不同产品带来的差异化，减少了维护成本，同时实现了存储资源快速、灵活的供给。另外，采用庞大的“边缘—核心—边缘”三层SAN 存储网络，实现了楼宇内任意地点的存储网络接入。还促进及推广了重要系统的双存储供给，利用操作系统层和数据库系统层技术实现了数据层的保护，提高了数据的安全性及可用性。

云管理平台提高运营管理自动化水平

“工欲善其事，必先利其器。”建设银行将云管理平台的建设，作为新一代技术架构创新的基础性、前提性工作，自主开发了全面自动化的云管理平台，先后实施了IT 基础设施的服务器安装、版本部署、服务启停、日常巡检、配置比对等一系列自动化工具，极大提升了数据中心运营管理的自动化水平，形成全生命周期的自动化管理模式，完美支持了应用项目以及相关IT 框架、平台、技术和安全组件的投产上线。不但创造了5 个工作日内交付上千台虚拟化服务器的行业纪录，而且在简化流程、提高效率的同时，有效控制了操作风险。

技术架构的创新永无止境。未来，建设银行还将以国家“互联网+”战略和建行2020 转型发展规划为指引，基于“新一代”IT 体系，结合稻香湖生产中心投产，继续在云计算、分布式架构、园区高可用、大数据分析、智能化监控、软件定义网络、软件定义计算、软件定义计算存储等方面持续进行探索，努力以创新提升数据中心的运维能力和风险防控能力。

文 中国农业银行数据中心

总经理 涂晓军

近年来，客户交易行为显著变化，金融市场竞争加剧，银行业务创新和成本控制需求迫切，业务连续性要求越来越高。为适应业务快速发展的客观需求，有效应对新机遇和新挑战，农业银行提出全面推进信息化银行建设新战略，要求按照客户服务便捷、经营管理集约、信息整合共享的原则，统筹整合相关业务系统；优化信息系统架构，提升业务连续服务能力；调整业务、应用和数据布局，打造企业级融合式系统架构；持续开展技术架构转型，从根本上提升安全生产能力。

技术架构转型背景

自农行全国数据大集中以来，核心业务处理和数据信息全面集中到主机上运行，开放平台主要承担交易前置处理、转发功能。通过主机的高可靠性及商品化程度，打造了一个高度集中的银行信息系统架构。这种架构性能可靠，开发人员无需过多关注底层技术实现方式，成熟稳定。但高度的业务及数据集中也使得风险高度集中，系统负载过大等问题导致业务连续运行的风险不断增加。

随着云计算与虚拟化技术发展、硬件制造能力提升，开放平台在处理能力横向扩展方面有了很大进步。通过负载均衡机制，将业务分摊到多个节点处理，各节点松耦合，对底层产品的可靠性、可用性依赖降低。这种架构成本更低，可用性、可扩展性更好，尤其是随着应用规模的扩大，边际成本将更低。但这种架构的难点是做好各节点的协同工作，尤其是要处理好数据的一致性、完整性问题。必须根据业务特点，通过较复杂的应用设计，放弃实时一致性，保障最终一致性。

以稳定核心系统运维与减少IT 投入为出发点，农行利用云计算和分布式处理技术，构建开放型、高容量、易扩展、成本可控、安全稳定的“主机+ 开放”融合式架构，显著降低了主机依赖，有力保障全行金融业务连续稳定运行。

技术架构转型与阶段性成果

遵循信息化银行建设整体规划，坚持“安全生产第一”以及自主创新为主、引进吸收相结合的指导思想，农行从多方面推进技术架构转型。

1. 统一技术架构规范，推进运维技术标准化。根据技术适度收敛的总体原则，制定技术架构和软硬件平台使用标准，规范IT 基础架构建设。将计算平台统一到X86 架构，基本实现小型机零增长；并构建Linux+ 集群数据库为主的联机业务计算环境、Linux-+MPP 架构为主的数据分析计算环境、构建集中存储与分布式存储相结合的存储模式。目前，农行已将这些使用标准明确到企业标准中。通过系统架构标准化，进一步提升信息系统的可扩展性和可移植性，降低系统运维风险。

2. 构建主机开放融合架构，推进生产运行集约化。以BoEing 系统建设为契机，对核心业务系统和相关的120多个外围系统进行整体升级改造，构建了一个主机开放融合核心系统架构。

一是创新主机通讯接入模式。将基于主机的三层架构简化为两层，在主机上直接采用TCP/IP 短连接接入方式，去除了主机接入中间层，形成扁平化架构。这种架构减少了出错环节，减轻了分行运维压力，构建了一个弹性好、可扩展性强的基础平台。

二是合理均衡系统应用负载。在BoEing 系统的两层架构中，采用应用层负载均衡设备作为桥梁，隔离了数以万计的前台终端设备对后台的直接冲击，也可以动态调配交易负载，自动侦测和规避主机系统单个分区运行异常，从而显著提升系统整体可用性。

三是大力推广基础架构云平台。针对开放平台系统多、运行环境复杂的特点，引入虚拟化、负载均衡、大数据等新技术，推广基础架构云平台，实现IT 资源和服务快速交付、动态调整、弹性伸缩，提高资源利用率。云平台自下而上分为基础设施层、资源池层、资源调度层和云管平台层。目前，农行生产环境和开发测试环境虚拟化率分别达70%、89%，云平台已成为农行基础架构领域不可或缺的首选工具和平台。

3. 加快自动化平台建设，推进运行管理智能化。大力推进基础架构与应用的监、管、控自动化平台建设，实现基础设施的自动化构建、自动化监测、智能化控制和智能化管理。改进应用系统监控方式，在应用监控功能的设计上，改变以日志采集作为监控数据源的方式，而采用流量镜像技术。通过流量镜像技术实现应用监控功能具有明显优势：它对监控维度和监控指标的适应性和可扩展性强，可以灵活地根据运维和管理需要采集不同维度的数据，将监控信息集中于即时的关注点；且这种技术不消耗宝贵的主机计算资源，不因监控功能的需要而增加主机系统运行压力。

4. 提高安全可控技术应用，有效保障网络和信息安全。按照监管部门“安全可控”总体要求，采用各类措施保障业务连续性和可持续发展，规避厂商集中和供应链风险。

一是积极开展主机应用下移。通过将主机中非核心产品服务剥离至开放平台，逐步降低核心业务对主机系统的依赖。主机系统中实时交易下移后，单交易对主机MIPS 消耗平均降低了74%。进一步将历史交易明细数据下移到hadoop 集群，使历史数据交易的存储和查询完全脱离主机系统。这些措施显著降低了主机的运行负载和资源投入成本。

二是在应用交付、计算、存储领域，大力采用标准开放、安全可控的技术架构和产品，同等条件下优先采用国产产品。大力推广分布式架构和多中心多活架构，从系统层面降低单个节点异常对全局业务连续性的影响。农行已完成银联前置、快捷支付、安全认证平台等重要开放平台系统多活架构改造。

三是构建纵深立体的外联出口深度防护架构。在传统网络层安全防护基础上，通过应用层攻击检测与实时阻断、网络流量双向应用识别、应用文件还原深度检测等技术，实现应用层攻击防护。对钓鱼网站进行主动爬取、检测和查封，对信息系统自身漏洞缺陷进行主动检测评估和事前修复，防范于未然。

农行近年相继启动基础架构云平台、新一代网络架构、开放系统高可用架构改造等重点项目建设，通过各个层面技术架构优化改造，提升了生产系统的稳定性、监控有效性、资源集约化水平和信息安全防护能力，从根本上提升数据中心安全生产能力。近三年，全行突发事件数量逐年下降，核心系统主要服务时段可用率保持在99.99% 以上，变更成功率保持在99% 以上，为业务服务连续性提供了坚实保障。

建立开发与运维常态化联动机制

系统架构的持续优化、“主机+ 开放”融合式架构的落地，离不开软件开发与生产运行部门的良性互动。应用和数据下移到开放平台，不是简单的程序和数据移植。为了保证应用的高性能、高可用、可扩展，开发人员需要梳理应用特征，从应用层面解决交易完整性、数据一致性机制，通过细化访问分类，采取读写分离、内容缓存等手段提高应用性能弱化数据关联性；通过分库分表，实现数据分布式部署，增强系统横向扩展能力。生产运行部门也要关注新技术的发展和应用，主动参与新系统架构设计和评审，注重运行结果反馈，推动系统架构的持续优化。

农行建立了多项常态化联动机制：一是对于日常运行中发现的生产问题，纳入问题管理流程。通过定期召开生产运行问题沟通会，推动开发部门实施系统架构优化，解决生产发现问题，提升运行质量。二是重点关注重大工程和投产变更后的系统性能变化，将分析结果反馈到开发中心，防范因系统变更引发的性能下降风险。三是利用业务发展和系统运行数据，开展多维度的综合性分析和场景应用，既提升了日常运行质量，也为系统架构优化提供决策依据。

下一步工作计划

下一步，农行重点从创新容灾体系架构和创建灵活高效资源管理机制角度，继续完善系统架构。依托“两地三中心”多活架构，深入推进融合式新技术架构建设，实现业务与技术整合能力、风险控制能力、科技研发创新能力显著提升，为全行经营管理提供有力科技支撑。

文 中国工商银行数据中心（上海）

总经理 钱斌

2014 年中国工商银行总行党委提出了研究设计新的IT架构的发展思路，要求结合新技术发展趋势，推动实施“大数据和信息化银行”战略，适应互联网金融时代银行产品与服务模式创新的需要，满足工商银行经营转型发展要求。为此，工商银行信息科技直面金融服务新的发展形势，合理布局集中式和分布式架构体系，结合云计算、大数据等新技术手段，以架构优化为核心，通过自主创新，持续推进数据中心业务连续性运作管理水平和风险防控水平再上台阶，提升了对业务的支撑服务。

银行信息科技发展的挑战和机遇

随着新技术在金融服务领域广泛应用，金融科技创新层出不穷，金融服务变得更高效与便捷的同时，也对信息科技带来了挑战。

一是面对多样化、个性化、国际化的客户群体，银行信息系统需要支撑更加差异化、综合化的产品和服务，并满足国际化带来的监管要求。

二是互联网金融、电商平台、快捷支付蓬勃发展，客户服务不再依赖网点柜员，而是由客户自主发起，Anyone、Anywhere、Anytime 的特点更加明显，业务高峰时段已突破传统周期，甚至出现在以往的交易低谷时段，给运营服务带来巨大冲击。譬如各类纪念币发行预约、特殊时点秒杀抢购等互联网营销带来的负载冲击，对银行信息系统架构提出了高并发、易扩展、抗冲击的高要求。

三是随着国内外安全形势变化，以APT 为代表的有针对性、持续性的网络攻击日益突出，银行信息系统需要实现从“被动防护”转向“主动防御”，提高对安全态势的感知能力，建设全方位的安全防护体系。

四是在依托移动互联网快速传播的“自媒体时代”，银行信息系统运行的任何故障都会被大众资讯无限放大，并直接影响银行服务的经营和品牌价值。

机遇始终与挑战并存。随着云计算、移动互联、人工智能、生物识别等技术日渐成熟，银行业务连续性架构与安全防护手段也发生了很大变化。工商银行信息科技敏锐地抓住了技术发展趋势，立足自主研发，不断创新，以建设云数据中心为目标，以“两地三中心”为核心，持续提升业务连续性运作管理水平，全面推进云架构的落地，相关领域均取得了丰硕成果。

数据中心架构转型创新的新举措

1. 持续完善“两地三中心”体系架构。工行于2014年初步建成了以上海外高桥园区和嘉定园区为同城双活中心、北京西三旗园区为异地灾备的“两地三中心”体系架构。近两年不断创新发展，自主设计研发了“一键式”自动化切换系统，具备了同城中心之间快速切换和接管业务负载的能力。利用双活切换机制构建了核心业务的基本服务系统，保障在应用版本投产期间，基础金融服务（如ATM 存取款、POS 消费、B2C 支付等）正常对外。全年应用版本投产停机时间由原来的12 小时/ 年缩短到2 小时/ 年，极大提升了数据中心业务连续性服务水平。

同时，根据开放平台系统的应用等级和灾备等级要求，研发设计了“异地多点接入”和“同城双活”相结合的开放平台应用系统双活方案，在保障业务一致性的情况下实现站点间的灵活切换。目前工商银行正在研究重要应用系统的多站点多活模式，以进一步完善“两地三中心”体系。

2. 全面推动云架构落地。基础设施云已经在工行数据中心逐步推广，实现了大规模计算、存储和网络资源的池化管理和弹性供给。开展了基于容器技术的应用云平台规划和建设工作，已经在互联网金融、第三方支付、纪念币预约等应用系统实施了云化和微服务化改造，基于分布式系统框架实现资源弹性供应，快速响应业务突发增长需求，有效应对了“双十一”、“纪念币发行”、“微信红包”等互联网业务冲击。以应对“双十一”业务高峰为例，工商银行提前对快捷支付应用实施了云化改造，部署分布式双园区服务架构，实现了负载的动态限流、容量的快速扩容。利用流数据平台对各环节负载数据进行引流分析，实时掌握主机、网络、应用、数据库各环节的负载压力和性能指标，通过动态调节资源配置，全流程保障快捷支付业务的服务需求。同步研究和建立与云架构相适应的生产管理新模式，开展云架构下管理流程优化。

3. 加大对网络新技术的研究及运用。全面启动了工商银行新一代网络架构的规划和落地，在数据中心推广部署SDN网络，为基础设施云提供网络支撑。着重提升一级网多租户业务支撑能力，优化数据中心、境内外分支机构、集团子公司基础设施机房和网络结构层次布局，提高全行IT 基础设施资源利用率。针对互联网应用进行网络架构和应用架构优化，引入开源产品，通过开源软负载产品低成本、可扩展的优势，解决目前负载均衡技术领域存在的性能瓶颈和难以快速扩展问题，提高短时高并发应用的可用性和健壮性。

4. 增强工商银行信息安全防护能力。开展境内外机构和集团子公司的信息安全风险管控，重点关注互联网入侵防护、网络安全隔离与访问控制、客户端安全管理、数据安全管理等中高风险领域。优化安全架构，加大安全课题研究力量，重点推动APT 攻击防护、云网络安全防护等方案落地，与现有外部攻击检测形成有效互动和互补。加强数据分析和安全风险模型研究。通过研究科技与业务数据之间的关联关系，实施系统、网络、应用、业务等各环节日志分析挖掘，全面推动信息安全数据分析工作。积极探索量子通信技术在信息安全领域的应用。工商银行在2015 年率先实现了量子通讯技术在北京、上海分行本地机房的量子密钥交换，2017 年初将完成京沪间异地量子密钥交换，成为国内首家成功应用量子加密技术的金融机构。

工行的业务连续性能力建设，为自身提供了更安全、稳定、高效的信息化平台，也为同业提供了有益借鉴。2016 年末，人民银行领导现场观摩了工商银行数据中心的同城切换运行。工行核心系统在业务高峰期间，由上海外高桥园区成功切换至嘉定园区，运行1 个多小时后回切至外高桥园区，整个切换时间约2 分钟，符合预期，接管运行期间全集团各项业务正常开展，交易响应及系统运行性能良好。