当前,如何做好大数据的收集、处理、分析、应用,将数据转化为促进银行经营发展的技术引擎,是摆在每个商业银行面前的一个重要课题。农业银行高度重视信息科技的支撑作用,行党委审时度势地提出了建设信息化银行的全行战略,明确要求抓住大数据技术突破发展和跨界应用的历史机遇,通过深化大数据应用全面提升经营管理智能化、精细化水平。与此同时,农业银行在大数据建设的实践中,比学赶超,大胆创新,走出了一条独具特色的大数据建设之路,构建了立体式、全流程的、五位一体的大数据服务体系,让数据价值在业务发展及经营管理中转变为源源不断的生产力。
一、五位一体的大数据服务体系
大数据服务体系建设目标是实现数据资产向价值载体的转变,解决好“数据在哪里”和“数据如何使用”的问题,为经营管理提供决策支持。自2013 年开始,农业银行基于分布式架构构建了自主可控的大数据平台,并逐步推进数据的立体式服务和深度应用,在实践中总结出了一套有农行特色的大数据服务体系建设方法论:2 个驱动、4 个创新、5 个动力、24 个领域。
农业银行的大数据服务体系建设坚持业务和数据双向驱动,通过数据驱动构建全面、科学、稳定的全行统一数据视图,通过业务驱动构建快速、高效、精准的服务支撑平台和深度整合的分析型应用。创新是大数据的灵魂,大数据服务体系建设坚持四个创新——“新技术、新机制、新思维、新人才”。广泛采用最新的前沿技术使得数据服务更有前瞻性,建立配套的数据价值孵化机制为数据发力提供保障,逐步推进“用数据说话”精细化管理理念和大数据文化的形成,持续完善全行大数据人才队伍的建设,奠定数据价值长久不竭的基石。
按照2 个驱动和4 个创新的思路,农业银行构建了五位一体的立体式大数据服务体系,为数据向价值的转化提供5 个力。
在基础层面通过构建分布式的大数据云计算环境提供支撑力;在数据层面通过全面整合全行核心数据提供源动力;
在服务层面通过构建多维度、全方位、广覆盖的服务平台提供竞争力;在管理层面通过打造数据管控体系及全生命周期管理机制提供约束力;
在应用层面通过基于大数据的深度应用整合和业务流程再造提供驱动力。五力合一,有效推动数据价值在全行经营管理中的综合利用,充分发挥大数据对业务发展的科技驱动力。这个5 层面又可具体再细分为24 个领域,只有一砖一瓦都坚硬牢固才可以构筑起不可摧毁的大数据服务“长城”。
二、数据转化为生产力的“五个力”
1.自主可控的基础环境提供坚实的支撑力
稳定、高效的大数据计算处理环境是大数据服务体系之本。农业银行建设了集MPP 架构数据库GBase 和Hadoop 大数据处理计算环境于一身的混合架构云计算环境,两者各发挥其所长。MPP 数据库主要处理海量的、长历史周期的、复杂业务逻辑的行内结构化数据;Hadoop 技术平台主要完成海量数据备份、非结构化数据处理、流数据处理、快速数据加工等功能。依托大数据平台,我们具备了PB 级结构化数据、EB 级非结构数据及实时流数据的处理能力。
农业银行的大数据平台建设完全基于国产软硬件搭建基础环境,充分借鉴最新技术理念创新设计整体架构,自主研发了集ETL、运行监控、作业调度、亚健康检查、数据访问层为一体的大数据基础支撑体系,在业界树立了一杆旗帜。
2. 全面有序的数据体系提供不竭的源动力
“巧妇难为无米之炊”,全面、整合、有序的数据是提供优质数据服务的前提。在数据层面,主要抓好全面性和有序性两个关键,通过数据入仓工程持续完善数据覆盖的全面性;通过数据视图、数据集市及统一指标库等让星罗棋布的数据资源实现最大程度的整合和有序。目前,农业银行大数据平台已经初步涵盖了农行存、贷、中间业务等行内业务条线的核心类数据,并纳入了部分外部信息资讯数据。与此同时,通过构建科学的数据模型和全行统一的数据视图,实现了数据多交易链条的完整拼接和业务场景的复原,让数据“活”起来;通过八大数据集市的建设,实现该领域应用所需信息的抽象提炼和共性加工,让数据“立”起来;通过全行统一指标库的建设支撑经营分析报表及深度应用的需求,让数据“转”起来。在数据层面构建了一张融汇数据之江河湖泊的, 多层次、多区域、多应用场景数据网络图,让数据的血液滋润农行的每一寸肌肤。
3. 立体综合的服务平台提供强大的竞争力
通过构建立体式、多维度、全覆盖的数据服务平台,将合适的数据、在合适的时间、以合适的方式、提供给合适的人,以满足不同场景下的业务经营所需,这是数据服务体系的核心,是数据产生价值、体现竞争力最关键的环节。农业银行为全行用户提供“3+3+6”的数据服务模式,即:3 种类型、3 种时效性的6 大数据服务,较为全面地涵盖了全行各种应用场景下不同用户对数据的各类需求。
3 种类型分别指的是文件级、内容级和应用级的数据服务。文件级数据服务主要满足内外部审计、历史数据查询、日志文件数据提取等场景下的业务需求。内容级数据服务则为用户提供数据加工之后结果、响应业务需求指令的特定数据集合,而应用级服务则通过特色批量等方式为下游系统提供数据接口,或为特定的用户提供定制化信息服务。
3 种时效性分别指的是深加工数据服务、实时数据服务和快速直通车服务。通过基于MPP 数据库环境下的数据分层处理和综合加工模式可以提供时效性要求不强的深加工数据服务;通过基于Storm 实时流计算服务平台提供ms 级延迟的实时数据服务,可以有效支撑实时营销、实时反欺诈等业务场景的数据需求;通过基于Hadoop 环境下的“数据加工快速专用道”有效支撑T+1/8.5(T+1 早上8 点半)的经营管理高时效性日报数据需求,为领导决策、客户营销、运营管理提供第一时间的经营信息快报服务。
6 大数据服务分别指报表及查询服务、信息检索服务和分析挖掘服务三类核心服务,以及数据地图服务、统一可视化服务和专业平台化服务三类辅助性服务。报表及查询服务基于经营管理信息平台向各层级用户提供统计报表、通用查询、灵活查询等功能;信息检索服务基于Hadoop 信息库提供非结构化数据的全文检索功能;分析挖掘服务基于大数据分析挖掘平台提供数据探测、模型驯化、模型测试及模型运用等全流程的分析挖掘服务。比如,通过分析挖掘服务识别潜在的个人掌银客户、预测即将流失的信用卡客户、发现具有基金购买需求的客户群体,为客户经理营销提供精准、好用的信息服务。
为了更好地支撑数据服务,提升用户体验,提高数据服务建设的响应速度,还需同步做好数据地图服务、统一可视化服务和专业平台化服务。大数据体系中的数据信息就好像国家图书馆的书籍,大家要想方便地找到想要的书,就必须借助各种检索工具。数据地图恰恰是为各层级的用户提供数据检索、数据结构查询、数据分布示意等服务的工具。比如:通过该服务可以查找我所关心的个人客户的年日均资产余额分布在哪张表,当前最新的电子银行渠道交易码清单及业务含义是什么,等等。除此之外,统一可视化服务为全行客户提供Web 端及移动端等不同渠道数据访问的统一入口,提数平台、报送平台、快速开发平台等特定领域、特定用途的专业平台化服务,为数据服务的深化完善、纵向拓展和快速迭代提供支撑。
4. 安全完备的管理体系提供可靠的约束力
数据管理体系对数据服务建设至关重要,它决定了整个服务体系有序、安全地运行。农业银行构建了“三管一控”的大数据管理体系,即:数据质量管理、数据标准管理、数据全生命周期流程管理及数据安全控制,通过数据质量的定期监测及整改跟进机制,不断提升数据的“清晰度”;通过数据标准在各类数据源头上的落地,不断提升数据的“规范度”;通过数据生产、加工、分析、应用、退役等全生命周期的管理,实现数据资产全流程可视化;通过分类、分级、分领域、分场景的数据安全管控措施,实现数据的安全、可靠和可控。
5. 深化整合的业务应用提供持续的驱动力
数据服务的最终目的是为了应用,而业务应用的逐步深化又驱动了服务体系的不断完善。农业银行逐步推进大数据体系下应用系统的整合和流程再造,打造大数据价值落地应用、转化为生产力的高速路,比如通过分析挖掘服务对客户交易行为和社交行为分析得到客户群体的社交网络图谱。在农行互联网金融“三大平台”上落地应用为基于“朋友圈”的客户精准营销模型,及“数据网贷”的客户关联风险评价模型,真正发挥数据在客户营销、风险管控方面的巨大威力,并为客户提供“管家式”的新型信息服务。
三、大数据生态环境的构建
大数据不只是一种技术,而是由战略文化、制度规范、人才队伍、业务应用、IT 支撑等多层面要素组成的生态系统。战略重视是大数据建设的起点和推动力,流程制度规范是纲要和轨道,人才队伍是大数据建设能量的源泉,技术支撑是数据价值的执行力,五个部分构成了大数据提升全行精细化管理水平的有机循环。
农业银行以大数据服务体系建设为引擎,逐步构建“绿色、协作、创新、发展”的大数据生态体系。
制度规范层面,构建全行数据服务应用的标准规范、工作模式和管理流程,打通数据发挥价值的各个关节脉络,保障“数据发力”的通道顺畅无阻。
人才队伍层面,探索建立覆盖全行的、管理机制完善的、专业化的数据分析师队伍,让“数据发力”有了基业长青的根本。
业务应用层面,逐步建立从业务经营所需、到数据服务需求、再到数据价值落地与产品创新、最后进行后评价与优化提升的完整闭环,让“数据发力”有了不竭的驱动力。
战略文化层面,通过数据服务体系让更多的人真真实实体验到了数据的好处,让大家体会到数据“有用、好用、不用不行”,逐步推动全行数据文化理念的形成,让“数据发力”有了生生不息的一方沃土。
路漫漫其修远兮,大数据的建设不是一蹴而就的,而是一项错综复杂的系统工程,不是一次“说走就走”的旅行,而是一场“只有起点没有终点”的艰难征程。农业银行将不忘初心,戮力前行,坚持“新机制、新思维、新人才、新技术”的思路,深化建设企业级大数据服务体系,持续推进全行大数据生态环境的构建,不断实现大数据领域的新突破,让大数据为农行的经营转型和改革发展迸发出洪荒之力。
CIO之家 www.ciozj.com 公众号:imciow