金融票据影像数据管理解决方案

    在金融行业交易电子化、流程银行、集中业务处理中心等建设等背景下，票据影像、录音、录像等非结构化数据得到越来越广泛的应用。IDC研究表明，金融行业的大数据时代即将来临，未来80%的数据主要呈现为音频文件、视频文件、照片等非结构化数据，从2010年到2020年，非结构化数据将以44倍的发展速度迅猛增长，由此引起的非结构化数据管理问题正在引起更为广泛的关注。

方案背景

    在金融行业交易电子化、流程银行、集中业务处理中心等建设等背景下，票据影像、录音、录像等非结构化数据得到越来越广泛的应用。IDC研究表明，金融行业的大数据时代即将来临，未来80%的数据主要呈现为音频文件、视频文件、照片等非结构化数据，从2010年到2020年，非结构化数据将以44倍的发展速度迅猛增长，由此引起的非结构化数据管理问题正在引起更为广泛的关注。金融机构海量非结构化文件来源主要包括：

• 1、流程银行、集中式的业务处理中心的建设，导致前台、中台、后台业务中需要交换和存储大量的票据影像文件。

• 2、呼叫中心、移动营销等电子化金融服务过程中的需要录音、录像等作为交易证据，带来大量视频、音频等非结构化文件。

• 3、后督中心的建设大量的纸质单据被扫描，实现了业务监督与监控的数字化、信息化、网络化的同时，也引入了大量的非结构化文件。

    根据对某国有商业银行的业务分析，当前全行在线影像数据数量超过18亿，分布在其300多个一级分行，总容量超过150TB。另外，超过2000万笔/日的交易导致影像内容数据新增约1.8TB/天。海量的非结构化文件，对金融结构的管理和维护带来诸多的挑战。




 问题与挑战

    票据影像系统、呼叫中心等场景下生成的海量非结构化文件具备以下特点：




• 1、单个文件小：通常每个文件大小几十KB至几百KB

• 2、文件数量多：文件数量达到数千万乃至数亿，并且逐年增长

• 3、访问频次低：文件生成一段时间后（一般为3个月）将很少被系统访问；

• 4、特定场景下需要快速查找：在客户投诉、司法调查、业务调取的等场景下，需要在规定时间内从海量文件中调取出相关文件。

 

数量巨大的非结构化文件，给金融机构的IT管理带来了巨大的挑战：




• 1、生产存储扩容成本高：根据金融监管要求，业务相关语音、录像、票据影像文件需保存周期长（部分文件需要永久保存），其需要巨大容量的存储系统。另一方面，大量的文件保存在生产存储中，占据了昂贵的生产存储资源，导致生产存储需要经常扩容。

• 2、缺乏高效的备份手段：部分金融机构未建设专业的备份系统，所有数据保存在生产存储中，一旦生产储存发生故障，数据恢复十分困难。另一方面，传统的备份软件一般是针对结构化数据或数目可控的非结构化数据而设计的，在备份海量非结构化文件的场景下，备份/归档效率过低。

• 3、特定场景下搜索慢：为了解决海量文件备份/归档问题，应用开发商开发了数据管理工具，将呼叫中心录音、票据影像等文件刻录到光盘上或磁带上。这种手工或半手工的管理方式，在客户投诉、司法调查、业务调取的场景下，业务人员与技术人员要手工完成数据库搜索、光盘与磁带的出库、数据恢复、数据查找等一系列繁琐过程，无法在短时间内从海量文件中找到所需的文件。

 

根据监管部门要求以及金融机构IT部门的业务需求，一个完善的数据保护方案需要解决以下问题：






                                 图1 呼叫中心与影像数据备份需求




• 1、能够实现自动归档，减少对生产存储的占用，满足监管要求；

• 2、能够实现自动备份，在系统故障与个别文件损毁的情况下能够快速恢复；

• 3、能够快速回调归档文件，不需要人工参与；

• 4、文件空间保存时间长，占用空间大，方案要有较好的经济性。

 

解决方案

    呼叫中心和票据影像数据管理解决方案系统架构如下图所示：






                                             图2 解决方案架构




    华为呼叫中心和票据影像数据管理解决方案采用“一体化”设计思路，统一实现备份、归档、分析、重删、搜索等业务场景，实现自动化生命周期管理，具有“备得出”、“查得快”、“费用低”三个特点。




• 1、备得出：备份性能达到1TB/小时以上，备份效率提升10倍，实现数亿级海量文件备份

通过DCE（Data Classification Enable）、快照备份、多流备份等技术，针对海量文件的备份效率从每小时几十GB提高到1TB，备份时间从数天减少到数小时。




• 2、查得快：业务系统“透明访问”归档存储，查询速度可达秒级。

独有的“存根”设计，生产系统保留归档后的文件位置信息，在需要调取文件的情况下，“存根”触发系统快速回调已经归档的文件；独有的二级索引方式，在千万级文件场景下，文件检索速度由40分钟以上，缩短至几十秒以内。




• 3、费用低：近线存储替代昂贵生产存储，生产存储无需扩容，成本节省80%

“存根”设计，文件归档不影响现有应用系统的运行，使得应用系统如访问生产存储一样访问近线存储上的归档文件，从而可以用廉价的近线存储替代昂贵的生产存储。此外，该方案的“一体化”设计，一站式解决海量文件备份、归档、管理等问题，不需要采购多套管理系统。




 客户价值

    华为呼叫中心和票据影像数据管理解决方案的应用带来以下客户价值：




    海量数据得到保护，备份速度提升10倍：

    应用系统中数千万乃至数亿的海量文件能够实现备份，备份效率由几十GB/小时，最大可提高到1TB/小时。




    生产存储无需扩容，节约存储平台投资：

    归档与快速回调功能能够降低不常被访问的海量文件对生产存储的占用，用廉价且大容量的近线存储替代生产存储，从而达到良好的经济效益。




    自动快速查询归档文件，应用系统零感知：

    满足司法调查、投诉处理、业务调取场景需求，应用系统直接调取归档数据，无需人工查找离线介质，无需人工数据操作。归档查询时间从几十分钟提高到几十秒。