大数据激发行业数据新能量

大数据激发行业数据新能量

行业数据平台日趋复杂，用户在获取、存储、搜索、分享、分析和可视化等多样应用需求下，他们的投资如何基于大数据架构及相关技术展开，哪些已然成为其部署IT项目焦点?

云计算和大数据是当前IT最热门的两大技术。行业内有观点认为，大数据应该是云计算大规模落地的重要支撑。然而，虽然眼前诸如电信、金融、物流、零售及电商等领域用户纷纷将IT投资着眼于大数据，但其大数据距离其理想应用，还必须经历一段复杂艰难的历程，包括技术及非技术等诸多挑战摆在企业CEO们面前。

可以看到，基于大数据相关的诸如数据库、数据仓库、数据分析、数据挖掘及BI等技术领域，厂商均推出了丰富的产品及解决方案。当前，从数据平台级厂商到应用软件厂商IBM、SAP、Oracle、微软、EMC等等，均不遗余力推进各自的“大数据战略”。

据本刊记者调查，目前各大银行数据库平台主要由IBM(主机以DB2为主)、Oracle(UNIX平台)所占据，其他数据库平台则由SAP (Sybase)、SQL Server、Informix等组成。从而在传统事业型应用与分析型数据库而形成分水岭;随着新的个性化需求的不断涌现，围绕大数据而展开的业务应用将逐步改写数据库市场原有格局。

技术战略全面化

市场变化对厂商战略产生影响。Oracle对大数据的策略是面对从底层大数据到顶层的BI数据，可处理传统的中间层次的关系型数据库和下层的大数据库。Oracle大数据的产品及集成解决方案通过软硬件的解决方式提供软件、硬件，网络交换，提供大数据的获取、组织、分析、决策四个步骤的所有能力，包括Oracle大数据机和Exalytics商务智能云服务器。

伴随着交易型IT过渡到交互型IT，企业数据出现了爆炸性增长。社交媒体的兴起、数字传感器的大量应用以及移动设备的大面积普及等因素导致各种海量数据的快速产生。此类多为结构化的数据价值较低，但庞大的数据量却蕴含着巨大财富。

甲骨文副总裁及大中华区技术总经理喻思成分析，大数据不仅要求传统交易型的数据分析，还把现在的社交媒体、电子商务、决策支持等所有的信息都融入进来，把原来后端的BI变成了大数据的前景。

EMC面向云计算数据库云平台Greenplum，推出的统一分析平台-UAP当中，除了大数据软件平台外，另一核心是优秀的数据科学家团队，通过他们利用Greenplum的技术提升利用大数据建模及分析的能力。

今年是专注于应用层的SAP D&T(数据库及技术平台部)展开其数据库业务的第一年。在并购Sybase两年其间A SAP Company 支持ERP等相关技术整合花了一定时间之后，ERP应用层SAP将逐步在未来时间引入自己的数据库并优化支撑应用。SAP在关键数据库已拥有行列式、内存计算(HANA)、移动及数据流分析等五大数据库产品。

当EPR数据库发生变化时，它将影响整个数据库市场的变化。当在制造业占第一位的ERP厂商换了底层数据库，经过若干年之后，其变化及影响力将是深远的。

同时，SAP还坚持做开放的平台数据库。IBM、微软、Oracle都销售的是平台级的数据库，用户采购后自己去应用开放。而ERP数据库软件相对封闭，而做开放的ERP数据库平台技术开发难度更高。这也是SAP会有列式、内存、移动嵌入式数据库的原因。

商业竞争在分析

大型银行完成数据大集中，四大银行构建了大规模数据中心，由此产生的庞大的数据量及类型繁多的数据平台，以及对数据处理高速度及高价值等要求，使得大数据在银行业的应用越来越广泛，复杂化需求也不断升级。

记者采访调查发现，在其他诸如运营商、电商等领域，中国行业用户在数据方面所面临的挑战远比国外用户大。这也是大数据之所以风起云涌的外在推力。

在中国运营商市场仅在终端用户总数量超过13亿，尤其是中国移动终端设备的普及，手机用户庞大的活动量(电话、短信，移动互联之微博、看网页、玩游戏等)这些应用需求更对大数据提出了巨大挑战。而相似需求在移动互联领域更为突出。这正是用户迫切需要借用“数据分析”“通道”来获得竞争优势的主要原因所在。

“从数据量、处理速度角度看，大数据做交易类难度并不高，除非在银行业上百万用户并发等极端的股票交易类型外，更多在大数据框架内用户心理及行为分析等大数据量分析外，及时性处理速度在大数据领域非常重要。时时营销、时时风险控制、时时监测、时时报警时时、时时推荐、时时基于地点的促销等等，在这一点上是各家数据库厂商竞争的焦点。” SAP全球数据库解决方案亚太及日本区技术总监卢东明说。

数据库作为大数据的关键环节，眼下的市场激战在数据库平台业务领域愈演愈烈。SAP的HANA和Oracle的Exalytics打得火热。

基于大数据的新型商业模式也在展开;基于应用层涌现出诸多国内知名专业服务商在竞争中显出亮色。如在数据平台业务上，IBM及其合作伙伴先进数通等占有份量，数据仓库中宇易诚、东华软件等为人们所熟知。华胜天成最近推出了针对性的产品“i”维数据，旨在关注非结构化数据价值,实现大数据时代下的数据全生命周期管理。目前这个产品已经在一些大型行业用户中使用,如邮政业等。

EMC在Hadoop方面已显出其优势，并在电商领域得到广泛应用。阿里平台率先引用相关技术。另据了解，中信银行借Greenplum(数据分析)可做到秒级营销并籍此一年节省千万资金。

客户数据营销战略化

一切根源于由海量数据所带来的高价值。传统的语音和短信等传统业务趋于饱和，运营商投资强化提高客户服务体验,将实现精准化营销和精细化运营提升到战略层面。

如何真正实现精准化营销和精细化运营?就是最大化地利用历史和每天时时不断产生的数据。即海量话单、信令数据、网管数据等一系列关于客户上网行为的数据。

在SAP所支撑的几大运营商的“信令分析”应用中，它不光分析短信或者电话的计费完成等，它分析的是一个电话从发起(从哪个基站发起)、连接信号质量如何及该基站是否连通及如何到达;这个电话有无数个信令。在大量的信令中作分析。更深刻的分析是想通过数据去挖掘客户价值，这些信令里可反映很多用户的价值。电信行业的信令分析就聚集于用户行为，挖掘商业价值。

“通过充分及时地对这些数据进行深度分析挖掘，不仅可进一步提升客户服务体验，提高客户忠诚度，挖掘新商机，增加收入，同时可通过优化资源配置，提升运营效率，有效降低运营成本，并且可以不断以自身为中心加强对产业链的拓展。” EMC大数据计算产品部大中华区总经理刘伟光说。

除了传统的电信和金融行业，公安和科研机构的大数据应用同样迫切。公安网络监管技术侦察均面临海量信息高速处理的技术难题。互联网的普及下，一个发达城市网络监管系统管理的信息以每天几亿个链接数量在增加，即每天几十个TB的数据在增长，而快速的监控和定位是核心需求。利用新的技术，科研机构把浩如烟海的历史研究数据作挖掘分析，通过先进的建模技术与高性能分析平台的结合，解决科研工作中的难题。

大数据对市场占有率、成本控制、投入回报率和用户体验都会起到极大的促进作用。据估计，如果零售商能够充分发挥大数据的优势，其营运利润率就会有年均60%的增长空间，生产效率将会实现年均0.5%-1%的增长幅度。

“在大数据推动的商业革命暗涌中，要么学会使用大数据的杠杆创造商业价值，要么被大数据驱动的新生代商业格局淘汰。”唐北雁说。

实现可信可用

正如大家所认同的，数据就已是企业竞争优势的资源池。谁能够拥有数据，并从中提取更多的价值，才能在未来的竞争中才立于不败之地。

而今，数据分析应用已然成为大型行业客户的普遍需求。明显看到，大数据的出现推动了BI的发展。某专业人士分析：BI与大数据的区别在于，大数据能够基于BI工具进行大容量数据和非机构化数据进行处理，与传统基于事务的数据仓库系统相比较，大数据分析不仅关注结构化的历史数据，它们更倾向去对Web、社交网络、RFID传感器等非结构化海量数据进行分析，大数据无疑是对BI的一个完美补充。

SAP卢东明说：“除了简单的统计报表的分析外(BI已然普及)，新型的动态随机的分析正在兴起;而更高的台阶的预测性趋势的分析等高端的分析将是最大的考验，考验不仅仅在技术层面。”

“大数据平台还应该易于使用与管理。”微软中国SQL Server产品营销经理郝雪莹说。大数据平台需要支持及管理外，还需要对企业数据能够使用大管理与分析大规模、不同类型、高频度的多种数据，同时也需要支持对这些数据挖掘与分析，从而为数据的使用者提供全面的、可信的分析结果。一个好的大数据平台应该充分支持这些需求，满足在不同的应用环境，无论是公有云、私有云还是传统应用的环境下，都提供相应的完善的解决方案，同时应该能够支持使用熟悉的前端管理与分析工具，对大数据环境下的数据进行整理、分析与展现。

在华胜天成唐北雁看来，决定大数据的实际落地因素，主要是要看大数据的存储处理，更重要的是解决大数据如何为用户业务服务的问题，并且如何将大量的数据信息与产品和人相结合，达到产品或服务优化。而这其中分析技术、存储数据库、NoSQL数据库、分布式计算技术等都很重要。

具体而言，一是要对客户群体细分，然后对每个群体量体裁衣般地采取独特的解决方案与产品设计;二是运用大数据模拟实境，发掘新的需求和提高投入的回报率;三是提高大数据成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率;四是进行商业模式，产品和服务的创新。大数据技术使公司可以加强已有的产品和服务，创造新的产品和服务，甚至打造出全新的商业模式。

专业企业与行业高度融合

显然，大数据的落地与业务之间只有最终良好结合从而产生价值，最终才能获得市场认可。比较典型的银行业就是大数据的一个良好的生存土壤。如历史数据存储管理和分析、数据仓库、多系统日志和故障分析等。“如果大数据能和银行的风险控制或数据挖掘发生联系，用户将会对其产生最大的投资兴趣。”光大银行信息中心某负责人说。

但是，普遍现象却由于行业实施经验缺乏，尤其是无法正确把握行业特性而使得这些方案在实施应用后出现不少问题。

“大数据市场增长极快，过去企业用户关心的数据标准化格式化的关系型数据库，现在随着社交网络的兴起，对用户对其客户行为的分析需求更高。非关系型数据迅速增长，但是目前并没有出现比较好的数据管理工具来解决用户的强烈需求。”某企业IT部门负责人说。

在金融业领域，在过去几十年运营的过程当中积累了大量的计算机产生的数据以及各种表单等文本信息和，这些对于银行来说是一笔宝贵的财富，通过挖掘和分析客户的各种交易信息，可以通过决策分析而最大化的提高企业销售利润。从正面角度看，这种方式可以快速定位到高价值以及高潜力的客户群，将相应的金融产品进行准确的营销;从反面角度看，利用高性能分析挖掘还可以进行反欺诈分析，降低企业的运营风险。

银行走向精细化

据了解，目前大型银行在IT创新投入着眼点重在对其现有资源的挖掘。现各大银行已完成对各省地市县分行的统一IT系统数据大集中，而步入数据处理平台建设时期，即ODS(操作型数据存储)或者DW(数据仓库)建设。

宇信易诚负责人对此现身说法。他说：“IT系统建设能够实现应用才是第一位的，而包括风险管理在内，应用是基于对历史数据的分析来判断未来再根据未来实际需求来纠正偏差不断调整数据模型的。相比国外金融客户对管理类系统投入占到整个IT软件系统的90%来看，这块空间非常大，尤其是现在国内银行业发展水平参差不齐。”

在实施大数据分析项目之前，企业不仅应该知道使用何种技术，还应该知道在什么时候、什么地方使用。各数据之间有哪些关联性，哪个数据是可信的，及如何从海量的数据中挖掘出有价值的、易用的客户信息。

“除了在这个领域积累业务能力外，我们还研发基于数据处理的工具，目前也完善了自己的BIP平台;我们在数据平台服务这个产品线上跟网银一样发展很快，今年就签约了一亿二千万，并且是纯软件的单子。很多单子我们都不再签约的情况下，客户愿意给时间等我们，因为有能力接手这些项目的公司只有我们了。”这位负责人说。

历年来，在为大行做整体IT规划及至实施建设的过程中，宇信易诚从2001年参与各大型国有商业银行与分行间进行的统一核心数据大集中，即所谓从DCC时代，到建成的后DCC时代，到建行各分支提出建设自己的数据信息平台(ODS)，宇信易诚在其中不断积累其专业的服务能力。从任务调度工具、数据质量管理工具、源数据管理工具、报表工具，基本完备了自己在整个数据业务基础建设的能力，在其历年来植根于银行IT系统建设的行业经验之上，他们顺理成章进入应用作“迭代开发”。

行业内推标准化

据介绍，高伟达于2003年就开始做大行的数据仓库，而数据治理和及其标准化是他们遇到的最大难题。目前，高伟达已形成自己的数据标准体系及数据质量管理的闭环的流程，并在在一些银行的实际应用中已成为客户全行的标准。另外，数据分析也是高伟达的重视的领域。

公司负责人高桂生说：“采用我们的数据分析软件，通过客户交易系统数据分析客户特征，对客户行为进行定位，及购物、基金达人等精准分析定位等，这些银行在后台投入成本比较低。包括风险管理等都是现在客户相当关注的应用。”

作为国家信息中心部门下的专业公司，方位捷迅主要面向各级政务部门、行业及企业提供信息化咨询及标准研制服务。数据标准化是其中的重要业务。通过针对异构数据资源，结合其行业特点，制定数据标准，为后续数据集成整合起到指导和规范化作用。

该公司提供基于网络的异质异构、跨专业、跨区域的地理空间信息资源共享技术完整解决方案，可广泛应用于地理空间信息基础设施建设、数字城市、企业信息资源管理等领域。

为实现基于元数据的信息共享，方位捷迅研发了系列元数据服务产品，包括有元数据编辑器、元数据服务系统和元数据网管系统。

方位捷迅科技有限公司总工程师张驰介绍，元数据编辑器是一个图形化的元数据编辑软件，系统支持多标准编辑，可以协助数据生产者生成规范的元数据文档。元数据服务系统是元数据的存储、管理和发布系统，元数据管理人员通过该系统对元数据库进行管理维护工作。元数据网关系统可同时连接分布在网上的多个元数据服务系统，形成分布式的元数据网络服务体系，并提供分布式联合查询功能。

基于元数据信息共享的元数据服务产品解决了不同来源、格式、特点性质的数据在逻辑上有机地集中，从而为企业提供全面的数据共享。而这也是数据集成的一种典型方式，所以可以说本公司的元数据服务产品是一种多源异构数据集成解决方案，目前已应用到多部门的数据共享应用中。另外，方位捷迅提供的数据加工服务中很大一部分是数据整合业务，其业务范围主要是提供数据整合建库的解决方案，并完成实施。数据资源的整合需求的提出，主要还是由于目前众多企业中存在数据源彼此独立、相互封闭，使得数据难以在系统之间交流、共享和融合，从而形成了"信息孤岛"，不利于信息资源的共享和利用，因此本公司对数据的整合改造建库业务结合行业特点，使数据对象达到标准化、规范化、流程化的要求。这也是数据集成的必经过程。

企业闭环式应用

“高负荷环境下高可用的海量数据管理是目前银行和电信行业等重点行业IT建设中最重要的内容，也是影响企业业务发展最重要的瓶颈之一。”甲骨文喻思成从专业角度喻思成更准确地分析行业现状时说。

这些行业数据量的增长压力主要来源于几个方面。1、业务的快速增长导致原有业务数据的快速增长。也就是说，企业数据库中需要管理的数据量及其增长速度已经难以承受;2、客户服务水平的提高及各种监管制度的要求，导致企业IT部门不得不规划管理比以前量大得多的数据。例如对长期历史数据的使用要求，使得企业不得不考虑原来存放在磁带上的数据的高可用问题;3、新的IT规划带来了新的数据类型。将社会化交互渠道引入银行业，已经成为各大银行规划其新一代IT体系的重要目标。

在大数据时代，企业不能只是将对其关键业务数据的管理作为唯一的重点，而是需要多类型的大数据与关键业务数据并重;企业必须将传统的关系数据库技术，与目前流行的大数据技术作为主要的数据管理手段。

这两种技术是共存的、相辅相成的，而非互相替代;从大的战略来讲，大数据应该处于企业数据处理流向底层，大数据技术所起的作用就如新的ETL工具一样，从海量的数据中抽取、分析出有价值的结果，当作企业业务数据除去交易系统的另一个来源。

在大数据时代，银行和电信业除了考虑现有的业务与应用目标以外，还需要结合新的技术与需求规划其数据体系，并制定相应的战略。大数据技术与关系数据库技术是面向不同目标而设计。它们互相补充且并不矛盾

大数据技术已在银行及电信两大行业有广泛的应用，长远来看，只有对其充分使用才可在很大程度上缓解数据与业务增长对银行IT运营带来的日益增长的压力。

总之，为了充分使用大数据和挖掘大数据商业价值为企业带来强大的竞争力，企业大数据的实际应用应该形成一个闭环过程，包括对大数据的获取、组织、分析和决策四个过程。