随着移动互联网、云计算和物联网的快速发展，越来越多的信息将人、事、物紧密地联系在一起，利用信息资源描述社会活动，进而提供客观、准确的决策依据成为信息技术应用的新动力，大数据技术应运而生。
国内大数据产业仍处于发展初期
当前正值大数据蓬勃发展的最佳时期，各行业在国内利好政策指引下纷纷开展数据应用创新和产业转型。以互联网企业为代表的IT领域率先探索了数据驱动发展的实践活动，不仅面向特定行业形成了广泛的大数据产品，也通过示范应用和试点推广等途径积累了一定的大数据实践经验。
同时，我们应该客观认识到，目前国内大数据产业仍处于发展初期，且各行业应用水平参差不齐，电商、通信、交通、金融等信息基础较强的细分领域表现出明显优势，而拥有70%以上公共信息资源的政务大数据领域则相对滞后。究其原因可以总结为以下两个方面：首先，数据管理标准缺失严重影响了政务数据的可用性；其次，大数据的产业生态结构引发了数据服务的供需不对称现象。
而以技术见长的互联网企业只得投身大数据技术组件研发和基础平台构建，缺少对实际业务场景的接触和理解，其数据产品和服务难以准确匹配数据所有者的真实生产需求，在供需对接上存在着错位现象。如何有效地选择和组合数据产品及服务，成为了数据所有者普遍面临的困境，阻碍了数据应用创新的拓展范围和发展速度。
因此，优先解决跨行业、跨领域的数据可用性低下问题，以数据共享为根本出发点，提供一体化的大数据服务平台，是有效应对我国当前数据创新发展过程中核心症结的必要途径。
推出沃云大数据一体化服务平台
为了更好地满足政务数据的共享开放和行业数据的互通互融需求，联通云数据公司围绕“数据共享”的理念，自主设计并建设了沃云大数据一体化服务平台，形成了涵盖数据采集、数据存储、数据加工、数据管理、数据模型构建和数据开放等全生命周期处理流程的数据服务能力，为广泛的政企客户对接数据资产、进行自主数据应用创新提供了普适性的基础大数据支撑环境。沃云大数据服务平台的功能架构如图1所示。
图1 沃云大数据服务平台的功能架构
沃云大数据平台遵循“云数一体化”的设计理念，形成了“水平解耦、垂直并行”的数据服务框架。在水平层面上提供基础设施统一调度能力和数据处理全流程的开放服务能力，匹配云计算技术所公知的IaaS/PaaS/SaaS分层服务模型；在垂直层面上区隔面向数据生产和数据管理的平行业务线条，针对平台上不同的用户角色形成了数据“用管兼顾”的系统功能架构。
具体来看，基础设施层延续了联通云数据公司的既有优势，通过整合IDC机房资源、服务器、存储设备、网络和安全设备，基于OpenStack开源管理框架对外提供标准的云计算IaaS/MaaS服务能力，实现KVM云主机、物理服务器、分布式存储、VPC、虚拟安全防护等多种资源的在线交付和统一管理调度，便于上层大数据技术组件在异构、混搭的硬件环境中进行灵活部署和更广泛地资源适配。
数据采集与处理是开展大数据应用的首要环节。考虑到数据来源的广泛性和异构性，沃云大数据平台不仅支持通过传统的FTP文件传输方式完成贴源数据收集，还基于Flume、Kafka等主流技术实现了对日志信息的抓取和流式采集，并集成了深度纵向解析等网络爬虫功能，满足多源数据的一站式获取需求。为了更好地与现有电子政务系统进行信息对接，沃云大数据平台还提供了基于Agent或无代理模式的前置机采集方式，在符合敏感数据保护的前提下快速实现政务大数据的前向采集和信息抽取。
如前文所述，跨行业、跨部门数据质量的良莠不齐是影响数据应用的主要因素之一，沃云大数据平台自设计之初便将数据管理纳入数据加工的流程之中，根据客户的业务数据组成和元数据结构，提供可自定义的元数据标准和数据目录编排能力，并通过在线数据ETL工作流界面，遵循统一的数据管理标准完成数据格式转换和信息一致性加工处理。利用“元数据-标准目录-数据加工”的闭环流程，解决了跨部门、跨行业数据之间的由于规范和标准不统一所导致的数据可用性问题。数据存储层基于RDBMS和HDFS提供了结构化数据和非结构化数据的混搭存储能力，支持前端采集到的数据按照存储类型进行文件级或数据库表级的灵活访问。
数据存储的最终目的是服务于数据共享交换，因此沃云大数据平台通过贴源业务库、基础信息库和行业主题库等多种数据库实例，将政务大数据中所涉及的法人库、宏观经济库、地理信息库等，以及各行业领域面向业务场景的专属主题库作为数据存储层的对外服务能力，并以此构建数据共享交换的公共信息资源池。
数据治理层是从根本上解决数据管理标准缺失的有效途径。沃云大数据平台在贴源业务数据采集的同时，实现了业务元数据的同步获取能力，进而根据行业客户的实际需求完成数据目录的定制和编排，使来自不同部门、不同领域的原始数据形成统一的信息描述和一致的数据定义。通过数据ETL加工闭环处理，数据治理层积累形成了全域数据资源的“血缘关系”，在保证数据高可用性的同时实现了数据溯源能力，以及面向不同用户角色的数据权限管理和分配能力，从而为数据的共享和开放提供租户级逻辑隔离，最大程度上保证了数据隐私和读写访问安全。
数据共享交换层是打通数据壁垒的直接表现。基于SOA架构和消息队列机制，沃云大数据平台通过ESB实现了多路径数据路由和数据桥接服务能力，满足了行业间数据共享开放的核心诉求。配合数据治理所提供的业务元数据目录发布，数据共享交换层以可视化列表的方式展示了可供用户访问的开放数据样例，允许用户通过REST接口进行开放数据资源的下载和二次封装。
通过对各功能子层的剖析可以看出，沃云大数据平台将数据管理贯穿于数据处理的全周期，以数据标准化治理能力带动多源异构数据的加工和存储，最终形成规格统一、语义明晰、灵活定制的开放数据集，从根本上缓解了由于数据标准缺失和供需服务失配导致的行业数据“不敢公开、不会公开”等难题，为数据应用的创新发展和数据价值持续提升奠定了良好的基础支撑服务环境。
沃云大数据的经验与展望
联通云数据公司依托12大云基地资源及31个省市云资源池，先后为10余个省级和地市政务打造了电子政务云平台和智慧城市云平台，同时还面向教育、旅游、医疗、电子商务等多个领域向数百家用户提供了云计算和大数据服务，通过“云数一体”的服务理念帮助各类用户实现了以数据决策为驱动的产业转型，提高了政企用户在社会治理、市场研判和管理决策等方面的服务水平和执行效率。典型场景包括以下几个方面。
结合人口基本信息库和扶贫教育资金投放信息，将传统扶贫助学“先垫付后补助”的资金投放模式转变为预先精准发放的执行计划，缓解了贫困群体由于资金短缺、无法垫资入学从而导致失学的被动局面，有效降低了贫困失学儿童的比例，同时通过教育收入的溯源和后评估，落实了扶贫助学资金的专款专用监督职能，为后续助学资金的滚动发放提供了直接决策依据。
通过关联用户位置信息、机票/火车票销售信息，以及酒店预订信息等跨行业数据资源，实现对热点旅游地区的精准预言，帮助政府职能部门适时调整交通路线疏导策略，帮助涉旅企业预置旅游资源和必备用品，为出游人群提供相对理性的出行建议和日程安排，全面提升旅游行业的综合服务能力，改善用户出游体验。
关联分析我国进出口贸易数据和市场销售数据，面向各销售门类呈现商品销售的来源跟踪、销售统计和市场份额，为政企部门调整商品生产政策、改善市场供需平衡提供客观的管理决策支撑，并积极引导我国优势商品对外出口，通过产品的质量提升弥补国内市场短板，全面借助数据资源推进生产制造、食品等领域的供给侧结构性改革。我国乳制品进出口数据分析示例如图2所示。
图2 我国乳制品进出口数据分析示例
诚然，大数据的应用范围和创新能力远不止上述场景和成功案例，沃云大数据平台亦是始终坚持合作开放的共赢理念，通过搭建基础大数据平台，构建以数据共享交换为核心的多级数据开放服务能力，形成更广范围内跨行业数据的集聚效应，拓展面向行业领域和特定应用场景的数据关联分析模型，引导内外部数据应用创新和数据价值变现，充分释放数据资源作为战略性资产在经济发展中的关键作用。
来源：通信世界网 中国联通云数据有限公司 霍玉嵩、房秉毅、陈清金
