数据交换共享平台整体解决方案-山财大文件交换

一、项目背景

1. 政策背景分析

数据交换共享平台是集中机关各部门业务应用,制定相关数据规范和信息交换标准,使机关各部门业务系统依托统一的基础平台进行开发建设,确保系统之间的互联互通、数据共享,为大数据分析提供数据依据。

近年来,“大数据”议题已经成为了国务院常务会议的座上客,“大数据”战略早露端倪。

2014年7月23日,国务院常务会议审议通过《企业信息公示暂行条例(草案)》,推动构建公平竞争市场环境。

其中要求建立部门间互联共享信息平台,运用大数据等手段提升监管水平。

2014年11月15日,提出在疾病防治,灾害预防,社会保障,电子政务等领域开展大数据应用示范。

2015年1月14日,部署加快发展服务贸易,以结构优化拓展发展空间,提出要创新模式,利用大数据、物联网等新技术打造服务贸易新型网络平台。

2015年2月6日,确定运用互联网和大数据技术,加快建设投资项目在线审批监管平台,横向联通发展改革、城乡规划、国土资源、环境保护等部门,纵向贯通各级政府,推进网上受理、办理、监管“一条龙”服务,做到全透明,可核查,让信息多跑路,群众少跑腿。

2015年7月,国务院办公厅印发的《关于运用大数据加强对市场主体服务和监管的若干意见》提出,要提高对市场主体服务水平;加强和改进市场监管;推进政府和社会信息资源开放共享;提高政府运用大数据的能力;积极培育和发展社会化征信服务;加快建设投资项目在线审批监管平台,重点推进6大领域消费。

建设政务大数据是政府职能转变的需要:

从内部管理的角度看,政府需要降低行政成本、提高决策的科学化水平。

从对外服务的角度看,政府提供公共服务、促进经济社会发展的职能发挥同样需要大数据支持。

2. 社会问题分析

作为世界人口大国,理论上我国数据资源储量极为丰富,但大部分政府数据(例如:交通、社保、税收等)属于结构化数据,距离海量(volume)、速度(velocity)和多样性(variety)的3V属性还有一定距离,但从战略角度而言差距并不大。

从数据规模来说,政府拥有最为庞大的数据储量。从数据来源来说,各行业、各地采用的法律法规和标准并不统一。从数据质量和价值来说,企业的数据种类单一化程度较高,而政府数据涉及工商、税务、交通、医疗、教育等领域,数据种类繁多,事关百姓生活的方方面面,数据质量较高,数据的潜在价值十分可观。如上所述,政府数据的特点可以概括为:数据规模大、数据来源和结构复杂、数据价值高但目前利用率低。

政府收集了大量有价值的数据,通过这些数据,可以更好地了解国家资源使用情况,政府开支情况,土地交易和管理情况,这些将不仅强化政府责任,提升治理能力,还能提高资金支出效率,为人民提供更多更好的服务选择。

政府数据体量越来越大,截至2014年,中国共有664个城市,2852个行政县,40446个行政乡。据粗略估算,全国政府大数据加起来相当于数百个阿里巴巴的体量。随着数据体量的增长,大数据处理、大数据应用分析的门槛将会逐渐提高。

多部门协作成为常态化,复杂的城市治理问题,对跨部门的协作提出了更高的要求,政府数据跨部门共享共用已不再是亮点和创新,建立常态化共享机制成为政府大数据建设的入门。

国家治理不能仅仅依靠政府,需要借助社会各方面力量参与到国家治理过程之中。无论是社会自治还是合作共建,政府数据共享开放都是大前提。

社会普遍开始重视数据安全和隐私数据,数据安全和隐私保护不仅是公民个人的责任,政府单位也有义务保障数据的安全和隐私,政策、技术、意识缺一不可。

二、系统架构

数据交换共享平台整体解决方案

三、系统功能

1. 数据存储功能

政府数据量很大,海量数据的处理与传统架构完全不同,原有小型机加商业数据库的方式已不能完全胜任,部分领域数据需要引入新架构。大数据存储与处理架构包括分布式存储、分布式资源管理及分布式文件架构。

2. 数据汇聚功能

数据汇聚功能要求实现将各部门相关的信息资源统一采集交换到数据中心前置库中,支持多种采集方式,满足不同网络环境、不同类型的数据采集,并对采集数据进行处理,进入中心库保存。数据汇聚功能包含数据采集、数据交换、数据处理等功能。

3. 数据治理功能

政府数据在共享共用、开放运营及行业应用过程中,数据来源于各个业务系统,只有建立对数据质量的信任,才能放心地使用,数据治理和质量保障在政府数据开放共享平台建设中显得尤为重要。数据治理功能主要包括信息资源目录管理、元数据管理和数据质量管理等功能。

4. 数据运营功能

数据运营功能聚焦对数据共享、开放、融合的提供,对服务授权、认证、访问过程进行统一管理,对运行过程进行全程监控。数据运营功能主要包含服务管理、基于服务管理的数据开放、以及运行监控等功能。

5. 数据运用功能

数据共享、开放的最终目标是为了创造价值,数据的价值主要通过应用得到体现。数据应用主要是政务数据分析功能,包括数据采集、数据分析、结果发布三个组成部分,能够实现实时、批处理、交互分析,最终通过报表、仪表盘、API等形式展示结果。

6. 系统性能指标

基本性能:(1)在100M局域网环境下进行增、删、改业务(不含大对象数据类型)响应时间在3秒以内、查询操作响应时间在3秒以内。(2)系统支持同时在线数大于200,并发用户数大于50。

数据交换:(1)批量数据交换中,平均单条记录数据交换时间不大于20毫秒。(2)非并发大批量数据交换(百万条)时间不大于5,000秒。(3)批量数据交换中,单条记录平均入库响应时间不大于20ms。

数据查询:(1)基础数据(精确匹配)查询响应时间不大于3秒。(2)单个数据主题(百万级)查询响应时间不大于3秒。(3)目录检索响应时间不大于2秒。(4)查询统计报表(非实时统计)响应时间不大于3秒。

推荐阅读