“2017最IN解决方案SHOW”——GBase 8a MPP 大数据分析型数据库集群-mpp文件

· 企业名称

天津南大通用数据技术股份有限公司

· 企业简介

南大通用是国产数据库的领军企业。2013-2016连续四年在赛迪顾问发布的《中国平台软件市场研究年度报告》中位列国产数据库市场占有率第一。南大通用以“让世界用上中国的数据库”为使命,打造了多款自主可控数据库、大数据产品,并在金融、电信、电力、政务、国防、企事业等领域拥有上万家用户。截止2017年10月,GBASE产品用户已覆盖全球五大洲、三十余个国家和地区。2015年7月31日,南大通用登陆新三板(通用数据,833056),成为国产数据库第一股。

· 申报项目名称

GBase 8a MPP 大数据分析型数据库集群

· 项目基本信息

【用户范围】金融、电信、电力、政务、国防、医疗、企事业等

【上市日期】2009年

【适用平台】

操作系统:Windows 、Linux、中标麒麟、银河麒麟等

CPU:龙芯、飞腾、X86、POWRER、RISC等

· 申报项目详情概述

【项目背景】

GBase 8a MPP Cluster通过数据中心联盟的测试,产品的功能、运维、可用性、安全性、兼容性、扩展性等6项指标均满足大数据产品能力评测(基础能力)要求。

GBase 8a MPP Cluster具备如下研发成就:

高效智能优化:具有智能索引功能可以有效降低IO;可根据CPU和内存资源调整并行能力;可根据数据特征自动进行优化。

高效双活集群:通过双活集群实现集群高可用及系统高负载能力,集群间高速自动同步数据,保障集群间数据一致性。

高可用高保障:通过Safegroup机制保障高可靠性,可以通过灵活配置1-2个副本提供冗余保护,自动故障探测和管理,自动同步元数据和数据。

先进技术架构:采用联邦架构,支持超过300节点的 集 群 规 模 。 联 邦 架 构 分 为GCluster、GCware集群和GNode集群,GCluster、GCware集群支持最大64节点,GNode集群支持大于300节点的集群规模,管理数据量大于30PB。

在线扩容缩容:采 用 高 性 能 单 节 点 的MPP+SharedNothing分布式扁平架构,保证平滑扩展和性能的线性增长。

海量数据支撑:可处理PB级别以上的数据;采用Hash分布、random分布策略进行分布式数据存储;采用先进的压缩算法,可以根据数据类型进行 高 效 压 缩 , 压 缩 比 可 达 到1:20,并相应地提高I/O性能。

所获荣誉

1. 该项目支撑的“中国人民银行反洗钱监测分析二代系统案例”获得金猿奖·优秀案例奖

2. 该产品支撑的“农业银行大数据平台项目——海量数据复杂运算案例”获得金猿奖·大数据优秀案例之技术创新案例奖

3. 该项目支撑的“大规模并行数据库GBase 8a”入选工业信息安全发展研究中心《大数据优秀产品、服务和应用解决方案案例集》

4. 该项目支撑的《大数据助力反洗钱》、《大数据深度分析助力电信运营》入选《中国大数据应用最佳实践案例选集》

5. 凭借该项目,公司入选DT大数据产业创新研究院2016中国大数据创新企业TOP100,排名22

6. 凭借该项目,公司获得“2016中国大数据企业50强”称号

【项目管理方案】

南大通用完全自主研发的GBase 8a MPP Cluster作为国内顶尖的大规模并行计算分析(OLAP)数据库,可扩展至上百节点,提供PB级数据复杂查询的秒级响应,为移动、联通、电信三大运营商提供稳健和高性价比的支撑数据平台,用极高的性价比和高品质本地服务为客户增值。

在整个大数据管理体系中,从分工角度依次可分为数据收集、数据清洗、数据计算、数据分析和数据展示等。其中最关键的技术包括数据收集中的分布式数据库(结构化数据)和分布式文件系统(非结构化数据),数据清洗中的数据抽取转换加载(ETL)、数据计算中的并行计算框架、数据分析中的数据挖掘和机器学习算法,以及交互式数据可视化系统。

面对海量设备数据和用户数据,如何有效进行数据保存和管理是第一步,也是最重要的一步,数据是基础,再强调也不过分,业界成熟的解决方案是针对结构化数据采用大规模并行处理分布式数据库(MPP),对非结构化数据采用开源的Hadoop框架中的一系列组间实现,如HDFS、HBASE、HIVE等,Hadoop采用MapReduce分布式计算框架执行和分发映射(Map)和归约(Reduce)实现对非结构化数据的管理。

将非结构化数据提取元数据,转换成结构化数据,最终合并到结构化MPP数据库为上层分析引擎提供数据。大数据分析系统的逻辑架构如下图所示:

“2017最IN解决方案SHOW”——GBase 8a MPP 大数据分析型数据库集群

电信大数据分析系统逻辑架构

在引进核心的大规模并行计算数据库时,中移动的思路是邀请国内外有实力的大数据解决方案提供商、专业数据库厂商同台PK,由中移动提供生产系统的样例数据,模拟真实的业务场景,通过实际运行检验方案和产品的性能,厂家技术实力的积累、团队的服务能力。集中经分系统的历史数据存储与深度分析测试,在确保数据一致性的基础上,重点包括:

· 元数据管理、数据质量管理、系统管理服务;

· Sandbox应用的管理;

· 针对自助分析的各类数据挖掘,查询、报表、多维分析;

· 不良治理数据运算和分析展现;

· 与主数据仓库和Hadoop平台高效的数据传输。

· 经济效益与社会效益

GBase 8a MPP Cluster大数据分析型数据库集群填补了国内空白,在技术和市场上打破了国外厂商的垄断,在电信、金融、安全、政府部门开始规模化应用并产生了显著的经济效益。

GBase 8a MPP Cluster应用在中国农业银行、国家电网公司、中国人民银行、中国农商银行、招商银行、江苏银行、中国移动、农信银、人社部、海关总署、阳关保险集团、国税总局等各行各业用户的核心业务系统中。截止目前,已经承载了国内银行、电信、政务、军队四大行业最大的数据仓库。

GBase 8a MPP Cluster产品覆盖英国、斯里兰卡、哈萨克、亚美尼亚、哥伦比亚、泰国、阿尔及利亚、南非、喀麦隆、白俄罗斯、巴基斯坦等五大洲、三十余个国家和地区。让“让世界用上中国的数据库”成为现实。

· 项目创新情况简述

国内上线的MPP数据库项目中支撑节点数与管理数据量最大的数据库、 唯一支持数据透明加密的MPP数据库产品、业内领先的基于联邦集群架构的MPP数据库产品、业内唯一支持PB级双活的MPP集群的数据库产品、业内领先的支持Power Linux的MPP集群、业内领先的支持全中文检索的主流MPP数据库产品、进入行业核心应用的国产数据库。

推荐阅读