本教程操作环境:windows7系统、Dell G3电脑。 大数据平台是什么 大数据平台是一种通过内容共享、资源共用、渠道共建和数据共通等形式来进行服务的网络平台。 大数据平台是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink等集群。既可以采用开源平台,也可以采用华为、星环等商业级解决方案,既可以部署在私有云上,也可以部署在公有云上。 大数据平台可以充分利用大数据资源支撑创新发展。在数字经济时代,大数据不仅成为新型的关键生产要素,同时也是推动经济社会发展的强劲引擎。 大数据平台的功能: 1、容纳海量数据 利用计算机群集的存储和计算能力。不仅在性能上有所扩展,而且其处理传入的大量数据流的能力也相应提高。 2、速度快 结合列式数据库架构(相对于基于行的非并行处理传统数据库)和使用大规模并行处理技术,不仅能够大幅提高性能(通常约100到1000倍),还可以实现更低且更透明的定价机制。 3、兼容传统工具 确保平台已经过认证,可以兼容传统工具。 4、利用Hadoop Hadoop已成为大数据领域中的主要平台。利用Hadoop作为用于持久性和轻量型数据管理的高效益平台。 5、为数据科学家提供支持 数据科学家在企业IT中拥有着更高的影响力和重要性,快速、高效、易于使用和广泛部署的大数据平台可以帮助拉近商业人士和技术专家之间的距离。 6、提供数据分析功能 确保大数据平台不仅支持在数秒钟内准备并加载数据,还支持利用高级算法建立预测模型,轻松部署模型以进行数据库内计分。同时使数据科学家能够使用现有统计软件包和首选语言。 常见的大数据平台: 有阿里云,腾讯,百度,华为和星环。
更多相关知识,请见大数据管理与应用专业大学排名 |