常见分布式文件系统大盘点,想了解大数据先从存储开始-分布式文件系统

大数据的最底层的内容就是存储,只有把数据存在能高效访问的分布式系统下才能提升工作效率。今天小鸟就带大家来盘点一下这些常见的分布式文件系统:

常见分布式文件系统大盘点,想了解大数据先从存储开始

  • Lustre

Lustre是一个非常安全,规模很大的分布式文件系统,最早由CFS(Cluster File System Inc.)公司研发,最后由CFS、惠普和因特尔三家公司一起与2003年推出第一版发布版,发展到现在已经非常成熟。其存储量通常以PB起步,节点支持数也能打到万级。但是其对设备有特殊要求。

  • HDFS

HDFS是Hadoop内置的分布式文件系统,之前也有过介绍。HDFS最大的优势就是价格低廉,因此也使用极为广泛。并且其高可靠性,高容错性也让使用者非常信赖。虽然HDFS的存储级别也在PB以上,但是对于小文件过多的情况HDFS不能很好的支持。

  • QFS

QFS和HDFS类似,都是为了解决高效顺序读写大量数据的问题。但是QFS在性能上优于HDFS,读写效率提升综合越60现在QFS还比较小众,没有经过大量的使用测试,因此还不能用于大规模的生产环境。

常见分布式文件系统大盘点,想了解大数据先从存储开始

  • GlusterFS

GlusterFS也是一个PB级别的集群文件系统,其思想是将集群内所有服务器的存储空间汇到一个大的网络系统上。这样做最大的特点就是无中心,不会有单点故障。

  • Alluxio

Alluxio是第一个基于内存的分布式文件系统,因此其相应速度也会超出普通的分布式文件系统很多,例如HDFS就比它慢数百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中国人开发的,文档都是中文的,对于被英文文档困扰很久的小伙伴绝对是福音。

常见分布式文件系统大盘点,想了解大数据先从存储开始

  • Ceph

Ceph也是一个没有单点故障的分布式文件系统,Ceph的每个节点上都有一小部分资源用于计算节点的数据信息,从而非常优秀的实现负载均衡。

  • PVFS

PVFS是一个并行虚拟文件系统,他能很好的支持linux上的原声命令和工具,例如rm、dd、cat等。但是PSFS是单管理节点的,因此存在单点故障,并且在启动后无法灵活的修改。

常见分布式文件系统大盘点,想了解大数据先从存储开始

想学习更多大数据知识欢迎关注小鸟,转发评论收藏然后私信小鸟,有机会领取大数据入门教程一份。关注小鸟,福利多多。

推荐阅读

    计算机蓝屏故障的计算机蓝屏解决方案

    计算机蓝屏故障的计算机蓝屏解决方案,,电脑蓝屏电脑故障经常使用电脑的朋友经常遇到,因为电脑蓝屏是一个非常普遍的现象,所以很难预测,什么时

    如何排除光驱的故障

    如何排除光驱的故障,,光盘由机械部件、电子元器件和光学元件三部分组成。使用和维护时,它比普通软盘驱动器和硬盘更复杂,故障率高。定位故障

    的故障_计算机解决无法打印文档

    的故障_计算机解决无法打印文档,,核心提示:最近,打印机出现了一个奇怪的现象,在打印正常之前,打印机不能打印最近的突然,提示发送打印作业,计算

    针灸科设置|针灸科常见操作

    针灸科设置|针灸科常见操作,,1. 针灸科常见操作⒈临床实践技能(临床实际本领)考核 ⑴基本操作:①中医四诊、针灸、推拿、拔罐等中医临床技术;

    电脑开机声音如何判断故障?

    电脑开机声音如何判断故障?,故障,声音,系统,台式机主机主板上如果安装有小蜂鸣器,在电脑出现故障时会发出报警,通过报警判断故障时应考虑当前

    造成显卡故障有哪些原因?

    造成显卡故障有哪些原因?,显卡,兼容,主板,显卡 故障, 造成显卡故障的原因有很多,有软件和硬盘两方面的因素。软件方面, 由于显卡的驱动程序

    三常见BIOS故障排除解决方案

    三常见BIOS故障排除解决方案,,笔记本电脑如何长时间出现黑屏为什么为什么如何删除和修改旧IBM笔记本电脑BIOS设置中的密码我想你会与这些

    计算机正常运行中死机故障的解决

    计算机正常运行中死机故障的解决,,通常有三个问题,如黑屏、花屏和蓝屏。 故障1:散热 拆卸机箱、使用皮老虎、冷发等工具来清理机箱内的灰尘

    笔记本电脑常见硬件故障分析

    笔记本电脑常见硬件故障分析,,1。电脑非电(功率指示灯不亮)笔记本电脑脑电现象的处理方法,可按以下顺序检测: (1)首先检查适配器是否正确连接

    解决U盘的故障,点击右键打开U盘。

    解决U盘的故障,点击右键打开U盘。,,核心提示:有些朋友会发现,当你使用U盘时,你是U盘,但是这次你不能打开它,你甚至不知道为什么。事实上,计算机中

    计算机故障排除方法——键盘

    计算机故障排除方法——键盘,,键盘 在使用键盘的过程中,故障的表现形式多种多样,其原因也很多,接触不良、钥匙机械故障、逻辑电路故障、焊