当前位置: 代码迷 >> 综合 >> 分布式文件系统的未来
  详细解决方案

分布式文件系统的未来

热度:17   发布时间:2024-01-15 17:13:48.0

几点说明:初稿发表在2016年6月,时过境迁,期间发生了很多变化,也产生了很多新的事物,原文观点经过时间验证,有许多不对之处。最新于2022年2月重新审视和检查,对当年的论断也做个反思和检查。

对于目前经典的几种分布式文件系统,主要有Lustre、GPFS、Ceph和Glusterfs,各自技术上细致的优缺点网上也有很多,此文就再不赘述。对于在MapReduce计算领域兴起的GFS和HDFS,更多的是可以归为接口类,是满足特定应用的非传统意义的文件系统(传统文件系统一般指支持POSIX文件操作的)。很多人认为随着HDFS等的兴起,传统分布式文件系统趋向于没落,但从新版GPFS和Ceph等看,传统的也在不断进步和完善,甚至由于架构的完整性优势,在支持Hadoop等新型运算上,其效率一点也不低于HDFS,这在ceph上表现更为突出。对于在高性能计算领域应用最广的lustre文件系统,Intel也推出了商业版,并通过自己开发的商业模块支持hadoop环境。自RedHat收购Gluster后,Glusterfs也侧重在往云和容器方向,由于其代码的简洁性,深得一些人喜爱。

作为分布式文件系统领域内的一名技术研发人员,随着对各家分布式文件系统的了解和熟悉,隐约有些自己的看法,借此文也发表些自己对这些分布式文件系统未来发展的看法。

先说Lustre,它在2000年左右开源,当时正是对象存储风风火火之时,在推出到1.6时,在高性能领域内的用户就很可观了,国内好多超算的存储系统正是基于此。现在已经到2.8,饱受诟病的元数据服务也推出了多元数据服务功能。但优点的延长线往往是其缺点,其追求复杂功能的结果就是代码复杂,稳定性差。远观Lustre这艘船,浑身是破洞和补丁,虽然也有很多辛勤的工程师在维护着它继续向前,但速度已勉为其难,搁浅应该是迟早的事了。

再说GPFS,一直认为是个好东西,IBM在大机技术上的领先时没得说的,就是后来的脑残CEO先是转软件、后是转云服务,基本就自废武功了。目前对于新的GPFS研发团队,从种种现象看,也岌岌可危,如果早十年能将此块独立,估计结果不至于如此。(更新:IBM在GPFS基础上推出了Spectrum,支持多种新型接口和方式,延续了GPFS的血统。之前这点预测还是偏窄,其他信息和因素获取不到位)

对于Glustrefs,架构和代码是如此简洁,应该是受益于FUSE技术。但基于FUSE技术,分布式文件系统的一致性很难保证,结果方向一转,往NFS去了,但这明显不是解决问题的办法。除了努力贴上云和容器,自身的优点没有保持,缺点也不思改进,如果是避难就热点的态度,估计未来也悬。(更新:FUSE上目前有很多优化措施,一定程度上提升了FUSE文件系统的性能,也有抛弃FUSE,使用intercept库等方法提速)

还有ceph成为了最近的热点,其实开始在高性能计算领域,Ceph一直很失落,但在云和大数据来临之际,其发展迅速。主要是其独特的架构,撞上了云这只耗子。可以预见的是,ceph在此领域内将是风光无限,从国内的XSKY团队的研发传来的消息,也令人鼓舞。(ceph的优点是冗余,缺点也是冗余,虽然有纠删码等优化。ceph也有支持HPC的尝试,目前看性能还是不行)

对于传统分布式文件系统的未来,以上几种我认为都将被淘汰(此处断定草率了,螺旋迭代在现有领域的生命力还是顽强),当然不包括到其他领域大放光彩。新出现的王者,应该架构上有更好的设计,代码也是简洁明了,功能和性能都会杠杠的,因为这些的基础已经出现,SPDK会让存储服务实现得高效简洁,成熟和高效的分布式内存数据库也会被新的系统借鉴或采用。(tectonic的出现是个苗头,但全新的DFS目前还没出现,目前还处于螺旋式迭代阶段)

自从业界推出IO500以来,也有gekkofs等,此种性能目标明确,抛弃一切低效接口和锁等,从另外一个角度诠释了文件系统性能提升方法,对新文件系统设计有很大的意义。

这些观点也是空余闲暇之时,天马行空式的胡思乱想,不妨贴出来与大家一起共同探讨。

  相关解决方案