×

分布式文件系统等级

分布式文件系统等级的简单介绍

admin admin 发表于2023-04-03 15:55:09 浏览44 评论0

抢沙发发表评论

本文目录一览:

Ceph:一个 Linux PB 级分布式文件系统

Ceph 最初是一项关于存储系统的 PhD 研究项目,由 Sage Weil 在 University of California, Santa Cruz(UCSC)实施。但是到了 2010 年 3 月底,您可以在主线 Linux 内核(从 2.6.34 版开始)中找到 Ceph 的身影。虽然 Ceph 可能还不适用于生产环境,但它对测试目的还是非常有用的。本文探讨了 Ceph 文件系统及其独有的功能,这些功能让它成为可扩展分布式存储的最有吸引力的备选。

“Ceph” 对一个文件系统来说是个奇怪的名字,它打破了大多数人遵循的典型缩写趋势。这个名字和 UCSC(Ceph 的诞生地)的吉祥物有关,这个吉祥物是 “Sammy”,一个香蕉色的蛞蝓,就是头足类中无壳的软体动物。这些有多触角的头足类动物,提供了一个分布式文件系统的最形象比喻。

开发一个分布式文件系统需要多方努力,但是如果能准确地解决问题,它就是无价的。Ceph 的目标简单地定义为:

不幸的是,这些目标之间会互相竞争(例如,可扩展性会降低或者抑制性能或者影响可靠性)。Ceph 开发了一些非常有趣的概念(例如,动态元数据分区,数据分布和复制),这些概念在本文中只进行简短地探讨。Ceph 的设计还包括保护单一点故障的容错功能,它假设大规模(PB 级存储)存储故障是常见现象而不是例外情况。最后,它的设计并没有假设某种特殊工作负载,但是包括适应变化的工作负载,提供最佳性能的能力。它利用 POSIX 的兼容性完成所有这些任务,允许它对当前依赖 POSIX 语义(通过以 Ceph 为目标的改进)的应用进行透明的部署。最后,Ceph 是开源分布式存储,也是主线 Linux 内核(2.6.34)的一部分。-分布式文件系统等级

现在,让我们探讨一下 Ceph 的架构以及高端的核心要素。然后我会拓展到另一层次,说明 Ceph 中一些关键的方面,提供更详细的探讨。

Ceph 生态系统可以大致划分为四部分(见图 1):客户端(数据用户),元数据服务器(缓存和同步分布式元数据),一个对象存储集群(将数据和元数据作为对象存储,执行其他关键职能),以及最后的集群监视器(执行监视功能)。-分布式文件系统等级

如图 1 所示,客户使用元数据服务器,执行元数据操作(来确定数据位置)。元数据服务器管理数据位置,以及在何处存储新数据。值得注意的是,元数据存储在一个存储集群(标为 “元数据 I/O”)。实际的文件 I/O 发生在客户和对象存储集群之间。这样一来,更高层次的 POSIX 功能(例如,打开、关闭、重命名)就由元数据服务器管理,不过 POSIX 功能(例如读和写)则直接由对象存储集群管理。-分布式文件系统等级

另一个架构视图由图 2 提供。一系列服务器通过一个客户界面访问 Ceph 生态系统,这就明白了元数据服务器和对象级存储器之间的关系。分布式存储系统可以在一些层中查看,包括一个存储设备的格式(Extent and B-tree-based Object File System [EBOFS] 或者一个备选),还有一个设计用于管理数据复制,故障检测,恢复,以及随后的数据迁移的覆盖管理层,叫做 Reliable Autonomic Distributed Object Storage (RADOS)。最后,监视器用于识别组件故障,包括随后的通知。-分布式文件系统等级

了解了 Ceph 的概念架构之后,您可以挖掘到另一个层次,了解在 Ceph 中实现的主要组件。Ceph 和传统的文件系统之间的重要差异之一就是,它将智能都用在了生态环境而不是文件系统本身。

图 3 显示了一个简单的 Ceph 生态系统。Ceph Client 是 Ceph 文件系统的用户。Ceph Metadata Daemon 提供了元数据服务器,而 Ceph Object Storage Daemon 提供了实际存储(对数据和元数据两者)。最后,Ceph Monitor 提供了集群管理。要注意的是,Ceph 客户,对象存储端点,元数据服务器(根据文件系统的容量)可以有许多,而且至少有一对冗余的监视器。那么,这个文件系统是如何分布的呢?-分布式文件系统等级

早期版本的 Ceph 利用在 User SpacE(FUSE)的 Filesystems,它把文件系统推入到用户空间,还可以很大程度上简化其开发。但是今天,Ceph 已经被集成到主线内核,使其更快速,因为用户空间上下文交换机对文件系统 I/O 已经不再需要。-分布式文件系统等级

因为 Linux 显示文件系统的一个公共界面(通过虚拟文件系统交换机 [VFS]),Ceph 的用户透视图就是透明的。管理员的透视图肯定是不同的,考虑到很多服务器会包含存储系统这一潜在因素(要查看更多创建 Ceph 集群的信息,见 参考资料 部分)。从用户的角度看,他们访问大容量的存储系统,却不知道下面聚合成一个大容量的存储池的元数据服务器,监视器,还有独立的对象存储设备。用户只是简单地看到一个安装点,在这点上可以执行标准文件 I/O。-分布式文件系统等级

Ceph 文件系统 — 或者至少是客户端接口 — 在 Linux 内核中实现。值得注意的是,在大多数文件系统中,所有的控制和智能在内核的文件系统源本身中执行。但是,在 Ceph 中,文件系统的智能分布在节点上,这简化了客户端接口,并为 Ceph 提供了大规模(甚至动态)扩展能力。-分布式文件系统等级

Ceph 使用一个有趣的备选,而不是依赖分配列表(将磁盘上的块映射到指定文件的元数据)。Linux 透视图中的一个文件会分配到一个来自元数据服务器的 inode number(INO),对于文件这是一个唯一的标识符。然后文件被推入一些对象中(根据文件的大小)。使用 INO 和 object number(ONO),每个对象都分配到一个对象 ID(OID)。在 OID 上使用一个简单的哈希,每个对象都被分配到一个放置组。 放置组 (标识为 PGID)是一个对象的概念容器。最后,放置组到对象存储设备的映射是一个伪随机映射,使用一个叫做 Controlled Replication Under Scalable Hashing (CRUSH)的算法。这样一来,放置组(以及副本)到存储设备的映射就不用依赖任何元数据,而是依赖一个伪随机的映射函数。这种操作是理想的,因为它把存储的开销最小化,简化了分配和数据查询。-分布式文件系统等级

分配的最后组件是集群映射。 集群映射 是设备的有效表示,显示了存储集群。有了 PGID 和集群映射,您就可以定位任何对象。

元数据服务器(cmds)的工作就是管理文件系统的名称空间。虽然元数据和数据两者都存储在对象存储集群,但两者分别管理,支持可扩展性。事实上,元数据在一个元数据服务器集群上被进一步拆分,元数据服务器能够自适应地复制和分配名称空间,避免出现热点。如图 4 所示,元数据服务器管理名称空间部分,可以(为冗余和性能)进行重叠。元数据服务器到名称空间的映射在 Ceph 中使用动态子树逻辑分区执行,它允许 Ceph 对变化的工作负载进行调整(在元数据服务器之间迁移名称空间)同时保留性能的位置。-分布式文件系统等级

但是因为每个元数据服务器只是简单地管理客户端人口的名称空间,它的主要应用就是一个智能元数据缓存(因为实际的元数据最终存储在对象存储集群中)。进行写操作的元数据被缓存在一个短期的日志中,它最终还是被推入物理存储器中。这个动作允许元数据服务器将最近的元数据回馈给客户(这在元数据操作中很常见)。这个日志对故障恢复也很有用:如果元数据服务器发生故障,它的日志就会被重放,保证元数据安全存储在磁盘上。-分布式文件系统等级

元数据服务器管理 inode 空间,将文件名转变为元数据。元数据服务器将文件名转变为索引节点,文件大小,和 Ceph 客户端用于文件 I/O 的分段数据(布局)。

Ceph 包含实施集群映射管理的监视器,但是故障管理的一些要素是在对象存储本身中执行的。当对象存储设备发生故障或者新设备添加时,监视器就检测和维护一个有效的集群映射。这个功能按一种分布的方式执行,这种方式中映射升级可以和当前的流量通信。Ceph 使用 Paxos,它是一系列分布式共识算法。-分布式文件系统等级

和传统的对象存储类似,Ceph 存储节点不仅包括存储,还包括智能。传统的驱动是只响应来自启动者的命令的简单目标。但是对象存储设备是智能设备,它能作为目标和启动者,支持与其他对象存储设备的通信和合作。-分布式文件系统等级

从存储角度来看,Ceph 对象存储设备执行从对象到块的映射(在客户端的文件系统层中常常执行的任务)。这个动作允许本地实体以最佳方式决定怎样存储一个对象。Ceph 的早期版本在一个名为 EBOFS 的本地存储器上实现一个自定义低级文件系统。这个系统实现一个到底层存储的非标准接口,这个底层存储已针对对象语义和其他特性(例如对磁盘提交的异步通知)调优。今天,B-tree 文件系统(BTRFS)可以被用于存储节点,它已经实现了部分必要功能(例如嵌入式完整性)。-分布式文件系统等级

因为 Ceph 客户实现 CRUSH,而且对磁盘上的文件映射块一无所知,下面的存储设备就能安全地管理对象到块的映射。这允许存储节点复制数据(当发现一个设备出现故障时)。分配故障恢复也允许存储系统扩展,因为故障检测和恢复跨生态系统分配。Ceph 称其为 RADOS(见 图 3 )。-分布式文件系统等级

如果文件系统的动态和自适应特性不够,Ceph 还执行一些用户可视的有趣功能。用户可以创建快照,例如,在 Ceph 的任何子目录上(包括所有内容)。文件和容量计算可以在子目录级别上执行,它报告一个给定子目录(以及其包含的内容)的存储大小和文件数量。-分布式文件系统等级

虽然 Ceph 现在被集成在主线 Linux 内核中,但只是标识为实验性的。在这种状态下的文件系统对测试是有用的,但是对生产环境没有做好准备。但是考虑到 Ceph 加入到 Linux 内核的行列,还有其创建人想继续研发的动机,不久之后它应该就能用于解决您的海量存储需要了。-分布式文件系统等级

Ceph 在分布式文件系统空间中并不是唯一的,但它在管理大容量存储生态环境的方法上是独一无二的。分布式文件系统的其他例子包括 Google File System(GFS),General Parallel File System(GPFS),还有 Lustre,这只提到了一部分。Ceph 背后的想法为分布式文件系统提供了一个有趣的未来,因为海量级别存储导致了海量存储问题的唯一挑战。-分布式文件系统等级

当前主流分布式文件系统有哪些?各有什么优缺点?

目前几个主流的分布式文件系统除GPFS外,还有PVFS、Lustre、PanFS、GoogleFS等。

1.PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足:

1)单一管理节点:只有一个管理节点来管理元数据,当集群系统达到一定的规模之后,管理节点将可能出现过度繁忙的情况,这时管理节点将成为系统瓶颈;

2)对数据的存储缺乏容错机制:当某一I/O节点无法工作时,数据将出现不可用的情况;

3)静态配置:对PVFS的配置只能在启动前进行,一旦系统运行则不可再更改原先的配置。

2.Lustre文件系统是一个基于对象存储的分布式文件系统,此项目于1999年在Carnegie Mellon University启动,Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后,管理节点会成为Lustre系统中的瓶颈。-分布式文件系统等级

3.PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。

4.GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。

5.相对其它的文件系统,GPFS的主要优点有以下三点:

1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁,第一个获得锁的客户将负责维护相应共享对象的一致性管理,这减少了元数据服务器的负担;-分布式文件系统等级

2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;

3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突.

磁盘阵列 和 分布式文件系统有什么区别

磁盘阵列 和 分布式文件系统有什么区别

1、磁盘阵列(Redundant Arrays of Inexpensive Disks,RAID),有“价格便宜且多余的磁盘阵列”之意。原理是利用数组方式来作磁盘组,配合数据分散排列的设计,提升数据的安全性。磁盘阵列是由很多便宜、容量较小、稳定性较高、速度较慢磁盘,组合成一个大型的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。同时利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。磁盘阵列还能利用同位检查(Parity Check)的观念,在数组中任一颗硬盘故障时,仍可读出数据,在数据重构时,将数据经计算后重新置入新硬盘中。-分布式文件系统等级

2、分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外,对等特性允许一些系统扮演客户机和服务器的双重角色。例如,用户可以“发表”一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就象使用本地驱动器一样,下面是三个基本的分布式文件系统。使用分布式文件系统可以轻松定位和管理网络中的共享资源、使用统一的命名路径完成对所需资源院的访问、提供可靠的负载平衡、与FRS(文件复制服务)联合在多台服务器之间提供冗余、与windows权限集成以保证安全。-分布式文件系统等级

3、综上所述,磁盘阵列主要是以冗余备份来保障文件安全和快速访问,一般以本机不同磁盘或局域网内磁盘组成,而分布式文件系统将广泛分布在本机、局域网和广域网上各个不同物理存储空间的数据以一定逻辑形式组成的文件系统,提供的服务更多的是起到索引(指向)的作用,而又不必耗费很大的部署资源,顺应了云计算的发展方向。-分布式文件系统等级

电脑磁盘阵列和非磁盘阵列有什么区别

简称RAID(Redundant Arrays of Inexpensive Disks,RAID),有“价格便宜且多余的

”之意。其原理是利用数组方式来作磁盘组,配

据分散排列的设计,提升数据的安全性。

主要针对硬盘,在容量及速度上,无法跟上CPU及内存的发展,提出改善方法。磁盘阵列是由很多便宜、容量较小、稳定性较高、速度较慢磁盘,组合成一个大型的磁盘组,利用个别磁盘提供数据所产生的加成效果来提升整个磁盘系统的效能。同时,在储存数据时,利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上-分布式文件系统等级

磁盘阵列和硬盘阵列有什么区别?

是一个意思,通常称廉价磁盘冗余陈列RAID(RedundanAr ray of Inexpensive Disk)

网络文件系统NFS与分布式文件系统DFS究竟有什么区别

NFS server可以看作是一个FILE SERVER,它可以让你的PC通过网络将远端得NFS SERVER共享出来的档案MOUNT到自己的系统中,在CLIENT看来使用NFS的远端文件就象是在使用本地文件一样。 NFS协议从诞生到现在为止,已经有多个版本,如NFS V2(rfc1094),NFS V3(rfc1813)(最新的版本是V4(rfc3010)。 二、各NFS协议版本的主要区别 V3相对V2的主要区别: 1、文件尺寸 V2最大只支持32BIT的文件大小(4G),而NFS V3新增加了支持64BIT文件大小的技术。 2、文件传输尺寸 V3没有限定传输尺寸,V2最多只能设定为8k,可以使用-rsize and -wsize 来进行设定。 3、完整的信息返回 V3增加和完善了许多错误和成功信息的返回,对于服务器的设置和管理能带来很大好处。 4、增加了对TCP传输协议的支持 V2只提供了对UDP协议的支持,在一些高要求的网络环境中有很大限制,V3增加了对TCP协议的支持 *5、异步写入特性 6、改进了SERVER的mount性能 7、有更好的I/O WRITES 性能。 9、更强网络运行效能,使得网络运作更为有效。 10、更强的灾难恢复功能-分布式文件系统等级

主板上的磁盘阵列和磁盘阵列盒有什么区别

磁盘阵列盒主要用于外部存储和备份用,如果你的主板不支持RAID可以通过阵列盒来实现,主要用于扩展。

如果主板支持RAID,弄两道3块硬盘自己做就可以了!

因为在主板上集成RAID芯片要比另外从外部设备上弄RAID芯片、框架、转换器等成本要低。

请问”磁盘阵列”和”存储系统”有什么区别和联系?

你好,我是做存储行业的,就我个人的理解说一下这两个概念吧,仅供参考。

首先要明确磁盘阵列的概念,磁盘阵列是一种存储介质,说白了它就是一个堆硬盘形成的一块大硬盘,通过做RAID实现并行读写并通过数据校验保证数据的正确性和安全性。

而存储系统是一个大概念,一个典型的存储系统会分为业务层、备份层、数据保护层和最终的归档层:

根据业务层的业务种类,决定了你所用到的存储类型,是使用基于文件系统的NAS存储,还是使用基于数据库块操作的磁盘阵列;接下来在备份层结合备份软件,将业务数据备份到磁盘阵列或磁带中;在数据保护层中,将用到一些数据保护技术,如数据压缩、数据加密、重复数据删除等等;最后数据归档层中,将数据归档到磁带中。-分布式文件系统等级

磁盘阵列Rad 1和Rad 5有什么区别?

raid1追求安全不追求性能 只是个别的读取方面可能比单个盘性能要高 因为两个盘工作

raid0就是俩一起工作 读写性能容量都加倍 但是没安全措施

raid5就是raid0+raid1 又保证安全又保证性能

磁盘阵列和磁带库有什么区别?

磁带机

磁带机(Tape Drive)一般指单驱动器产品,通常由磁带驱动器和磁带构成,是一种经济、可靠、容量大、速度快的备份设备。这种产品采用高纠错能力编码技术和写后即读通道技术,可以大大提高数据备份的可靠性。根据装带方式的不同,一般分为手动装带磁带机和自动装带磁带机,即自动加载磁带机。-分布式文件系统等级

自动加载磁带机实际上是将磁带和磁带机有机结合组成的。自动加载磁带机是一个位于单机中的磁带驱动器和自动磁带更换装置,它可以从装有多盘磁带的磁带匣中拾取磁带并放入驱动器中,或执行相反的过程。它可以备份100GB-200GB或者更多的数据。自动加载磁带机能够支持例行备份过程,自动为每日的备份工作装载新的磁带。一个拥有工作组服务器的小公司可以使用自动加载磁带机来自动完成备份工作。-分布式文件系统等级

磁带库

磁带库是像自动加载磁带机一样的基于磁带的备份系统,它能够提供同样的基本自动备份和数据恢复功能,但同时具有更先进的技术特点。它的存储容量可达到数百PB(1pb=100万GB),可以实现连续备份、自动搜索磁带,也可以在驱动管理软件控制下实现智能恢复、实时监控和统计,整个数据存储备份过程完全摆脱了人工干涉。-分布式文件系统等级

磁盘阵列,简称盘阵,计算机行业使用的一种企业级存储系统。盘阵把多个磁盘组合成一个阵列,通过RAID和虚拟化等技术手段,作为一个单一的存储设备来使用。通过把数据分散在不同的物理磁盘中,盘阵可以减低数据的访问时间、提高访问速度;通过RAID等容错机制,它可以提高数据的安全性;另外,它还可以有效的利用磁盘空间。-分布式文件系统等级

要全面理解“磁盘阵列”,就还必须了解以下几个重要概念:

最大存储容量 是指磁盘阵列设备所能存储数据容量的极限,通俗的讲,就是磁盘阵列设备能够支持的最大硬盘数量乘以单个硬盘容量就是最大存储容量,其实这是个理论值。实际上这个数值还取决于所使用RAID(独立冗余磁盘整理)的级别,采用不同的RAID级别,有效的存储容量也就有所差别。通常,一般小型的磁盘阵列设备会支持几百GB的存储容量,适合中小型公司作为存储设备共享数据使用,而中高档的磁盘阵列设备应该支持T级别的容量(1TB = 1000GB)。-分布式文件系统等级

平均传输率 是指数据从磁盘阵列的硬盘里读出送到外部主机或其他地方的稳定速度,而不是突发速率,单位通常是Mb/s(兆位/秒)。这个数值取决于磁盘阵列所使用的外部主机通道和所用磁盘类型,通常使用SCSI硬盘作为阵列和FC(Fiber Channel)光纤主机通道的速率为最高,一般可达1000Mb/s以上。而采用IDE硬盘作为阵列的产品的速率就相对于较低,适合规模不大的用户群使用。-分布式文件系统等级

硬盘转速 是指硬盘内电机主轴的转动速度,单位是RPM(每分钟旋转次数)。其转速越高内部传输速率就越大。目前常见的IDE接口硬盘转速为5400RPM和7200RPM,而SCSI接口的硬盘的转速可达到10000RPM以上。如果是小型公司没有大量数据存储的话,用5400RPM或7200RPM的硬盘即可,而对于有大量数据要求的部门则最好选用高速SCSI硬盘,且具有热插拔的优点。-分布式文件系统等级

每台磁盘阵列设备都配备了一定数量的内存作为高速缓存使用,而且大多用户以后可以扩充。在磁盘阵列设备中,常见的内存类型由SDRAM(同步内存)、FLASH(闪存)等。不同的磁盘阵列产品出厂时配备的内存容量不同,一般为几十兆到数GB(1GB=1000MB)容量不等,这取决于磁盘阵列产品的应用范围,一般来讲,应用在小规模的局域网当中的磁盘阵列,如果只是应付几台设备的访问,64M以下内存容量即可。如果是上百个节点以上的访问,就得需要上G容量的内存。当然,这不是绝对的因素,磁盘阵列产品的综合性能发挥还取决于它的处理器能力、硬盘速度及其网络实际环境等因素的制约。总之,选购磁盘阵列产品时,应该综合考虑各个方面的性能参数。-分布式文件系统等级

MTBF,即平均无故障时间,英文全称是“Mean Time Beeen Failure”。是衡量一个产品(尤其是电器产品)的可靠性指标。单位为“小时”。它反映了产品的时间质量,是体现产品在规定时间内保持功能的一种能力。具体来说,是指相邻两次故障之间的平均工作时间,也称为平均故障间隔。它仅适用于可维修产品。同时也规定产品在总的使用阶段累计工作时间与故障次数的比值为MTBF。磁盘阵列产品一般MTBF不能低于50000小时。-分布式文件系统等级

磁盘阵列作为数据的存储设备,供网络用户使用,那么就需要磁盘阵列提供接口,和服务器主机或其他网络设备相连接,这个接口我们把它叫做主机通道或外接主机通道。现在大多数外接主机通道为Ultra2 SCSI和Ultra3 SCSI,部分产品由于和SAN(存储区域网络)连接具有FC(Fiber Channel光纤通道)接口。-分布式文件系统等级

通常,磁盘阵列有单主机通道磁盘阵列和多主机通道磁盘阵列之别: 单主机通道磁盘阵列只能接一台主机,多主机通道磁盘阵列可接多个主机系统,并同时使用,有很大的灵活扩充能力,可以群集(Cluster)的方式共用磁盘阵列。且大多数的阵列都支持73GB、36GB和18GB的硬盘,也有部分的阵列可以支持180GB的硬盘,并支持热插拔,其可支持的RAID级别有0、1(0+1)、3和5等。-分布式文件系统等级

分布式文件系统有哪些

GIT最有名了

磁盘阵列和双硬盘有什么区别

。。磁盘阵列原理是将硬盘数据按规则,同时写到两块或多块硬盘上保存(有RAID 0、1、5等模式),即相当硬盘并联同时协作工作,数据的读写速度相当叠加翻倍。这种模式下,每块硬盘中的数据都不是完整数据。双硬盘时,各自为独立工作状态,数据只保存在用户指定磁盘中,每次操作都是单一磁盘速度。-分布式文件系统等级

Linux里面ceph是什么?

Linux里面ceph

Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储,比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。-分布式文件系统等级

Ceph相比其它存储的优势点在于它不单单是存储,同时还充分利用了存储节点上的计算能力,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据分布均衡,同时由于Ceph的良好设计,采用了CRUSH算法、HASH环等方法,使得它不存在传统的单点故障的问题,且随着规模的扩大性能并不会受到影响。-分布式文件系统等级

HDFS分布式文件系统具有哪些优点

HDFS分布式文件系统具有以下优点:

支持超大文件

支持超大文件。超大文件在这里指的是几百M,几百GB,甚至几TB大小的文件。一般来说hadoop的文件系统会存储TB级别或者PB级别的数据。所以在企业的应用中,数据节点有可能有上千个。

检测和快速应对硬件故障

在集群的环境中,硬件故障是常见的问题。因为有上千台服务器连接在一起,这样会导致高故障率。因此故障检测和自动恢复是hdfs文件系统的一个设计目标。

流式数据访问

Hdfs的数据处理规模比较大,应用一次需要访问大量的数据,同时这些应用一般都是批量处理,而不是用户交互式处理。应用程序能以流的形式访问数据集。主要的是数据的吞吐量,而不是访问速度。

简化的一致性模型

大部分hdfs操作文件时,需要一次写入,多次读取。在hdfs中,一个文件一旦经过创建、写入、关闭后,一般就不需要修改了。这样简单的一致性模型,有利于提高吞吐量。

缺点

低延迟数据访问

低延迟数据。如和用户进行交互的应用,需要数据在毫秒或秒的范围内得到响应。由于hadoop针对高数据吞吐量做了优化,牺牲了获取数据的延迟,所以对于低延迟来说,不适合用hadoop来做。

大量的小文件

Hdfs支持超大的文件,是通过数据分布在数据节点,数据的元数据保存在名字节点上。名字节点的内存大小,决定了hdfs文件系统可保存的文件数量。虽然现在的系统内存都比较大,但大量的小文件还是会影响名字节点的性能。-分布式文件系统等级

多用户写入文件、修改文件

Hdfs的文件只能有一次写入,不支持写入,也不支持修改。只有这样数据的吞吐量才能大。

不支持超强的事务

没有像关系型数据库那样,对事务有强有力的支持。

dfs是什么意思?

dfs是分布式文件系统。

Microsoft文件分布系统 (Dfs) 是一个网络服务器组件,它能够使你更容易地在网络上查询和管理数据。分布式文件系统是将分布于不同电脑上的文件组合为单一的名称空间,并使得在网络上建立一个单一的、层次化多重文件服务器和服务器共享的工作更为方便的途径。-分布式文件系统等级

Microsoft分布式文件系统亦如其它文件系统一样对硬盘进行管理。文件系统提供对磁盘扇区集合的统一命名访问;而分布式文件系统则为服务器、共享和文件提供统一的命名规则和映射。

分布式文件系统的类型:

独立DFS根和域DFS根。独立DFS根和拓扑结构存储在单个计算机中,不提供容错功能,没有根目录级的DFS共享文件夹,只支持一级DFS链接。

基于域DFS根驻留在多个域控或成员服务器上,DFS的拓扑结构存储在活动目录中,因而可以在活动目录的各主域控制器之间进行复制,提供容错功能,可以有根目录级的DFS共享文件夹,可以有多级DFS链接。