分布式文件服务介绍

文章目录
  1. 1. 云存储[编辑]
  2. 2. 基于对象的文件系统[编辑]
  3. 3. 对象存储系统[编辑]
  4. 4. 混合存储[编辑]
  5. 5. “俘虏”对象存储[编辑]
  6. 6. 基于对象的存储设备[编辑]

对象、文件和块存储:有什么区别? | IBM

什么是对象存储? - 对象 vs. 文件 vs. 块 | NetApp

文件存储、块存储还是对象存储?

对象存储

没有结构的文件可以是图片,日志,视频,音频。所有的对象处于同一层级,没有文件存储那个月的文件夹或者子目录,此外,对象存储不会将所有数据一起存储在一个文件中。对象还包含元数据,这是有关有助于处理和可用性的文件的信息。用户可以使用对象存储设置固定键元数据的值,或者他们可以为与对象关联的自定义元数据创建键和值。

文件存储 role,group,user,promession

文件存储就是原始的,将数据一起保存单个文件中,文件拓展名内心有创建文件和文件类型确定,文件可以存储在NAS(网络附加存储)设备上

块存储

将数据拆分为固定的数据块,使用唯一标识符单独存储,这些块可以存储在不同的环境中,当用户检索一个块时存储系统将这些块重新组合成一个单元,块存储是硬盘驱动器

对象存储在维基百科上的部分介绍

云存储[编辑]

主条目:云存储

市场上可用的绝大多数云存储都是对象存储架构。一些值得注意的例子是2006 年 3 月首次亮相的Amazon Web Services S3Microsoft Azure Blob Storage、Rackspace Files(其代码于 2010 年捐赠给 Openstack 项目并以OpenStack Swift的形式发布)和2010 年 5 月发布的Google Cloud Storage

基于对象的文件系统[编辑]

一些分布式文件系统使用基于对象的架构,其中文件元数据存储在元数据服务器中,文件数据存储在对象存储服务器中。文件系统客户端软件与不同的服务器交互,并将它们抽象为用户和应用程序呈现完整的文件系统。

对象存储系统[编辑]

对象存储的一些早期版本被用于归档,因为实现是针对数据服务进行优化的,比如不变性,而不是性能。EMC Centera和 Hitachi HCP(以前称为 HCAP)是两种常用的归档对象存储产品。另一个例子是 Quantum Lattus 对象存储平台。

更多通用的对象存储系统在 2008 年左右进入市场。在雅虎邮箱等 Web 应用程序中“专属”存储系统的惊人增长以及云存储的早期成功的诱惑下,对象存储系统承诺了云的规模和功能存储,能够在企业内或有抱负的云存储服务提供商处部署系统。

混合存储[编辑]

一些对象存储系统支持统一文件和对象 (UFO) 存储,允许一些客户端将对象存储在存储系统上,同时其他客户端将文件存储在同一存储系统上。虽然由于与混合旋转磁盘和闪存存储混淆,“混合存储”不是这个概念被广泛接受的术语,但在某些对象存储产品中可以使用 [16]对同一组数据的互操作接口。

“俘虏”对象存储[编辑]

当对象存储产品没有商用或用例非常具体时,一些大型互联网公司开发了自己的软件。Facebook 著名地发明了他们自己的对象存储软件,代号为 Haystack,以有效地满足他们特殊的大规模照片管理需求。[17]

基于对象的存储设备[编辑]

协议和设备层的对象存储是 20 年前提出的[*模糊] ,并在近 10 年前被批准用于SCSI命令集[*模糊],称为“基于对象的存储设备命令”(OSD),[18]然而,它有直到希捷 Kinetic 开放式存储平台开发后才投入生产。[19] [20]对象存储设备 的SCSI命令集是由 SNIA 的一个工作组为国际信息技术标准委员会(INCITS) 的 T10 委员会开发的。[21] T10 负责所有 SCSI 标准。

如何选择最佳 Kubernetes 存储?

Kubernetes — Storage Overview — PV, PVC and Storage Classo | Medium
目前流行开源分布式存储系统的优劣对比分析 - 墨天轮

分布式服务的简单理解

数据库存储选型经验总结

主流分布式文件系统选型,写得太好了! - 知乎

分布式文件系统架构对比_架构_Davies_InfoQ精选文章

对象存储、文件存储、块存储的区别和联系 | Zollty’s Blog

目前文件服务器分为原生云大数据之前和之后,原生云主要是应对当前大量非结构数据存储的需求,同时支持的对象存储(oss,amazon s3),文件存储实现((posix),块存储()

原生云之前的fastdfs,

目前排除hdfs原因如下

1 HDFS的块状存在机制,其实是不太适合小文件的,但文件服务器和网盘的场景,很大程度上会出现大量的小文件,那么HDFS在IO这块并不是优势,这样效率会很低,并且会消耗大量的主节点内存,致命伤。

2 HDFS并不支持随机写,这对于文件存储模型来说也是不适合的。

3 HDFS的优势并不在高吞吐,所以如果是频繁读写的文件存储场景,对于他来说也是不适合的。 其实Hadoop的HDFS之所以出名,并不是单独作为文件系统而出名的,而是在于Hadoop的整套解决方案。