分布式文件存储

文章目录
  1. 1. 文件存储选型
    1. 1.1. 专业名称
    2. 1.2. 技术选型

文件存储选型

专业名称

对象存储、文件存储、块存储的区别和联系 | Zollty’s Blog

文件系统了解及对比选型 | 笔记

目前主要存储的种类对象存储,文件存储,块存储。需要使用

对象存储:是目前流行的存储服务也是云服务厂商提供的类似于Amazon 的 s3(Simple Storage Service ) 和阿里云对象存储OSS(Object Storage Service)

文件存储:狭义理解 Linux 实现POSIX接口,能挂载在Linux上,FTP、NFS服务器SAMBA

块存储: 磁盘阵列,硬盘 ,可能会使用RAID NAS这种来实现数据的冗余备份

存储类型 介绍
对象存储 类似于s3,主要是存储静态的数据,不受扩展不受元数据约束限制的块设备
文件存储 通常是实现了POSIX接口,能挂载librados,libcephfs
块存储 磁盘阵列,硬盘

通常情况下云服务厂商会有数据容灾( 同城人员存储,跨区域复制,合规保留策略,版本控制功能),数据加密,权限和访问(用户级别资源隔离,防盗链,访问控制ACL)

分布式 –>容错冗余备份 –>方便拓展 –>稳定性->速度(磁盘io,网络io,软件优化,服务器CPU等硬件)

  1. 是否要兼容目前k8s环境

  2. 提供restful接口

  3. 目前文件主要为零散文件和打包后的大文件

  4. 稳定性和调试是否方便

技术选型

系统 文件元数据 文件内容读取 POSIX REST API 针对大量小文件进行了优化
SeaweedFS 查找卷 ID,可缓存 O(1) 磁盘寻道 是的 是的
SeaweedFS Filer 线性可扩展,可定制 O(1) 磁盘寻道 FUSE 是的 是的
GlusterFS 散列 FUSE,NFS
Ceph 哈希+规则 FUSE 是的
MooseFS 在记忆中 FUSE
MinIO 每个文件的单独元文件 是的

minio: 掀桌子的 MinIO - 纯真年代

architecture_diagram