文件存储选型
专业名称
对象存储、文件存储、块存储的区别和联系 | Zollty’s Blog
目前主要存储的种类对象存储,文件存储,块存储。需要使用
对象存储:是目前流行的存储服务也是云服务厂商提供的类似于Amazon 的 s3(Simple Storage Service ) 和阿里云对象存储OSS(Object Storage Service)
文件存储:狭义理解 Linux 实现POSIX接口,能挂载在Linux上,FTP、NFS服务器SAMBA
块存储: 磁盘阵列,硬盘 ,可能会使用RAID NAS这种来实现数据的冗余备份
存储类型 | 介绍 |
---|---|
对象存储 | 类似于s3,主要是存储静态的数据,不受扩展不受元数据约束限制的块设备 |
文件存储 | 通常是实现了POSIX接口,能挂载librados,libcephfs |
块存储 | 磁盘阵列,硬盘 |
通常情况下云服务厂商会有数据容灾( 同城人员存储,跨区域复制,合规保留策略,版本控制功能),数据加密,权限和访问(用户级别资源隔离,防盗链,访问控制ACL)
分布式 –>容错冗余备份 –>方便拓展 –>稳定性->速度(磁盘io,网络io,软件优化,服务器CPU等硬件)
是否要兼容目前k8s环境
提供restful接口
目前文件主要为零散文件和打包后的大文件
稳定性和调试是否方便
技术选型
系统 | 文件元数据 | 文件内容读取 | POSIX | REST API | 针对大量小文件进行了优化 |
---|---|---|---|---|---|
SeaweedFS | 查找卷 ID,可缓存 | O(1) 磁盘寻道 | 是的 | 是的 | |
SeaweedFS Filer | 线性可扩展,可定制 | O(1) 磁盘寻道 | FUSE | 是的 | 是的 |
GlusterFS | 散列 | FUSE,NFS | |||
Ceph | 哈希+规则 | FUSE | 是的 | ||
MooseFS | 在记忆中 | FUSE | 不 | ||
MinIO | 每个文件的单独元文件 | 是的 | 不 |
minio: 掀桌子的 MinIO - 纯真年代