转载

Filecoin大集群如何解决PB级数据存储和灾备?

随着Filecoin热度的不断提升,越来越多的圈外玩家入场。参与Filecoin挖矿的集群规模不断扩大,大矿工集群支持的数据存储空间由TB级拓展到PB。

高效、低风险的管理PB级数据将是大矿工长期收益的重要保障。

Ceph存储将是首选方案。

什么是ceph存储?

Ceph是当前非常流行的开源分布式存储系统,具有高扩展性、高性能、高可靠性等优点,同时提供块存储服务(RBD)、对象存储服务(RGW)以及文件系统存储服务(Cephfs)。

多台存储机器安装Ceph各单元以后,即组建为一个Ceph存储集群。当集群开始存储数据时,Ceph会充分利用存储节点的计算能力,高效科学的分配数据的存储位置,实现数据在存储集群内的所有硬盘上分布均衡。

Ceph 消除了对存储系统对单一中心节点的依赖,实现了数据存储无中心结构的设计理念。

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

Ceph存储架构图

Ceph存储包含多个构成单元,以下为几个核心单元的定义与功能:

  • OSD:全称Object Storage Device,Ceph对象存储设备,可以将一块硬盘作为一个OSD,一个Ceph集群的OSD可以灵活增减。

  • Monitor:Ceph集群内负责监控集群各构成单元状态的进程,集群内所有节点都向 Monitor 节点报告状态以及每个状态变化的信息。

  • MDS:全称Ceph Metadata Server,是Ceph FS服务依赖的元数据服务。负责跟踪文件层次结构,存储和管理 Ceph 存储的元数据。

  • Object:Ceph最底层的存储单元是Object对象,每个Object包含元数据和原始数据。

  • CRUSH:Ceph使用的数据分布算法,类似一致性哈希,让数据合理的分配到OSD。

Ceph存储的结构特性,使得数据存储集群可以无限拓展,同时也降低单一节点或单一硬盘故障带来的数据丢失风险。Ceph存储逐步发展成为OpenStack(云计算管理平台,由美国航天局发起的开源项目)的主流后端存储。

为什么要选用Ceph存储?

目前,Filecoin挖矿已经呈现集群化、大规模化、专业化。Filecoin的存储服务器密封扇区后,是需要将数据在集群内做本地化存储的。

为什么Filecoin集群需要选择走Ceph存储呢?我们首先确定一下Filecoin集群在数据存储与安全性方面的可能会面临的核心问题:

1、Filecoin集群开始挖矿后,密封数据量将呈现线性增长,初期密封数据量小,随着算力增长,对存储空间的需求也将呈现线性增长,存储空间需要灵活低成本弹性拓展,并且支持PB级或EB级数据量拓展。

2、为降低数据丢失的惩罚风险,需要降低坏盘率,同时丢失数据能够快速自动恢复。

3、为降低单存储节点故障带来的整体性风险,存储集群需要尽可能采用分布式架构。

基于以上Filecoin集群挖矿的需求,Ceph存储将是不二选择。Ceph存储是一种开源的存储架构,具有以下特点:

高性能

  • 采用Crush算法,数据分布均衡,并行度高(不是传统的集中式存储元数据寻址)

  • 能够支持上千个存储节点的规模,支持 PB 甚至 EB 级的数据。

高可用性

  • 可依据风险承受能力灵活设置副本数。

  • 支持故障域分隔,数据强一致性。

  • 多种故障场景自动进行修复自愈。

  • 没有单点故障,自动管理。

高可扩展性

  • 没有中心节点,所有存储节点均对等

  • 扩展弹性灵活,扩容与缩容只需增减硬盘即可。

  • 节点数增加,数据的访问带宽也线性增加

Ceph存储本身自带特性天然能满足Filecon大规模集群的存储需求:PB级存储空间弹性拓展、密封后数据的多重备份、坏盘数据的自动修复等。

在Filecoin挖矿机制以及收益模型的背景下,如果说高性能计算集群是Filecoin挖矿收益的尖兵,那么Ceph存储集群就为就是保障Filecoin收益的盾牌。有Ceph集群为数据保驾护航,Filecoin集群收益稳稳的。

如何快速搭建Ceph存储集群?

搭建Ceph存储的过程,可以在网上找到大量的教程,在此不重点介绍。星际鑫航技术团队在此前手动搭建小集群的Ceph存储时,深感过程的繁琐,而且,有很多步骤都需要重复执行。

如果你有10台12盘位的存储服务器,意味着很多步骤要重复操作120次(多项操作是针对硬盘层面),这样的重复不仅仅会耗费时间,无法满足存储空间快速弹性拓展的需求;而且人工的重复操作也会增加出错的概率,从而影响整个Ceph存储集群的稳定性。

如何快速便捷的搭建Ceph存储集群,会是Filecoin集群管理的一大刚需。Gamma OS为更好的服务于Filecoin集群的运维管理,我们基于对Ceph存储的深入研究以及Filecoin集群挖矿的实际需求分析,推出定制化Ceph存储集群自动化搭建功能

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

通过Gamma OS的Filecoin集群的扩容以及存储集群的维护将变得更便捷,更智能,需求响应更快速。

星际鑫航面向Filecoin对ceph存储做了大概40多项定向优化。在此,简单说几个我们的Filecoin定制版Ceph存储的优化点:

  1. 坏盘后,数据恢复优先级调整(提高优先级,加快数据恢复的速度)

  2. OSD一次可写入数据的最大值优化,默认一次写入90MB数据,改为512MB(匹配大规模集群的快速增长)

  3. 存储集群默认副本数(可根据数据丢失风险承受能力与成本敏感度灵活设置)

   ……

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

再来晒一下我们通过Gamma OS新增的Ceph存储集群搭建功能,不到半个小时就实现了36台存储服务器432个OSD的创建(如果手动完成这个工作,一个专业的技术人员至少需要2天时间,过程中大概率会出现失误)。

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

通过Gamma OS内置“ceph存储”搭建3PB级别存储集群

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

Gamma OS批量安装执行ceph存储客户端

以上即为星际鑫航针对Filecoin集群推出的Ceph存储功能,此项功能对于大规模Filecoin集群的存储空间弹性拓展、降低坏盘带来的惩罚风险带来极大的帮助,目前已成为行业内filecoin大集群的首选方案。(欢迎关注“星际鑫航”)

正文到此结束
本文目录