cephfs搭建（cephfs使用）

科技前沿 • 2025-04-27 22:37 • 阅读 64

大家好，我是讯享网，很高兴认识大家。

 <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg>

讯享网

讯享网

1.1 cephfs的架构图

在这里插入图片描述
讯享网

2.1 下载部署cephfs（mds)服务的安装包

2.2创建cephFS metadata和data存储池

讯享网

2.3在部署节点上创建cephFS文件系统并验证

2.4 创建客户端账户

讯享网

2.5 客户端安装ceph

2.6同步客户端认证文件

讯享网

客户端挂载有两种方式，内核空间和用户空间，其中内核空间挂载需要系统内核支持ceph模块，用户空间挂载需要安装ceph-fuse

3.1 客户端使用内核空间挂载ceph-fs

3.1.1客户端通过key文件挂载

3.1.2客户端通过密钥key挂载

讯享网

3.2用户空间挂载ceph-fs

如果内核版本比较低而没有ceph模块，那么可以安装ceph-fuse挂载，但是推荐使用内核模块挂载。

注意：我用的是ubuntu1804系统内核支持ceph.ko模块挂载cephfs文件系统故无需安装ceph-fuse

4.1 ceph mds高可用的作用

ceph mds作为ceph的访问入口，需要实现高性能及数据备份，假设启动4个MDS进程，设置2个Rank。这时候有2个MDS进程会分配给两个Rank，还剩下2个MDS进程分别作为另外两个的备份。

在这里插入图片描述

mds_standby_replay：值为 true 或 false，true 表示开启 replay 模式，这种模式下主 MDS
内的数量将实时与从 MDS 同步，如果主宕机，从可以快速的切换。如果为 false 只有宕机
的时候才去同步数据，这样会有一段时间的中断。
mds_standby_for_name：设置当前 MDS 进程只用于备份于指定名称的 MDS。
mds_standby_for_rank：设置当前 MDS 进程只用于备份于哪个 Rank，通常为 Rank 编号。
另外在存在之个 CephFS 文件系统中，还可以使用 mds_standby_for_fscid 参数来为指定不
同的文件系统。
mds_standby_for_fscid：指定 CephFS 文件系统 ID，需要联合 mds_standby_for_rank 生
效，如果设置 mds_standby_for_rank，那么就是用于指定文件系统的指定 Rank，如果没有
设置，就是指定文件系统的所有 Rank。

4.2搭建MDS高可用

ceph-mgr2 和 ceph-mon1 和 ceph-mon2 作为 mds 服务角色添加至 ceph 集群，最后实两主两备的 mds 高可用和高性能结构

4.2.1 安装mds服务

注意：安装前要查看存储的状态和当前MDS服务的状态

讯享网

目前的状态是 ceph-mgr1 和 ceph-mon1 分别是 active 状态，ceph-mon2 和 ceph-mgr2
分别处于 standby 状态，现在可以将 ceph-mgr2 设置为 ceph-mgr1 的 standby，将
ceph-mon2 设置为 ceph-mon1 的 standby，以实现每个主都有一个固定备份角色的结构，
则修改配置文件如下：

通过 ganesha 将 cephfs 通过 NFS 协议共享使用。

https://www.server-world.info/en/note?os=Ubuntu_20.04&p=ceph15&f=8

6.1服务端配置

讯享网

6.2客户端挂载测试

讯享网