2025年cephadm部署ceph集群（ceph集群部署工具）

大家好，我是讯享网，很高兴认识大家。

 <p id="main-toc"><strong>目录</strong></p>

讯享网

一、环境准备

1、准备4台centos服务器

2、配置ceph源

3、配置主机名解析和SSH互信

4、NTP时间同步

二、ceph集群部署

1、安装ceph组件

2、部署MON集群

3、部署OSD集群

主机 主机名 IP 备注客户端 client 192.168.2.10 关闭selinux和firewalld OSD+MON node1 192.168.2.20

关闭selinux和firewalld

添加2块磁盘，sdb和sdc

OSD+MON node2 192.168.2.30

关闭selinux和firewalld

添加2块磁盘，sdb和sdc

OSD+MON node3 192.168.2.40

关闭selinux和firewalld

添加2块磁盘，sdb和sdc

补充说明：Ceph组件

OSDs：存储设备
Monitors：集群监控组件
RadosGeteway（RGW）：对象存储网关
MDSs：存放文件系统的元数据（对象存储和块存储不需要该组件）
Client：ceph客户端

本次环境，本次环境需要1台服务器作为客户端，3台服务器作为OSD存储，3台作为Monitor集群监控，为节省服务器，将OSD和Monitor共享部署在一台服务器上，集群拓扑如下：

讯享网

如上图，客户端只是通过MON服务器找到map，map记录的是OSD存储信息，当通过map找到OSD存储信息后，client端是直接根据map访问OSD存储服务器的，不会再经过MON服务器，所以不存在MON导致性能瓶颈的问题。

离线ceph iso文件可下载：

链接：https://pan.baidu.com/s/1BNkLkhiQzXcTaSaWRM8fpA?pwd=1234
提取码：1234
将ceph iso挂载到本地，会有三个仓库：

对应配置本地ceph安装源：

讯享网

讯享网

如上图，本地安装源添加成功，4台主机都做如上添加ceph源操作。

（1）配置主机名解析

讯享网

（2）配置SSH互信

非交互生成密钥对

发布密钥到各节点主机（包括自己）

讯享网

Client做时间服务器，所有node主机与服务器同步时间

讯享网

配置node节点，向client进行时间同步

讯享网

讯享网

在node1安装ceph-deploy脚本：

给所有node节点安装ceph所有组件：

讯享网

（1）初始化MON配置（仅node1操作）

主配置文件为ceph.conf（在ceph-cluster当前目录下）

如上图，会在node1生成如上配置文件。

如上图，ceph.conf里记录了mon集群节点信息。

（2）配置并启动ceph-mon服务（仅node1操作）

（配置文件被拷贝到/etc/ceph/ceph.conf）

讯享网

如上图可以看到，会自动远程所有节点主机，先拷贝主配置文件至/etc/ceph目录，然后启动各节点ceph-mon服务。

【常见错误】：

如果提示如下信息：

[node2][DEBUG] write cluster configuration to /etc/ceph/{cluster}.conf

[ceph_deploy.config][ERROR] RuntimeError：config file

/etc/ceph/ceph.conf exists with different content; use --overwrite-conf to overwrite

解决方式：

说明目标主机已经有ceph.conf配置文件，而且内容和当前目录的配置文件不一样，如果需要覆盖则使用--overwrite-conf选项

如：[root@node1 ceph-cluster]# ceph-deploy --overwrite-conf mon create-initial

如上图，其中：ceph.conf是主配置文件， ceph.client.admin.keyring文件存放的是ceph的用户名和密码。

查看各节点ceph-mon服务启动状态：

讯享网

查看整个ceph集群状态：

如下图，集群监控状态目前是error，因为制作了monitor，还没做osd，但是可以看到目前已经有3个节点在monitor集群里：

（1）清空磁盘并创建分区表（仅在node1操作）

讯享网

（2）启动OSD服务、共享OSD磁盘（仅在node1操作）

常见错误：

如果提示错误信息：[ceph_deploy][ERROR]RuntimeError:bootstrap-osd keyring not found;run ‘gatherkeys’

解决方案：

[root@node1 ceph-cluster]# ceph-deploy gatherkeys node1 node2 node3

（3）检查ceph集群状态