本章目录:

0x00 基础介绍

Q: 传统的文件系统面临的问题与挑战?
描述: 在传统WEB应用中，前端、后端、以及其它API服务部署在同一台服务器，所有文件都作为静态资源访问，随着业务量的不断增长，久而久之，图片和文件等资源占用的空间变得越来越大。

随之带来了各种性能、管理与安全风险等问题，如下所示：

Q: 什么是分布式文件系统？
描述: 分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。客户端并非直接访问底层的数据存储区块，而是通过网络以特定的通信协议与服务器通信，借通信协议来限制客户端对于文件系统的访问。分布式文件存储利用多台存储服务器分担存储压力，利用跟踪服务器定位存储信息，不但提高了系统可靠性、可用性以及读写效率，而且方便水平扩展。分布式文件存储可采用多副本备份机制，分布式存储对数据进行了分片，分片后的数据按照一定规则保存在集群节点上。即使单个集群节点机器发生故障也能保证数据不会丢失，最小化对业务的影响。

Tips: 既然传统的文件存储方式存在这么多弊端，那么新的分布式文件系统需要满足哪些需求呢？

描述: FastDFS 是阿里的余庆大佬用 C 语言编写的一款开源的分布式文件系统（个人项目），它对文件进行管理。功能包括：等，适合中小文件存储，解决了和的问题。充分考虑了。

应用场景:

FastDFS是一种基于文件的key/value pair存储系统，作为一个轻量级分布式文件存储，FastDFS具有以下特性:

FastDFS 优点:

FastDFS 缺点:

Tips : 出于简洁考虑 FastDFS 没有对文件做分块存储，因此不太适合分布式计算场景。

描述: FastDFS 文件系统主要由  和  组成。其中 Storage 负责存储文件，Tracker 负责存储文件所在地址，主要作用是负载均衡和资源调度。

原理流程: 客户端请求 Tracker server 进行文件上传、下载、删除文件， Tracker server 将客户端的请求调度到 Storage server 完成文件的上传和下载。

讯享网

从框架图中我们可以看到有三个角色, 、和。Tracker、Storage 都可以实现集群部署，Tracker的每个节点地位平等，而Storage可以分为多个组，每个组之间保存的文件是不同的，组内部分为多个成员且地位一致，，没有主从概念。

Tips : 使用FastDFS存储文件优点，可以应对互联网的海量文件存储，一旦文件较多，可以随时横向扩展，且集群的实现也使系统不存在单点故障问题，用户不会因为服务器宕机而无法访问文件资源。

描述: 跟踪服务器作为集群的中心节点，负责对客户端的请求进行,以及负责，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。tracker 根据 storage 的心跳信息，建立  的映射表。

重点: Tracker 管理的元数据信息较少并且会全部存储在内存中，另外 tracker 上的元信息都是，使得 tracker 非常容易扩展，，cluster 里每个 tracker 之间是完全对等的，所有的 tracker 都接受 stroage 的心跳信息，生成来提供读写服务。

描述: 存储服务器(又称：)主要提供容量和备份服务。

它以 group 为单位可以有多台  数据互为备份;

它有如下优缺点：

以 group 为单位可以有多台  数据互为备份; 以 group 为单位组织存储能方便的进行;

Tips : group 组也可称为卷。同组内服务器上的文件是完全相同的,同一组内的storage server之间是对等的， 文件上传、 删除等操作可以在任意一台storage server上进行 。

重点: group内每个storage的存储依赖于本地文件系统，storage可配置多个数据存储目录，比如有10块磁盘分别挂载在，则可将这10个目录都配置为storage的数据存储目录。storage接受到写文件请求时，会根据配置好的规则选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多，在storage第一次启动时，会在每个数据存储目录里创建2级子目录，每级256个，总共个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据（）作为本地文件存储到该目录中, 即直接利用OS的文件系统调用管理文件。

描述: client(客户端) 作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。FastDFS向使用者提供基本文件访问接口，比如等，以客户端库的方式提供给用户使用。

描述: 为了支持大容量存储节点（服务器）采用了。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了和的作用。

Tips : 在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

Tips : 当存储空间不足或即将耗尽时，可以动态添加卷, 只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

描述: 通过前面架构介绍我们知道向使用者提供基本文件访问接口，比如  等，以客户端库的方式提供给用户使用。

简单流程:
描述:  会定期的向  发送自己的存储信息。当  中的  不止一个时，各个Tracker之间的关系是对等的，所以客户端上传时可以选择任意一个Tracker。 当Tracker收到客户端上传文件的请求时，会为该文件分配一个可用的 group ()来进行存储文件的，当选定了group后就要决定给客户端分配group中的哪一个。当分配好后客户端向storage发送写文件请求，storage将会为文件分配一个数据存储目录，然后为文件分配一个fileid()，最后根据以上的信息生成文件名并存储文件。

内部机制

Tips : 文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。

描述: 跟一样在时客户端可以选择任意 tracker server。tracker发送download请求给某个tracker，必须带上文件名信息，tracke从文件名中解析出文件的等信息，然后为该请求选择一个storage用来服务读请求。由于group内的文件同步时在后台异步进行的，所以有可能出现在读到时候，文件还没有同步到某些 storage server上，为了尽量避免访问到这样的storage，tracker 按照如下规则选择 group 内可读的 storage:

描述: FastDFS的tracker和storage都内置了http协议的支持，客户端可以通过http协议来下载文件，tracker在接收到请求时，通过http的redirect机制将请求重定向至文件所在的storage上；我们这里对nginx改造后生成hsiar，通过hsiar可以实现视频http请求后可以边下载边播的功能，从而减低对网络带宽的压力。

Tips: 采用Nginx作为网关处理请求转发和校验，Nginx的多路复用机制和非阻塞IO非常适合业务简单、耗时短的校验操作。

描述: 当写文件时，客户端将文件写至group内一个即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。

每个storage写文件后，同时会写一份binlog ,该文件里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。

storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。比如一个group内有A、B、C三个storage server，A向C同步到进度为T1 (T1以前写的文件都已经同步到B上了），B向C同步到时间戳为T2（T2 > T1)，tracker接收到这些同步进度信息时，就会进行整理，将最小的那个做为C的同步时间戳，本例中T1即为C的同步时间戳为T1（即所有T1以前写的数据都已经同步到C上了）；同理，根据上述规则，tracker会为A、B生成一个同步时间戳。

单机文件系统的对比

其他文件系统的对比

官方网站：https://github.com/happyfish100/
配置文档：https://github.com/happyfish100/fastdfs/wiki/
参考资料：https://www.oschina.net/question/tag/fastdfs
Java客户端：https://github.com/happyfish100/fastdfs-client-java

至此第一小节，完毕，下节将进入FastDFS安装与使用。

欢迎继续学习下一章节哟。

       
欢迎各位志同道合的朋友一起学习交流，如文章有误请在下方留下您宝贵的经验知识，个人邮箱地址【master#weiyigeek.top】

更多文章来源:  【WeiyiGeek Blog - 为了能到远方，脚下的每一步都不能少】

如果你觉得这个专栏还不错的，请给这篇专栏，这将对我有很大帮助。