2025年Linux系统编程2(基础IO详解)

Linux系统编程2(基础IO详解)在基础 IO 这篇博客中 我们将了解到文件系统的构成 以及缓冲区究竟是个什么东东 我们都知道缓冲区 有时也谈论缓冲区 但不一定真的去深入了解过缓冲区 为什么内存和磁盘交互速度如此之慢 为什么都说 Linux 中一切皆文件 别急 在这篇博客中 你都会找到答案

大家好,我是讯享网,很高兴认识大家。

在基础IO这篇博客中,我们将了解到文件系统的构成,以及缓冲区究竟是个什么东东,我们都知道缓冲区,有时也谈论缓冲区,但不一定真的去深入了解过缓冲区。为什么内存和磁盘交互速度如此之慢?为什么都说Linux中一切皆文件?别急,在这篇博客中,你都会找到答案。此类博客是笔者在学习过程中整理的笔记,有错误偏差的地方实属正常,还望大佬多多指点。

目录

关于文件操作的基础知识

操作系统内的文件结构 

文件描述符fd

什么是文件描述符fd

文件描述符fd的分配规则

重定向

dup2函数

将简易shell加上重定向的功能 

对于Linux上一切皆文件的理解

缓冲区

缓冲区的刷新规则 

缓冲区的创建

缓冲区在哪创建的? 

磁盘文件系统

磁盘的物理结构

盘面的存储结构

LBA地址

磁盘的分区和分组

软硬链接 

动静态库 

静态库的实现

动态库的实现 

理解动静态库加载的过程


关于文件操作的基础知识

我们先来回顾一下文件操作的相关知识,在之前说文件权限的时候,我们就说过

文件 = 内容 + 属性 

内容就是文件中实实在在存放的数据,属性则是记录文件的大小,时间戳等关于这个文件本身的一些信息,这也就是说,即使你创建了一个新文件,什么数据都不存储,但是它也是会占据内存的,因为文件的属性信息也是要被存储的。那么我们就可以说对文件进行操作实质上是对文件的内容和属性进行操作

那么如何在系统中定位一个文件呢?首先你得知道该文件叫什么名字,如果连叫什么都不知道那是没有办法找的,其次你需要知道文件的路径地址,当然这一步并不是一定需要的,只要我们知道文件名,我们可以通过查找算法,遍历整个磁盘去寻找这个文件,但这个效率是相当的低,总不可能每次程序打开这个文件就需要查找一次吧。所以我们在定位一个文件时,需要同时知道该文件的文件名和该文件的路径

文件的存储路径分为两种,分别是绝对路径和相对路径,关于这两种路径大家应该都明白其中的含义,所以这里就不再赘述。

文件平时就在磁盘里存放着,我们要想在程序中使用一个文件,首先就得在程序中打开这个文件,拿C语言来说,要想打开一个文件,得使用文件操作函数

FILE * fopen ( const char * filename, const char * mode )

讯享网

在第一个参数中填入该文件的文件名,如果你只填了文件名,不给出文件路径,那么编译器会先在当前工作路径下进行查找,如果找不到,编译器会去系统默认指定的路径下查找,再找不到,就返回NULL,所以这里需要注意,如果你不想填写文件路径地址只给出文件名,那么要被打开的文件最好就放在当前程序的工作目录下

第二个参数就是要表明对该文件进行什么样的操作了,这里我直接把文档里的表格拿过来了,忘了的同学可以复习查看一下

39dab4e0bfe24544bf2ea8265025415a.png
讯享网

如果我们想关闭这个文件了,那么就需要使用函数

讯享网int fclose ( FILE * stream )

参数中传入我们要关闭的文件名即可,除了打开和关闭文件函数,还有很多对文件进行操作的函数,比如常用的fwrite, fread, fseek等,分别是对文件进行写入,读取,改变文件指针在文件中的位置,通过fseek函数,我们可以改变文件指针的位置,方便写入

简单的复习了解C语言的一些文件操作函数,我们也许会思考这样一个问题,对文件进行各种操作究竟是谁做的?是C语言吗?C语言给我们提供了这么多关于文件操作的函数,对文件进行操作想必是C语言提供的函数处理的。事实并非如此,如果你读过笔者之前写的进程详解,你应该能想到,内存都是由操作系统来进行管理的,你既然想在程序中打开并使用文件,那必然要把文件加载到内存中,那文件也就该由操作系统来进行管理,那为什么我们是使用C语言的函数来进行文件操作的呢?这就是这篇文章我们要讲明白的知识之一

在程序中使用文件时,文件被加载到内存中,文件就由操作系统来管理,这意味着打开,写入,读取,关闭文件等操作都是由操作系统来负责的。但是那些C语言文件操作函数是怎样工作的呢? 我明明调用的是C语言的文件操作函数呀,事实上,并非只有C语言,很多程序语言都具有文件操作函数,五花八门的,但是有一点是不变的,它们的文件操作函数本质都是在调用操作系统提供的接口。

操作系统在管理文件时,提供了open() , close(),  write(),  read(),  lseek() 等接口,大家对比一下C语言提供的文件操作函数和操作系统提供的文件操作接口。

可以发现fopen和open,fclose和close等等,看着很相识的,其实fopen本质上就是在调用open,同样的,fclose就是在调用close,fopen是C语言提供的函数,是对系统提供的函数open的一种封装,为什么要这样做呢?直接调用系统提供的open不就可以了吗?这个问题的原因是多方面的,这里简单提一提,一是直接使用open的操作比较复杂,我们还需要了解系统的相关知识,这样学习成本就很高了,二来通过fopen进行封装,可以进行功能的扩展,因为系统提供的接口功能一般比较单一,我们不可能去修改系统提供的接口函数,要想进行功能方面的扩展,我们就需要自己封装一个函数

本篇文章不介绍C语言是如何封装系统提供的文件函数的,我们知道有这回事就行了。我们来详细了解一下操作系统提供的文件函数接口是如何运作的,通过了解这些接口函数,就能从本质上理解所谓对文件进行操作究竟是怎么回事。无论我们使用的编程语言提供的文件操作函数是怎样的,我们都知道本质上就是在调用系统提供的函数接口

首先是open函数

int open(const char *pathname, int flags, mode_t mode);

第一个参数是要打开或创建的文件名

第二个参数就要复杂的多了,我们先看看第二个参数所包含的相关命令

O_RDONLY: 只读打开
O_WRONLY: 只写打开
O_RDWR : 读,写打开

上面这三个参数,必须指定一个且只能指定一个

下面是附加选项,没有限制
O_CREAT : 若文件不存在,则创建它。需要使用mode选项,来指明新文件的访问权限
O_APPEND: 追加写

O_TRUNC: 清除文件中的内容

我们看看open函数中第二个参数的类型竟然是int,必选项和附加项同时有的话,这么多参数怎么传过去呢?这里操作系统采用的是位运算,也就是用比特位来标识是否传入该参数,如果你想传入多个参数,那么将这些参数进行 “或” 运算就可以了,比如我想在文件中追加写一些数据,那么flag的参数可以传 O_WRONLY | O_APPEND

第三个参数是用来指定该文件的权限的,配合之前讲过的 umask码 来确定该文件的权限

下面这张图很好的解释了第三个参数要传入的参数,这里一样是用位运算,传入多个参数需要使用或运算

 

上面是对open函数使用的一个demo,在这个demo中我想将arr字符数组中的字符写入到某一个文件中,因为test.txt这个文件是不存在的,所以我加了O_CREAT选项来创建这个文件,不过这里我犯了一个错误就是没有使用close关闭该文件,希望大家引以为戒 ,在上面的demo中,我将umask码设为了0,这样在传入权限参数时就不需要考虑umask了,同时大家可能会注意到open函数会返回一个值,这个值我们后面会讲,这里就当成是这个文件的身份证号就可以了,通过这个值,我们可以找到这个文件。

操作系统内的文件结构 

到这里大家应该大概了解了系统提供的文件操作接口的用法,接下来我们开始要深入到底层,去看看这个这些被进程打开的文件,操作系统是怎样管理并操作它们的。

我们知道运行中的程序(即进程),如果要打开并使用某个文件,首先要把被打开的文件加载到内存中才能被系统使用,操作系统中有很多的进程,有各种各样的设备程序,那么就肯定有相当多的文件被打开使用。

这些文件总不可能在内存中随意存放吧,操作系统就要想办法去管理这些被打开的文件,还记得我们之前多次提到的要想管理某些东西,就得先描述再组织,那就得根据文件的信息抽象出一种数据类型,然后用某种数据结构将这些数据类型连接起来统一管理。在管理进程的数据时,抽象建立了 task_struct,而在管理系统中的文件时,抽象出了struct_file,这里的结构名称不是一定的,具体是什么名字那就要去看源码了,这里我们了解是什么意思就可以了

struct_file是文件从磁盘加载到内存中时,为了便于操作系统管理,根据被加载文件的相关内容属性而抽象出的一种结构体,该结构体包含了许多字段,用于存储文件的各种属性和状态,例如文件类型、文件描述符、文件操作函数、读写指针、缓冲区等等,有些名词不理解没有关系,只需要知道操作系统可以通过该结构体来操作文件就可以了。

前面说过,进程可以打开文件,那么在内存中,肯定不止被某个进程打开的文件,这时进程就要想办法把自己打开的文件给存下来,这样才能找到自己打开了哪些文件。也就是说,我们访问进程就可以知道该进程打开了哪些文件。按照这样理解的话,被进程打开的某些文件的struct_file 直接存放在进程的结构中就好了。这样确实可以做到,但是如果要打开很多的文件,那么进程的结构岂不是显得非常的臃肿,并且如果有两个不同进程都要打开同一个文件,那这个文件同时拷贝到两个进程中,这个文件在内存中就存在了两份,如果有更多的进程都打开这个文件呢?想想是不是会造成大量的代码冗余。大佬们也早已想到这些问题,因此,在进程的结构体中,并非是直接存储struct_file 而是包含一个结构体指针struct files_struct file* ,这个结构体指针指向结构体struct files_struct,此时你可能会感到懵,刚才还提到struct_file呢?怎么又冒出来一个struct files_struct,不要急,我们暂时先忘记struct_file

而这个struct files_struct里面包含了一个结构体指针数组,其中的每一个元素都是一个struct_file* 指向一个 struct_file,这个结构体指针数组又被称为文件描述符表,struct file* fd_arry[];

我知道这里是有些绕的,如果没有明白,请耐下心来多看两遍或者看看下图

如下图,在某个进程中,我们假设用open系统调用,打开文件x.txt

细心的同学可能会发现,在上图中,我们只打开了一个文件,但是这个被打开的文件却在文件描述符表中第4个位置,这是什么情况?不应该是放在第一个嘛,这是因为前三个位置已经被占了。操作系统中文件描述符表中的前三个位置是留给标准输入,标准输出,标准错误的,这三个流在创建进程时就会被打开,这里不理解没关系,后面明白C语言的文件类型FILE,就能够想明白了

我们简单认为在默认情况下,进程的文件描述符表中的标准输入是指向系统中的键盘文件,可以接收键盘输入的数据,标准输出,是指向显示器文件,可以将数据输出到显示器上,而标准错误也是输出到显示器上,不用奇怪,因为Linux下一切皆文件,如下图

文件描述符fd

什么是文件描述符fd

文件描述符fd其实就是文件在文件描述符表中的下标值,在上面的图片中,标准输入的fd为0,因为其在文件描述符表中第一个位置,我们自己打开的文件x.txt的fd为3,因为其在文件描述符表中第四个位置

文件描述符就是从0开始的小整数,当我们打开文件时,操作系统在内存中要创建相应的数据结构来描述和管理目标文件,于是就有了结构体struct_file。表示一个已经打开的文件对象,而进程执行open系统调用,所以必须让进程和文件关联起来。每个进程都有一个结构体指针, 指向一个结构体struct files_struct,该表最重要的部分就是包涵一个指针数组,这个指针数组的每个元素都是一个指向文件的指针!所以,本质上,文件描述符就是该数组的下标。所以,只要拿着文件描述符,就可以找到对应的文件

文件描述符fd的分配规则

先看下面几张图片中的程序及其运行结果

 再观察下面两个程序及其运行结果

这里我们可以得到一个结果,文件描述符fd的分配规则就是:找到当前没有被使用的最小的一个下标,作为新的文件描述符。

在上面的程序代码中,当标准输入,标准输出,标准错误都没有人为关闭时,此时打开test.txt,test.txt的fd值为3,这没有什么问题,因为此时文件描述符中的未被使用的最小的一个下标为3

当我们人为的关闭标准输入和标准错误时,此时打开fd,发现fd的值为0,这是因为此时文件描述符表中,未被使用的最小的一个小标为0,可能有些同学会问,如果关闭标准输出呢?别急,这点我们留到重定向里讲

重定向

前面我们为了测试文件描述符fd的分配规则,分别关闭了标准输入和标准错误,那么接下来,我们试试关闭标准输出会发生什么?看下面一段程序

我们发现,当把标准输出关闭时,我们打印的fd的值竟然输出test.txt中了,根据我们前面说的fd的分配规则也不难理解,标准输出被关闭了,此时又打开test.txt,那么test.txt就会被分配到标准输出的位置,从而将原本应该输出到屏幕上的数值,输出到test.txt文件中,这个fd指向对象被修改的过程,我们称之为重定向

可见重定向的本质是上层用到的fd不变,而是在内核中更改fd所对应的struct file*的地址

dup2函数

如果只靠使用close来进行重定向的更改,不仅用起来麻烦,而且有着不确定性,因此在进行重定向修改时,系统提供了dup2函数

dup2(int oldfd, int newfd)  the newfd be the copy of oldfd

oldfd 是要被复制的文件描述符,newfd 是新文件描述符的值。执行 dup2() 函数后,会把oldfd的所有属性都复制到newfd上,包括文件偏移量、文件状态标志和文件打开方式等,而且oldfd不会被删掉,也就是说,dup2执行后,newfd 和 oldfd 将指向相同的文件

概念今天仍然发挥稳定,依旧不讲人话,接下来我们看看实列        

#include<stdio.h> #include<sys/types.h> #include<sys/stat.h> #include<fcntl.h> #include<unistd.h> int main() { char arr[30] = "this is a test"; int fd = open("test.txt", O_WRONLY | O_CREAT, S_IRUSR | S_IWUSR | S_IRGRP); //此时fd的值因该是3,因为前三个是留给标准输入,输出,错误的 dup2(fd, 1); //这里利用dup2是fd中文件覆盖标准输出 printf("%s",arr);//往标准输出中打印字符串 write(fd, arr, sizeof(arr));//往fd中输出字符串 //我们能在test.txt中看到arr打印两次 fflush(stdout); return 0; } 
小讯
上一篇 2025-04-06 21:16
下一篇 2025-04-02 17:53

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/76591.html