疯狂内核之——虚拟文件系统.pdf

发布时间：2022-06-07 发布人：admin 分类：说明书资料大小：5.05M 资料格式：pdf 举报版权申诉

yunsongice-3326879-4744302543349486952.pdf-第1页.png

第1页 / 共396页

yunsongice-3326879-4744302543349486952.pdf-第2页.png

第2页 / 共396页

yunsongice-3326879-4744302543349486952.pdf-第3页.png

第3页 / 共396页

yunsongice-3326879-4744302543349486952.pdf-第4页.png

第4页 / 共396页

yunsongice-3326879-4744302543349486952.pdf-第5页.png

第5页 / 共396页

yunsongice-3326879-4744302543349486952.pdf-第6页.png

第6页 / 共396页

yunsongice-3326879-4744302543349486952.pdf-第7页.png

第7页 / 共396页

yunsongice-3326879-4744302543349486952.pdf-第8页.png

第8页 / 共396页

文本预览

疯狂内核带您探索 Linux 核心掌握计算机底层软件必要知识虚拟文件系统陈云松 blog：http://blog.csdn.net/yunsongice email：yunsong_ice@163.com qq:85408821

目录 1 虚拟文件系统概述 ....................................................................................................................... 5 1.1 通用文件模型 .................................................................................................................... 7 1.2 VFS 所处理的系统调用 .................................................................................................... 9 2 虚拟文件系统架构 ..................................................................................................................... 11 2.1 VFS 对象数据结构 .......................................................................................................... 11 2.1.1 超级块对象 ........................................................................................................... 11 2.1.2 索引节点对象 ....................................................................................................... 15 2.1.3 文件对象 ............................................................................................................... 18 2.1.4 目录项对象 ........................................................................................................... 22 2.2 把 Linux 中的 VFS 对象串联起来 ................................................................................. 24 2.2.1 与进程相关的文件 ............................................................................................... 25 2.2.2 索引节点高速缓存 ............................................................................................... 29 2.2.3 目录项高速缓存 ................................................................................................... 30 2.2.4 VFS 对象的具体实现............................................................................................ 32 2.3 文件系统的注册与安装 .................................................................................................. 38 2.3.1 文件系统类型注册 ............................................................................................... 38 2.3.2 文件系统安装数据结构 ....................................................................................... 41 2.3.3 安装普通文件系统 ............................................................................................... 52 2.3.4 分配超级块对象 ................................................................................................... 58 2.3.5 安装根文件系统 ................................................................................................... 60 2.3.6 卸载文件系统 ....................................................................................................... 65 2.4 路径名的查找 .................................................................................................................. 66 2.4.1 查找路径名的一般流程 ....................................................................................... 67 2.4.2 父路径名查找 ....................................................................................................... 82 2.4.3 符号链接的查找 ................................................................................................... 84 2.5 VFS 系统调用的实现 ...................................................................................................... 88 2.5.1 open()系统调用 ..................................................................................................... 88 2.5.2 read()和 write()系统调用 ...................................................................................... 96 2.5.3 close()系统调用 ..................................................................................................... 97 3 第二扩展文件系统 ..................................................................................................................... 99 3.1 Ext2 磁盘数据结构 ........................................................................................................ 101 3.1.1 磁盘超级块 ......................................................................................................... 102 3.1.2 组描述符和位图 ................................................................................................. 105 3.1.3 磁盘索引节点表 ................................................................................................. 105 3.2 VFS 接口数据结构 ........................................................................................................ 110 3.2.1 Ext2 超级块对象 ................................................................................................ 110 3.2.2 Ext2 的索引节点对象 ........................................................................................ 121 3.2.3 创建 Ext2 文件系统 ........................................................................................... 124

3.2.4 Ext2 的方法总结 ................................................................................................. 126 3.3 Ext2 索引节点分配 ........................................................................................................ 129 3.3.1 创建索引节点 ..................................................................................................... 130 3.3.2 删除索引节点 ..................................................................................................... 143 3.4 Ext2 数据块分配 ............................................................................................................ 144 3.4.1 数据块寻址 ......................................................................................................... 145 3.4.2 文件的洞 ............................................................................................................. 147 3.4.3 分配数据块 ......................................................................................................... 148 4 页面高速缓存 ........................................................................................................................... 160 4.1 页高速缓存数据结构 .................................................................................................... 160 4.1.1 address_space 对象 .............................................................................................. 161 4.1.2 基树 ..................................................................................................................... 164 4.2 高速缓存底层处理函数 ................................................................................................ 166 4.2.1 查找页 ................................................................................................................. 166 4.2.2 增加页 ................................................................................................................. 168 4.2.3 删除页 ................................................................................................................. 173 4.3 文件系统与高速缓存 .................................................................................................... 175 4.3.1 缓冲头数据结构 ................................................................................................. 175 4.3.2 分配块设备缓冲区页 ......................................................................................... 178 4.3.3 释放块设备缓冲区页 ......................................................................................... 184 4.4 在页高速缓存中搜索块 ................................................................................................ 185 4.4.1 __find_get_block()函数 ....................................................................................... 185 4.4.2 __getblk()函数 ..................................................................................................... 188 4.4.3 __bread()函数 ...................................................................................................... 190 4.5 把脏页写入磁盘 ............................................................................................................ 191 4.5.1 pdflush 内核线程 ................................................................................................. 192 4.5.2 搜索要刷新的脏页 ............................................................................................. 193 4.5.3 回写陈旧的脏页 ................................................................................................. 196 5 文件读写................................................................................................................................... 199 5.1 系统调用 VFS 层的处理 .............................................................................................. 200 5.2 第二扩展文件系统 Ext2 层的处理 .............................................................................. 201 5.2.1 Ext2 的磁盘布局 ................................................................................................. 202 5.2.2 Ext2 的超级块对象 ............................................................................................. 206 5.2.3 Ext2 索引节点对象的创建 ................................................................................. 210 5.2.4 Ext2 索引节点对象的读取 ................................................................................. 218 5.2.5 Ext2 层读文件入口函数 ..................................................................................... 225 5.3 页高速缓存层的处理 .................................................................................................... 237 5.3.1 创建一个 bio 请求 .............................................................................................. 238 5.3.2 得到文件的逻辑块号 ......................................................................................... 244 5.3.3 普通文件的 readpage 方法 ................................................................................ 251 5.3.4 块设备文件的 readpage 方法 ............................................................................ 252 5.3.5 文件的预读 ......................................................................................................... 260 5.4 通用块层的处理 ............................................................................................................ 264 5.4.1 块设备的基础知识 ............................................................................................. 265

5.4.2 通用块层相关数据结构 ..................................................................................... 269 5.4.3 提交 I/O 传输请求 ............................................................................................. 271 5.4.4 请求队列描述符 ................................................................................................. 273 5.5 块设备 I/O 调度层的处理 ............................................................................................ 281 5.5.1 块设备的初始化 ................................................................................................. 284 5.5.2 建立块设备驱动环境 ......................................................................................... 288 5.5.3 关联 block_device 结构...................................................................................... 295 5.5.4 为设备建立请求队列 ......................................................................................... 306 5.5.5 块设备 I/O 调度程序 ......................................................................................... 311 5.5.6 真实的 I/O 调度层处理...................................................................................... 321 5.6 块设备驱动层的处理 .................................................................................................... 330 5.6.1 scsi 总线驱动的初始化 ....................................................................................... 330 5.6.2 scsi 设备驱动体系架构 ....................................................................................... 342 5.6.3 scsi 块设备驱动层处理 ....................................................................................... 347 5.6.4 scsi 命令的执行 ................................................................................................... 369 5.6.5 scsi 命令的第一次转变 ....................................................................................... 372 5.6.6 scsi 命令的第二次转变 ....................................................................................... 380 5.7 写文件............................................................................................................................ 384 5.7.1 generic file_write 函数 ........................................................................................ 384 5.7.2 普通文件的 prepare_write 方法 ......................................................................... 386 5.7.3 块设备文件的 prepare_write 方法 ..................................................................... 387 5.7.4 将脏页写到磁盘 ......................................................................................................... 388 6 直接 I/O 与异步 I/O ................................................................................................................. 391 6.1 直接 I/O ......................................................................................................................... 391 6.2 异步 I/O ......................................................................................................................... 393 6.2.1 Linux 2.6 中的异步 I/O ....................................................................................... 394 6.2.2 异步 I/O 环境 ..................................................................................................... 394 6.2.3 提交异步 I/O 操作 ............................................................................................. 395

1 虚拟文件系统概述现在我们的主流价值观是社会和谐、世界和谐。同样，Linux 成功的关键因素之一是它具有与其他操作系统和谐共存的能力。你能够透明地安装具有其他操作系统文件格式的磁盘或分区，这些操作系统如 Windows、其他版本的 Unix，甚至像 Amiga 那样的市场占有率很低的系统。通过所谓的虚拟文件系统概念，Linux 使用与其他 Unix 变体相同的方式设法支持多种文件系统类型。虚拟文件系统所隐含的思想是把表示很多不同种类文件系统的共同信息放入内核；其中有一个字段或函数来支持 Linux 所支持的所有实际文件系统所提供的任何操作。对所调用的每个读、写或其他函数，内核都能把它们替换成支持本地 Linux 文件系统、NTFS 文件系统，或者文件所在的任何其他文件系统的实际函数。虚拟文件系统（Virtual Filesystem）也可以称之为虚拟文件系统转换（Virtual Filesystem Switch， VFS），是一个内核软件层，用来处理与 Unix 标准文件系统相关的所有系统调用。其健壮性表现在能为各种文件系统提供一个通用的接口。例如，假设一个用户输入以下 shell 命令： $ cp /floppy/TEST /tmp/test 其中/floppy 是 MS-DOS 磁盘的一个安装点，而/tmp 是一个标准的第二扩展文件系统（second Extended Filesystom, Ext2）的目录。正如图（a）所示，VFS 是用户的应用程序与文件系统实现之间的抽象层。因此，cp 程序并不需要知道/floppy/TEST 和 /tmp/test 是什么文件系统类型。相反，cp 程序直接与 VFS 交互，这是通过 Unix 程序设计人员都熟悉的普通系统调用来进行的。cp 的执行代码如图（b）所示： VFS 支持的文件系统可以划分为三种主要类型：

磁盘文件系统这些文件系统管理在本地磁盘分区中可用的存储空间或者其他可以起到磁盘作用的设备（比如说一个 USB 闪存）。VFS 支持的基于磁盘的某些著名文件系统还有： - Linux 使用的文件系统，如广泛使用的第二扩展文件系统（Ext2），新近的第三扩展文件系统（Third Extended Filesystem,Ext3）及 Reiser 文件系统（ReiserFS） - Unix 家族的文件系统，如 sysv 文件系统（System V、Coherent、Xenix）、UFS（BSD、Solaris、 NEXTSTEP），MINIX 文件系统及 VERITAS VxFS（SCO UnixWare）。 - 微软公司的文件系统，如 MS-DOS、VFAT（Windows 95 及随后的版本）及 NTFS（Windows NT 以及随后的版本）。 - IS09660 CD-ROM 文件系统（以前的 High Sierra 文件系统）和通用磁盘格式（UDF）的 DVD 文件系统。 - 其他有专利权的文件系统，如 HPFS（IBM 公司的 OS/2）、HFS（苹果公司的 Macintosh）、 AFFS（Amiga 公司的快速文件系统）以及 ADFS（Acorn 公司的磁盘文件归档系统）。 - 起源于非 Linux 系统的其他日志文件系统，如 IBM 的 JFS 和 SGI 的 XFS。网络文件系统这些文件系统允许轻易地访问属于其他网络计算机的文件系统所包含的文件。虚拟文件系统所支持的一些著名的网络文件系统有：NFS、Coda、AFS（Andrew 文件系统）、CIFS（用于 Microsoft Windows 的通用网络文件系统）以及 NCP（Novell 公司的 NetWare Core Protocol）。特殊文件系统这些文件系统不管理本地或者远程磁盘空间。/proc、/sys、/dev 等文件系统是特殊文件系统的一个典型范例。 Unix 的目录建立了一棵根目录为“/”的树。根目录包含在根文件系统（root filesystem）中，在 Linux 中这个根文件系统通常就是 Ext2 或 Ext3 类型。其他所有的文件系统都可以被“安装”在根文件系统的子目中。当一个文件系统被安装在某一个目录上时，在父文件系统中的目录内容不再是可访问的了，因为任何路径（包括安装点），都将引用已安装的文件系统。但是，当被安装文件系统卸载时，原目录的内容又可再现。所以，Unix 文件系统的一个重要特点就是可以由系统管理员用来隐藏文件，他们只需把一个文件系统安装在要隐藏文件的目录中即可。基于磁盘的文件系统通常存放在块设备中，如硬盘、软盘或者 CD-ROM。Linux VFS 的一个有用特点是能够处理如/dev/loop0 这样的虚拟块设备，这种设备可以用来安装普通文件所在

的文件系统。作为一种可能的应用，用户可以保护自己的私有文件系统，因为可以通过把自己文件系统的加密版本存放在一个普通文件中来实现。第一个虚拟文件系统包含在 1986 年由 Sun 公司发布的 SunOS 操作系统中。从那时起，多数 UNIX 文件系统都包含 VFS。然而，Linux 的 VFS 支持最广泛的文件系统。 1.1 通用文件模型 VFS 所隐含的主要思想在于引入了一个通用的文件模型（common file model），这个模型能够表示所有支持的文件系统。该模型严格反映传统 Unix 文件系统提供的文件模型。这并不奇怪，因为 Linux 希望以最小的额外开销运行它的本地文件系统。不过，要实现每个具体的文件系统，必须将其物理组织结构转换为虚拟文件系统的通用文件模型。例如在通用文件模型中，每个目录被看作一个文件，可以包含若干文件和其他的子目录。但是，存在几个非 Unix 的基于磁盘的文件系统，它们利用文件分配表（File Allocation Table， FAT）存放每个文件在目录树中的位置，在这些文件系统中，存放的是目录而不是文件。为了符合 VFS 的通用文件模型，对上述基于 FAT 的文件系统的实现，Linux 必须在必要时能够快速建立对应于目录的文件。这样的文件只作为内核内存的对象而存在。从本质上说，Linux 内核不能对一个特定的函数进行硬编码来执行诸如 read()或 ioctl()这样的操作，而是对每个操作都必须使用一个指针，指向要访问的具体文件系统的适当函数。为了进一步说明这一概念，参见前面的那个图，其中显示了内核如何把 read()转换为专对 MS-DOS 文件系统的一个调用。应用程序对 read()的调用引起内核调用相应的 sys_read()服务例程，这与其他系统调用完全类似。我们在本章后面会看到，文件在内核内存中是由一个 file 数据结构来表示的。这种数据结构中包含一个称为 f_op 的字段，该字段中包含一个指向专对 MS-DOS 文件的函数指针，当然还包括读文件的函数。 sys_read()查找到指向该函数的指针，并调用它。这样一来，应用程序的 read()就被转化为相对间接的调用： file->f_op->read(…); 与之类似，write()操作也会引发一个与输出文件相关的 Ext2 写函数的执行。简而言之，内核负责把一组合适的指针分配给与每个打开文件相关的 file 变量，然后负责调用针对每个具体文件系统的函数（由 f_op 字段指向）。你可以把通用文件模型看作是面向对象的，在这里，对象是一个软件结构，其中既定义了数据结构也定义了其上的操作方法。出于效率的考虑，Linux 的编码并未采用面向对像的程序设计语言（比如 C++）。因此对象作为普通的 C 数据结构来实现，数据结构中指向函数的字段就对应于对象的方法。通用文件模型由下列对象类型组成：超级块对象（superblock object）：存放已安装文件系统的有关信息。对基于磁盘的文件系统，

这类对象通常对应于存放在磁盘上的文件系统控制块（filesystem control block）。索引节点对象（inode object）：存放关于具体文件的一般信息。对基于磁盘的文件系统，这类对象通常对应于在磁盘上的文件控制块(file control block）。每个索引节点对象都有一个索引节点号，这个节点号唯一地标识文件系统中的文件。文件对象（file object）：存放打开文件与进程之间进行交互的有关信息。这类信息仅当进程访问文件期间在于内核内存中。目录项对象（dentry object）：存放目录项（也就是文件的特定名称）与对应文件进行链接的有关信息。每个磁盘文件系统都以自己特有的方式将该类信息存在磁盘上。下图所示是一个简单的示例，说明进程怎样与文件进行交互。三个不同进程已经打开同一个文件，其中两个进程使用同一个硬链接。在这种情况下，其中的每个进程都使用自己的文件对象，但只需要两个目录项对象，每个硬链接对应一个目录项对象。这两个目录项对象指向同一个索引节点对象，该索引节点对象标识超级块对象，以及随后的普通磁盘文件。 VFS 除了能为所有文件系统的实现提供一个通用接口外，还具有另一个与系统性能相关的重要作用，那就是一些文件相关数据结构的磁盘高速缓存。例如最近最常使用的目录项对象被放在所谓目录项高速缓存（dentry cache）的磁盘高速缓存中，从而加速从文件路径名到最后一个路径分量的索引节点的转换过程。一般说来，磁盘高速缓存（disk cache）属于软件机制，它允许内核将原本存在磁盘上的某些信息保存在 RAM 中，以便对这些数据的进一步访问能快速进行，而不必慢速访问磁盘本身。

分享到：

赞收藏

资料库

疯狂内核之——虚拟文件系统.pdf

相关推荐

操作系统

热门标签

最新资料