Lustre_Manual_cn.pdf

发布时间：2022-06-29 发布人：admin 分类：说明书资料大小：2.70M 资料格式：pdf 举报版权申诉

c2168474-61ba-4b93-899e-d34f68560b4c.pdf-第1页.png

第1页 / 共568页

c2168474-61ba-4b93-899e-d34f68560b4c.pdf-第2页.png

第2页 / 共568页

c2168474-61ba-4b93-899e-d34f68560b4c.pdf-第3页.png

第3页 / 共568页

c2168474-61ba-4b93-899e-d34f68560b4c.pdf-第4页.png

第4页 / 共568页

c2168474-61ba-4b93-899e-d34f68560b4c.pdf-第5页.png

第5页 / 共568页

c2168474-61ba-4b93-899e-d34f68560b4c.pdf-第6页.png

第6页 / 共568页

c2168474-61ba-4b93-899e-d34f68560b4c.pdf-第7页.png

第7页 / 共568页

c2168474-61ba-4b93-899e-d34f68560b4c.pdf-第8页.png

第8页 / 共568页

第一章 Lustre结构探析

1.1 Lustre文件系统是什么

1.1.1. 性能特征

1.2. Lustre组件

1.2.1. 管理服务器(MGS)

1.2.2 Lustre文件系统组件

1.2.3 Lustre网络 (LNet)

1.2.4 Lustre 集群

1.3. Lustre文件系统存储与I/O

1.3.1. Lustre文件系统条带化

第二章 Lustre网络（LNet）

2.1. LNet简介

2.2. LNet的主要功能

2.3.Lustre网络

2.4. 支持的网络类型

第三章Lustre文件系统的故障切换

3.1. 什么是故障切换

3.1.1 故障切换功能

3.1.2 故障切换配置类型

3.2. Lustre文件系统中的故障切换功能

3.2.1 MDT故障切换配置（主动/被动）

3.2.2 MDT故障切换配置（主动/主动）

3.2.3 OST故障切换配置（主动/主动）

第四章安装概述

4.1. 安装Lustre软件的步骤

第五章 Lustre硬件配置要求和格式化选项

5.1. 硬件方面的考虑

5.1.1 MGT和MDT存储硬件

5.1.2 OST存储硬件

5.2. 确定空间需求

5.2.1 确定MGT空间需求

5.2.2 确定MDT空间需求

5.2.3 确定OST空间需求

5.3. 设置ldiskfs文件系统格式化选项

5.3.1 为ldiskfs MDT设置格式化选项

5.3.2 为ldiskfs OST设置格式化选项

5.4. 文件和文件系统的极限值

5.5. 确定内存需求

5.5.1 客户端内存需求

5.5.2 MDS内存需求

5.5.3 OSS内存需求

5.6. Lustre文件系统的网络实现

第六章Lustre文件系统上的存储配置

6.1. 为MDTs和OSTs选择存储设备。

6.1.1 元数据目标（MDT）

6.1.2 对象存储服务器（OST）

6.2. 可靠性

6.3. 性能权衡

6.4. ldiskfs RAID设备的格式化选项

6.4.1 计算mkfs的文件系统参数

6.4.2 外部日志的参数设置

6.5. 连接SAN至Lustre文件系统

第七章网络端口绑定设置

7.1. 概述

7.2. 相关要求

7.3. 绑定模块参数

7.4. 设置绑定

7.4.1. 示例

7.5.Lustre文件系统中配置绑定

7.6. 其他参考资料

第八章 Lustre软件系统安装

8.1. 安装准备

8.1.1. 软件需求

8.1.2. 环境要求

8.2.Lustre软件安装程序

第九章 Lustre网络配置 (LNet)

9.1. 通过 !lnetctl!配置 LNet

9.1.1. 配置 LNet

9.1.2. 显示全局设置

9.1.3. 添加、删除、显示网络

9.1.4. 手动添加、删除、显示对等节点

9.1.5. 动态节点发现

9.1.6. 添加、删除、显示路由

9.1.7. 启用和禁用路由

9.1.8. 显示路由信息

9.1.9. 配置路由缓冲

9.1.10.引入YAML配置文件

9.1.11. 导出YAML配置文件

9.1.12. 显示LNet流量数据信息

9.1.13. YAML语法

9.2. LNet 模块参数概述

9.2.1. 使用Lustre网络标识符 (NID) 识别节点

9.3. 设置 LNet 模块 networks 参数

9.3.1. 多宿主服务器范例

9.4. 设置 LNet 模块 ip2nets 参数

9.5. 设置 LNet 模块 routes 参数

9.5.1. 路由配置示例

9.6. 测试 LNet 配置

9.7. 配置路由器检查器

9.8. LNet选项最佳实例配置

9.8.1. 用引号逗号

9.8.2. 增加注释

第十章 Lustre文件系统配置

10.1. 配置简单的Lustre 文件系统

10.1.1. 简单Lustre配置示例

10.2. 其他附加配置选项

10.2.1. 扩展Lustre文件系统

10.2.2. 更改条带化默认配置

10.2.3. 使用Lustre配置实用程序

第十一章 Lustre故障切换配置

11.1. 故障切换环境设置

11.1.1 选择电源设备

11.1.2 选择电源管理软件

11.1.3 选择高可用性软件

11.2. Lustre文件系统故障切换的准备工作

第十二章 Lustre文件系统监控配置

12.1. Lustre Changelogs

12.1.1 Changelogs相关命令

12.1.2 Changelogs命令示例

12.1.3 Changelogs审计

12.1.3.1 启用审计功能

12.1.3.2 审计功能示例

12.2. Lustre Jobstats

12.2.1 Jobstats如何工作

12.2.2 启用/禁用Jobstats

12.2.3 查看Jobstats

12.2.4 清除Jobstats

12.2.5 配置自动清理 (Auto-cleanup) 时间间隔

12.3. Lustre监控工具（LMT）

12.4. CollectL

12.5. 其他监控选项

第十三章Lustre操作详解

13.1. 通过标签挂载

13.2. 启动 Lustre

13.3. 挂载服务器

13.4. 关闭文件系统

13.5. 在服务器上卸载目标

13.6. 为OSTs指定故障切换模式

13.7. 处置降级 OST 磁盘阵列

13.8. 运行多个Lustre文件系统

13.9. 在给定MDT上创建子目录

13.10. 在多个MDTs上创建条带目录

13.11. 设置及查看Lustre参数

13.11.1. 用!mkfs.lustre!设置可调试参数

13.11.2. 用!tunefs.lustre!设置参数

13.11.3. 用 !lctl!设置参数

13.12. 指定NIDs和故障切换

13.13. 擦除文件系统

13.14. 回收预留磁盘空间

13.15. 替换当前OST或MDT

13.16. 识别OST对象隶属于哪个Lustre文件

第十四章Lustre的日常维护

14.1. 非活动 OSTs 相关操作

14.2. 查看Lustre文件系统所有节点

14.3. 在无Lustre服务的情况下挂载服务器

14.4. 重新生成Lustre 配置日志

14.5. 更改服务器NID

14.6. 在Lustre文件系统中加入新的MDT

14.7. 在Lustre文件系统中添加新的 OST

14.8. 移除及恢复MDT和OST

14.8.1. 在文件系统中移除 MDT

14.8.2. 不活跃的 MDTs

14.8.3. 在文件系统中移除 OST

14.8.4. 备份 OST 配置文件

14.8.5. 恢复OST配置文件

14.8.6. 重新激活 OST

14.9. 终止恢复

14.10. 确定服务 OST 的机器

14.11. 更改故障节点地址

14.12. 分离组合的MGS/MDT

第十五章管理 Lustre Networking (LNet)

15.1. 更新路由或端的健康状态

15.2. 启动和关闭LNet

15.2.1. 启动LNet

15.2.2. 关闭LNet

15.3. 基于 LNet 多轨配置的硬件

15.4. 利用InfiniBand*网络实现负载平衡

15.4.1. 在!lustre.conf!中配置负载均衡

15.5. 动态配置 LNet 路由

15.5.1. !lustreroutesconfig!

15.5.2. !lustreroutesconversion!

15.5.3. !Route Configuration Examples!

第十六章 LNet 软件多轨

16.1. 概述

16.2. 配置多轨

16.2.1. 在本地节点上配置多个接口

16.2.2. 删除网络接口

16.2.3. 增加具有多轨功能的远程对等节点

16.2.4. 删除远程对等节点

16.3. 多轨路由注意事项

16.3.1. 多轨集群示例

16.3.2. 路由器可恢复功能

16.3.3. 多轨及非多轨混合集群

第十七章升级Lustre文件系统

17.1. 互操作性和升级要求

17.2. 升级至 Lustre Software Release 2.x (主版本)

17.3. 升级至 Lustre Software Release 2.x.y (次版本)

第十八章备份和恢复文件系统

18.1. 备份文件系统

18.1.1. Lustre_rsync

18.2. 备份和恢复 MDT 或 OST （ldiskfs 设备级）

18.3. 备份 OST 或 MDT （后端文件系统级）

18.3.1. 备份OST或MDT（后端文件系统级）

18.3.2. 备份 OST 或 MDT

18.4. 恢复文件级备份

18.5. 使用 LVM 快照

18.5.1. 创建基于 LVM 的备份文件系统

18.5.2. 备份新的/更改后的文件

18.5.3. 创建快照卷

18.5.4. 从快照恢复文件系统

18.5.5. 删除旧的快照

18.5.6. 更改快照卷大小

18.6. ZFS 和 ldiskfs 目标文件系统间的迁移

18.6.1. 从 ZFS 迁移至 ldiskfs 文件系统

18.6.2. 从 ldiskfs 迁移至 ZFS 文件系统

第十九章管理文件布局（条带化）及剩余空间

19.1. Lustre文件系统条带化如何工作

19.2. Lustre文件布局（条带化）的一些考量

19.2.1. 选择条带大小

19.3. 配置Lustre文件布局（条带化模式） (!lfs setstripe!)

19.3.1. 为单个文件指定文件布局（条带化模式）

19.3.2. 为目录指定文件布局（条带化模式）

19.3.3. 为文件系统指定文件布局（条带化模式）

19.3.4. 在指定OST上创建文件

19.4. 检索文件布局/条带信息(!getstripe!)

19.4.1. 显示当前条带大小

19.4.2. 搜索文件树

19.4.3. 为远程目录定位MDT

19.5. 渐进式文件布局 (PFL)

19.5.1. !lfs setstripe!

19.5.2. !lfs migrate!

19.5.3. !lfs getstripe!

19.5.4. !lfs find!

19.6. 管理空闲空间

19.6.1.查看文件系统可用空间

19.6.2. 条带分配方法

19.6.3. 调整可用空间和位置的权重

19.7. Lustre条带化内部参数

第二十章 MDT数据功能 (DoM)

20.1. 简介

20.2. 用户命令

20.2.1. !lfs setstripe!

20.2.2. 为现有目录设置DoM布局

20.2.3.DoM条带大小限制

20.2.4. !lfs getstripe!

20.2.5. !lfs find!

20.2.6. !domstripesize! 参数

20.2.7. 禁用DoM

第二十一章文件级冗余 (FLR)

21.1. 概述

21.2. 相关操作

21.2.1. 创建镜像文件或目录

21.2.2. 扩展镜像文件

21.2.3. 拆分镜像文件

21.2.4. 重新同步待同步镜像文件

21.2.5. 验证镜像文件

21.2.6.查找镜像文件

21.3. 互操作性

第二十二章管理文件系统和 I/O

22.1. 处理满溢的OSTs

22.1.1. 查看OST空间使用情况

22.1.2. 将满溢的OST下线

22.1.3. 在文件系统内迁移文件

22.1.4. 将停用的OST重新上线

22.2. 创建和管理OST池

22.2.1. OST池操作

22.2.2. OST池使用建议

22.3. 在Lustre文件系统中添加OST

22.4. 实施直接I/O

22.4.1. 将文件系统对象设置为不可用

22.5. 其它I/O选项

22.5.1. Lustre校验和

22.5.2. Ptlrpc线程池

第二十三章 Lustre文件统故障切换和多挂载保护

23.1. 概览

23.2. 多挂载保护相关操作

第二十四章配额配置和管理

24.1. 配额相关操作

24.2. 启用磁盘配额

24.2.1. 启用磁盘配额 (Lustre 2.4之前)

24.2.2. 启用磁盘配额 (Lustre 2.4及之后)

24.3. 配额管理

24.4. 配额分配

24.5. 配额和版本互操作性

24.6. 授权缓存和配额限制

24.7. Lustre配额统计信息

24.7.1. 解析配额统计信息

第二十五章分层存储管理 (HSM)

25.1. 简介

25.2. 设置

25.2.1. 要求

25.2.2. 协调器（coordinator）

25.2.3. 代理（agent）

25.3. 代理（Agents）和复制工具（copytool）

25.3.1. ARCHIVE ID及多后端系统

25.3.2. 注册代理

25.3.3. 超时

25.4. 请求

25.4.1. 命令

25.4.2. 自动恢复

25.4.3. 请求监控

25.5. 文件状态

25.6. 调试

25.6.1. !hsmcontrolpolicy!

25.6.2. !maxrequests!

25.6.3. !policy!

25.6.4. !gracedelay!

25.7. 变更日志

25.8. 策略引擎

25.8.1. Robinhood

第二十六章使用Nodemap映射UIDs和GIDs

26.1. 设置映射

26.1.1. 定义

26.1.2. NID范围

26.1.3. 示例：描述和部署映射

26.2. 属性变更

26.2.1. 管理属性

26.2.2. 混合属性

26.3. 启用nodemap

26.4. 校验设置

26.5. 确保一致性

第二十七章配置共享密钥 (SSK)

27.1. SSK安全概述

27.1.1. 关键功能

27.2. SSK安全特性

27.2.1. RPC安全规则

27.3. SSK密钥文件

27.3.1. 密钥文件管理

27.4. Lustre GSS密钥环

27.4.1. 设置

27.4.2. 服务器设置

27.4.3. 调试GSS密钥环

27.4.4. 撤销密钥

27.5. Nodemap在SSK中的作用

27.6. SSK示例

27.6.1. 客户端到服务器的安全通信

27.6.2. MGS安全通信

27.6.3. 服务器之间的安全通信

27.7. 查看PtlRPC安全环境

第二十八章 Lustre文件系统安全管理

28.1. 使用访问控制列表（ACL）

28.1.1. ACL如何工作

28.1.2. Lustre软件上的ACLs

28.1.3. 示例

28.2. 使用Root Squash（压缩）

28.2.1. 配置Root Squash

28.2.2. 启用和调试Root Squash

28.2.3. 使用Root Squash的技巧

第二十九章 Lustre ZFS快照

29.1. 概述

29.1.1. 需求

29.2. 配置

29.3. 快照操作

29.3.1. 创建快照

29.3.2. 删除快照

29.3.3. 挂载快照

29.3.4. 卸载快照

29.3.5. 列出快照

29.3.6. 修改快照属性

29.4. 全局写屏障

29.4.1. 添加屏障

29.4.2. 移除屏障

29.4.3. 查询屏障

29.4.4. 重新扫描屏障

29.5. 快照日志

29.6. Lustre配置日志

第三十章 Lustre网络性能测试 (LNet self-test)

30.1. LNet自检概述

30.1.1. 前提条件

30.2. LNet 自检操作

30.2.1. 创建会话

30.2.2. 设置组

30.2.3. 定义及运行测试

30.2.4. 脚本样例

30.3. LNet自检命令索引

30.3.1. 会话命令

30.3.2. 组命令

30.3.3. 批处理测试命令

30.3.4. 其他命令

第三十一章 Benchmarking Lustre File System Performance (LustreI/O工具箱)

31.1. 使用Lustre I/O工具箱

31.1.1. Lustre I/O工具箱内容

31.1.2. LustreI/O工具箱使用准备

31.2. 测试原始硬件I/O性能 (!sgpdd-survey!)

31.2.1. 调试Linux存储设备

31.2.2. 运行!sgpdd-survey!

31.3. OST性能测试 (!obdfilter-survey!)

31.3.1. 本地磁盘性能测试

31.3.2. 网络性能测试

31.3.3. 远程磁盘性能测试

31.3.4. 输出文件

31.4. OST I/O性能测试 (!ost-survey!)

31.5. MDS性能测试 (!mds-survey!)

31.5.1. 输出文件

31.5.2. 脚本输出

31.6. 收集应用程序分析信息 (!stats-collect!)

31.6.1. !stats-collect!

第三十二章 Lustre文件系统调试

32.1. 优化服务线程数量

32.1.1. 指定OSS服务线程数

32.1.2. 指定OSS服务线程数

32.2. 绑定MDS服务线程到CPU分区

32.3. LNet参数调试

32.3.1. 发送和接收缓冲区大小

32.3.2. 硬件中断 ( !enableirqaffinity!)

32.3.3. 绑定针对CPU分区的网络接口

32.3.4. 网络接口信用

32.3.5. 路由器缓存区

32.3.6. 门户循环

32.3.7. LNet对等节点健康状况

32.4. libcfs调试

32.4.1. CPU分区（字符串模式）

32.5. LND调试

32.5.1. ko2iblnd调试

32.6. 网络请求调度程序 (NRS) 调试

32.6.1. 先进先出 (FIFO) 策略

32.6.2. 基于NID的客户端循环 (CRR-N) 策略

32.6.3. 基于对象的循环（ORR）策略

32.6.4. 基于目标的循环 (TRR) 策略

32.6.5. 令牌桶过滤器 (TBF) 策略

32.6.6. 延迟策略

32.7. 无锁I/O可调参数

32.8. 服务器端建议和提示

32.8.1. 概述

32.8.2. 示例

32.9. 大批量I/O (16MB RPC)

32.9.1. 概述

32.9.2. 示例

32.10. 提升Lustre小文件I/O性能

32.11. 写入性能与读取性能

第三十三章 Lustre文件系统故障排除

33.1. Lustre错误消息

33.1.1. 错误代码

33.1.2. 查看错误消息

33.2. 报告Lustre文件系统Bug

33.2.1. 在Jira Bug Tracker中搜索重复故障单

33.3. Lustre文件系统常见问题

33.3.1. OST对象缺失或损坏

33.3.2. OSTs变为只读

33.3.3. 识别丢失的OST

33.3.4. 修复OST上错误的LAST_ID

33.3.5. 处理 ``!Bind: Address already in use!'' 错误

33.3.6. 处理错误 ``- 28''

33.3.7. 触发PID NNN看门狗定时器

33.3.8. 处理初始Lustre文件系统设置的超时

33.3.9. 处理``LustreError: xxx went back in time''错误

33.3.10. Lustre错误: ``!Slow StartPageWrite!''

33.3.11. 多客户端O_APPEND写入的劣势

33.3.12. Lustre文件系统启动时的减速

33.3.13. OST上的日志信息''!Out of Memory¡`

33.3.14. 设置SCSI I/O大小

第三十四章故障恢复

34.1. 在备份ldiskfs文件系统上恢复错误或损坏

34.2. 在Lustre文件系统上恢复损坏

34.2.1. 处理孤立对象

34.3. 从不可用的OST中恢复

34.4. 使用LFSCK检查文件系统

34.4.1. LFSCK switch接口

34.4.2. 查看 LFSCK全局状态

34.4.3. LFSCK status接口

34.4.4. LFSCK adjustment接口

第三十五章 Lustre文件系统调试

35.1. 诊断调试工具

35.1.1. Lustre调试工具

35.1.2. 扩展调试工具

35.2. Lustre调试过程

35.2.1. 了解Lustre调试消息格式

35.2.2. 使用lctl工具查看调试信息

35.2.3. 将缓冲区内容转储到文件 (!debugdaemon!)

35.2.4. 写入内核调试日志的控制信息

35.2.5. 使用 !strace!进行故障排除

35.2.6. 查看磁盘内容

35.2.7. 查找OST的Lustre UUID

35.2.8. 打印调试消息至控制台

35.2.9. 锁流量跟踪

35.2.10. 控制台消息速率限制

35.3. Lustre开发调试

35.3.1. 在Lustre源代码中添加调试功能

35.3.2. 访问!ptlrpc!请求历史

35.3.3. 使用 !leakfinder.pl!查找内存泄漏

第三十六章 Lustre文件系统恢复

36.1. 概述

36.1.1. 客户端故障

36.1.2. 客户端驱逐

36.1.3. MDS故障（切换）

36.1.4. OST故障（切换）

36.1.5. 网络分区

36.1.6. 恢复失败

36.2. 原数据重放

36.2.1. XID编号

36.2.2. 交易编号

36.2.3. 重放和重发

36.2.4. 客户端重放列表

36.2.5. 服务器恢复

36.2.6. 请求重放

36.2.7. 重放序列中的间隙

36.2.8. 锁恢复

36.2.9. 请求重发

36.3. 重建回复

36.3.1. 所需状态

36.3.2. 重建''打开请求``的回复

36.3.3. 客户端上的多个回复数据

36.4. 基于版本的恢复

36.4.1. VBR消息

36.4.2. VBR使用建议

36.5. 共享提交

36.5.1. COS的工作原理

36.5.2. COS调试

36.6. 强制恢复

36.6.1. MGS的作用

36.6.2. IR调试

36.6.3. IR配置建议

36.7. Ping抑制

36.7.1. 内核模块参数``suppress_pings''

36.7.2. 客户端死亡通知

第三十七章 Lustre参数

37.1. 简介

37.1.1. 识别Lustre文件系统和服务器

37.2. 多块分配的调试 (mballoc)

37.3. Lustre文件系统I/O监控

37.3.1. 客户端RPC流监控

37.3.2. 客户端活动监控

37.3.3. 客户端读写位移统计信息监控

37.3.4. 客户端读写范围统计信息监控

37.4.5. 客户端元数据RPC流的调试

37.5. Lustre文件系统超时配置

37.5.1. 配置自适应超时

37.5.2. 设置静态超时

37.6. LNet监控

37.7. 在OST上分配空闲空间

37.8. 配置锁

37.9. 设置MDS和OSS线程计数

37.10. 调试日志

37.10.1. 解析OST统计数据

37.4. Lustre文件系统I/O调试

37.4.1. 客户端I/O RPC流的调试

37.4.2. 文件Readahead和目录Statahead的调试

37.4.3. OSS读缓存的调试

37.4.4. 启用OSS异步日志提交

37.10.2. MDT统计数据解析

第三十八章用户实用程序

38.1. !lfs!

38.1.1. 梗概

38.1.2. 说明

38.1.3. 选项

38.1.4. 示例

38.2. !lfsmigrate!

38.2.1. 梗概

38.2.2. 说明

38.2.3. 选项

38.2.4. 示例

38.3. !filefrag!

38.3.1. 梗概

38.3.2. 说明

38.3.3. 选项

38.3.4. 示例

38.4. !mount!

38.5. 处理超时

第三十九章程序接口

39.1. 用户/组回调（upcall）

39.1.1. 梗概

39.1.2. 说明

39.1.3. 参数

39.1.4. 数据结构

39.2. !lgetidentity!

39.2.1. 梗概

39.2.2. 说明

39.2.3. 文件

第四十章在C程序中设置Lustre属性 (!llapi!)

40.1. !llapifilecreate!

40.1.1. 梗概

40.1.2. 说明

40.1.3. 示例

40.2. !llapifilegetstripe!

40.2.1. 梗概

40.2.2. 说明

40.2.3. 返回值

40.2.4. 错误

40.2.5. 示例

40.3. !llapifileopen!

40.3.1. 梗概

40.3.2. 说明

40.3.3. 返回值

40.3.4. 错误

40.3.5. 示例

40.4. !llapiquotactl!

40.4.1. 梗概

40.4.2. 说明

40.4.3. 返回值

40.4.4. 错误

40.5. !llapipath2fid!

40.5.1. 梗概

40.5.2. 说明

40.5.3. 返回值

40.6. !llapiladvise!

40.6.1. 梗概

40.6.2. 说明

40.6.3. 返回值

40.6.4. 错误

40.7. !llapi! 库使用示例

第四十一章配置文件和模块参数

41.1. 简介

41.2. 模块选项

41.2.1. LNet选项

41.2.2. !SOCKLND! 内核TCP/IP LND

第四十二章系统配置工具

42.1. e2scan

42.1.1. 梗概

42.1.2. 说明

42.1.3. 选项

42.2. l_getidentity

42.2.1. 梗概

42.2.2. 说明

42.2.3. 选项

42.2.4. 文件

42.3. lctl

42.3.1. 梗概

42.3.2. 说明

42.3.3. 使用lctl设置参数

42.3.4. 选项

42.3.5. 示例

42.4. ll_decode_filter_fid

42.4.1. 梗概

42.4.2. 说明

42.4.3. 示例

42.5. ll_recover_lost_found_objs

42.5.1. 梗概

42.5.2. 说明

42.5.3. 选项

42.5.4. 示例

42.6. llobdstat

42.6.1. 梗概

42.6.2. 说明

42.6.3. 示例

42.6.4. 文件

42.7. llog_reader

42.7.1. 梗概

42.7.2. 说明

42.8. llstat

42.8.1. 梗概

42.8.2. 说明

42.8.3. 选项

42.8.4. 示例

42.8.5. 文件

42.9. llverdev

42.9.1. 梗概

42.9.2. 说明

42.9.3. 选项

42.9.4. 示例

42.10. lshowmount

42.10.1. 梗概

42.10.2. 说明

42.10.3. 选项

42.10.4. 文件

42.11. lst

42.11.1. 梗概

42.11.2. 说明

42.11.3. 模块

42.11.4. 功能

42.11.5. 脚本示例

42.12. lustre_rmmod.sh

42.13. lustre_rsync

42.13.1. 梗概

42.13.2. 说明

42.13.3. 选项

42.13.4. 示例

42.14. mkfs.lustre

42.14.1. 梗概

42.14.2. 说明

42.14.3. 示例

42.15. mount.lustre

42.15.1. 梗概

42.15.2. 说明

42.15.3. 选项

42.15.4. 示例

42.16. plot-llstat

42.16.1. 梗概

42.16.2. 说明

42.16.3. 选项

42.16.4. 示例

42.17. routerstat

42.17.1. 梗概

42.17.2. 说明

42.17.3. 输出

42.17.4. 示例

42.17.5. 文件

42.18. tunefs.lustre

42.18.1. 梗概

42.18.2. 说明

42.18.3. 选项

42.18.4. 示例

42.19. 附加系统配置程序

42.19.1. 应用程序分析工具

42.19.2. More/proc统计信息

42.19.3. 测试和调试工具

42.19.4. Fileset（文件集）功能

第四十三章 LNet配置C-API

43.1. API通用信息

43.1.1. API返回代码

43.1.2. API普通输入参数

43.1.3. API普通输出参数

43.2. LNet配置C-API

43.2.1. 配置LNet

43.2.2. 启用/禁用路由

43.2.3. 添加路由

43.2.4. 删除路由

43.2.5. 显示路由

43.2.6. 添加网络接口

43.2.7. 删除网络接口

43.2.8. 显示网络接口

43.2.9. 调整路由器缓冲池

43.2.10. 显示路由信息

43.2.11. 显示LNet流量统计数据

43.2.12. 添加/删除/显示参数

43.2.13. 添加路由的代码示例

Lustre 文件系统操作手册译者: 李希 September 27, 2018

Lustre 文件系统操作手册目录第一章 Lustre 结构探析译者：李希 28 1.1 Lustre 文件系统是什么 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.1.1. 性能特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 1.2. Lustre 组件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 1.2.1. 管理服务器 (MGS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 1.2.2 Lustre 文件系统组件 . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 1.2.3 Lustre 网络 (LNet) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.2.4 Lustre 集群 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.3. Lustre 文件系统存储与 I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.3.1. Lustre 文件系统条带化 . . . . . . . . . . . . . . . . . . . . . . . . . 37 第二章 Lustre 网络（LNet） 2.1. LNet 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2. LNet 的主要功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.Lustre 网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 41 41 41 2.4. 支持的网络类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 第三章 Lustre 文件系统的故障切换 42 3.1. 什么是故障切换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.1.1 故障切换功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.1.2 故障切换配置类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.2. Lustre 文件系统中的故障切换功能 . . . . . . . . . . . . . . . . . . . . . . 44 3.2.1 MDT 故障切换配置（主动/被动） . . . . . . . . . . . . . . . . . . . 45 3.2.2 MDT 故障切换配置（主动/主动） . . . . . . . . . . . . . . . . . . . 45 3.2.3 OST 故障切换配置（主动/主动） . . . . . . . . . . . . . . . . . . . 45 第四章安装概述 47 4.1. 安装 Lustre 软件的步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 1

Lustre 文件系统操作手册第五章 Lustre 硬件配置要求和格式化选项译者：李希 48 5.1. 硬件方面的考虑 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.1.1 MGT 和 MDT 存储硬件 . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.1.2 OST 存储硬件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.2. 确定空间需求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.1 确定 MGT 空间需求 . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.2 确定 MDT 空间需求 . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.3 确定 OST 空间需求 . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3. 设置 ldiskfs 文件系统格式化选项 . . . . . . . . . . . . . . . . . . . . . . . 5.3.1 为 ldiskfs MDT 设置格式化选项 . . . . . . . . . . . . . . . . . . . . . 5.3.2 为 ldiskfs OST 设置格式化选项 . . . . . . . . . . . . . . . . . . . . . 5.4. 文件和文件系统的极限值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.5. 确定内存需求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.5.1 客户端内存需求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.5.2 MDS 内存需求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.5.3 OSS 内存需求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 51 52 53 53 53 54 55 56 56 56 57 5.6. Lustre 文件系统的网络实现 . . . . . . . . . . . . . . . . . . . . . . . . . . 58 第六章 Lustre 文件系统上的存储配置 6.1. 为 MDTs 和 OSTs 选择存储设备。 . . . . . . . . . . . . . . . . . . . . . . . 6.1.1 元数据目标（MDT） . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 59 59 6.1.2 对象存储服务器（OST） . . . . . . . . . . . . . . . . . . . . . . . . 60 6.2. 可靠性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 6.3. 性能权衡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 6.4. ldiskfs RAID 设备的格式化选项 . . . . . . . . . . . . . . . . . . . . . . . . 6.4.1 计算 mkfs 的文件系统参数 . . . . . . . . . . . . . . . . . . . . . . . 61 61 6.4.2 外部日志的参数设置 . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 6.5. 连接 SAN 至 Lustre 文件系统 . . . . . . . . . . . . . . . . . . . . . . . . . 62 2

Lustre 文件系统操作手册第七章网络端口绑定设置译者：李希 63 7.1. 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 7.2. 相关要求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 7.3. 绑定模块参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 7.4. 设置绑定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 7.4.1. 示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 7.5.Lustre 文件系统中配置绑定 . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 7.6. 其他参考资料 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 第八章 Lustre 软件系统安装 8.1. 安装准备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.1.1. 软件需求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.1.2. 环境要求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2.Lustre 软件安装程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第九章 Lustre 网络配置 (LNet) 9.1. 通过 lnetctl配置 LNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.1.1. 配置 LNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.1.2. 显示全局设置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.1.3. 添加、删除、显示网络 . . . . . . . . . . . . . . . . . . . . . . . . . 9.1.4. 手动添加、删除、显示对等节点 . . . . . . . . . . . . . . . . . . . . 9.1.5. 动态节点发现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 70 70 72 72 74 74 74 74 75 77 79 9.1.6. 添加、删除、显示路由 . . . . . . . . . . . . . . . . . . . . . . . . . 80 9.1.7. 启用和禁用路由 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 9.1.8. 显示路由信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 9.1.9. 配置路由缓冲 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 9.1.10. 引入 YAML 配置文件 . . . . . . . . . . . . . . . . . . . . . . . . . 83 9.1.11. 导出 YAML 配置文件 . . . . . . . . . . . . . . . . . . . . . . . . . . 84 3

Lustre 文件系统操作手册译者：李希 9.1.12. 显示 LNet 流量数据信息 . . . . . . . . . . . . . . . . . . . . . . . . 84 9.1.13. YAML 语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 9.2. LNet 模块参数概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 9.2.1. 使用 Lustre 网络标识符 (NID) 识别节点 . . . . . . . . . . . . . . . 87 9.3. 设置 LNet 模块 networks 参数 . . . . . . . . . . . . . . . . . . . . . . . . . 87 9.3.1. 多宿主服务器范例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 9.4. 设置 LNet 模块 ip2nets 参数 . . . . . . . . . . . . . . . . . . . . . . . . . . 89 9.5. 设置 LNet 模块 routes 参数 . . . . . . . . . . . . . . . . . . . . . . . . . . 9.5.1. 路由配置示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 91 9.6. 测试 LNet 配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 9.7. 配置路由器检查器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 9.8. LNet 选项最佳实例配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 9.8.1. 用引号逗号 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 9.8.2. 增加注释 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 第十章 Lustre 文件系统配置 95 10.1. 配置简单的 Lustre 文件系统 . . . . . . . . . . . . . . . . . . . . . . . . . 95 10.1.1. 简单 Lustre 配置示例 . . . . . . . . . . . . . . . . . . . . . . . . . 98 10.2. 其他附加配置选项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 10.2.1. 扩展 Lustre 文件系统 . . . . . . . . . . . . . . . . . . . . . . . . . 105 10.2.2. 更改条带化默认配置 . . . . . . . . . . . . . . . . . . . . . . . . . . 105 10.2.3. 使用 Lustre 配置实用程序 . . . . . . . . . . . . . . . . . . . . . . . 106 第十一章 Lustre 故障切换配置 106 11.1. 故障切换环境设置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 11.1.1 选择电源设备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 11.1.2 选择电源管理软件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 11.1.3 选择高可用性软件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 4

Lustre 文件系统操作手册译者：李希 11.2. Lustre 文件系统故障切换的准备工作 . . . . . . . . . . . . . . . . . . . . . 108 第十二章 Lustre 文件系统监控配置 109 12.1. Lustre Changelogs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 12.1.1 Changelogs 相关命令 . . . . . . . . . . . . . . . . . . . . . . . . . . 111 12.1.2 Changelogs 命令示例 . . . . . . . . . . . . . . . . . . . . . . . . . . 112 12.1.3 Changelogs 审计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 12.1.3.1 启用审计功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 12.1.3.2 审计功能示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 12.2. Lustre Jobstats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 12.2.1 Jobstats 如何工作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 12.2.2 启用/禁用 Jobstats . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 12.2.3 查看 Jobstats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 12.2.4 清除 Jobstats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 12.2.5 配置自动清理 (Auto-cleanup) 时间间隔 . . . . . . . . . . . . . . . 122 12.3. Lustre 监控工具（LMT） . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 12.4. CollectL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 12.5. 其他监控选项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 第十三章 Lustre 操作详解 123 13.1. 通过标签挂载 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 13.2. 启动 Lustre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 13.3. 挂载服务器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 13.4. 关闭文件系统 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 13.5. 在服务器上卸载目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 13.6. 为 OSTs 指定故障切换模式 . . . . . . . . . . . . . . . . . . . . . . . . . . 127 13.7. 处置降级 OST 磁盘阵列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 13.8. 运行多个 Lustre 文件系统 . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 5

Lustre 文件系统操作手册译者：李希 13.9. 在给定 MDT 上创建子目录 . . . . . . . . . . . . . . . . . . . . . . . . . . 130 13.10. 在多个 MDTs 上创建条带目录 . . . . . . . . . . . . . . . . . . . . . . . . 131 13.11. 设置及查看 Lustre 参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 13.11.1. 用mkfs.lustre设置可调试参数 . . . . . . . . . . . . . . . . . . 131 13.11.2. 用tunefs.lustre设置参数 . . . . . . . . . . . . . . . . . . . . 132 13.11.3. 用 lctl设置参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 13.12. 指定 NIDs 和故障切换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 13.13. 擦除文件系统 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 13.14. 回收预留磁盘空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 13.15. 替换当前 OST 或 MDT . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 13.16. 识别 OST 对象隶属于哪个 Lustre 文件 . . . . . . . . . . . . . . . . . . . 137 第十四章 Lustre 的日常维护 139 14.1. 非活动 OSTs 相关操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 14.2. 查看 Lustre 文件系统所有节点 . . . . . . . . . . . . . . . . . . . . . . . . 139 14.3. 在无 Lustre 服务的情况下挂载服务器 . . . . . . . . . . . . . . . . . . . . 140 14.4. 重新生成 Lustre 配置日志 . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 14.5. 更改服务器 NID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 14.6. 在 Lustre 文件系统中加入新的 MDT . . . . . . . . . . . . . . . . . . . . . 143 14.7. 在 Lustre 文件系统中添加新的 OST . . . . . . . . . . . . . . . . . . . . . 144 14.8. 移除及恢复 MDT 和 OST . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 14.8.1. 在文件系统中移除 MDT . . . . . . . . . . . . . . . . . . . . . . . . 145 14.8.2. 不活跃的 MDTs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 14.8.3. 在文件系统中移除 OST . . . . . . . . . . . . . . . . . . . . . . . . 146 14.8.4. 备份 OST 配置文件 . . . . . . . . . . . . . . . . . . . . . . . . . . 148 14.8.5. 恢复 OST 配置文件 . . . . . . . . . . . . . . . . . . . . . . . . . . 148 14.8.6. 重新激活 OST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 14.9. 终止恢复 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 6

Lustre 文件系统操作手册译者：李希 14.10. 确定服务 OST 的机器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 14.11. 更改故障节点地址 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 14.12. 分离组合的 MGS/MDT . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 第十五章管理 Lustre Networking (LNet) 152 15.1. 更新路由或端的健康状态 . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 15.2. 启动和关闭 LNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 15.2.1. 启动 LNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 15.2.2. 关闭 LNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 15.3. 基于 LNet 多轨配置的硬件 . . . . . . . . . . . . . . . . . . . . . . . . . . 154 15.4. 利用 InfiniBand* 网络实现负载平衡 . . . . . . . . . . . . . . . . . . . . . 154 15.4.1. 在lustre.conf中配置负载均衡 . . . . . . . . . . . . . . . . . . . 154 15.5. 动态配置 LNet 路由 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 15.5.1. lustre_routes_config . . . . . . . . . . . . . . . . . . . . . . 157 15.5.2. lustre_routes_conversion . . . . . . . . . . . . . . . . . . . 158 15.5.3. Route Configuration Examples . . . . . . . . . . . . . . . . 158 第十六章 LNet 软件多轨 158 16.1. 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 16.2. 配置多轨 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 16.2.1. 在本地节点上配置多个接口 . . . . . . . . . . . . . . . . . . . . . . 159 16.2.2. 删除网络接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 16.2.3. 增加具有多轨功能的远程对等节点 . . . . . . . . . . . . . . . . . . 162 16.2.4. 删除远程对等节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 16.3. 多轨路由注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 16.3.1. 多轨集群示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 16.3.2. 路由器可恢复功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 16.3.3. 多轨及非多轨混合集群 . . . . . . . . . . . . . . . . . . . . . . . . 167 7

分享到：

赞收藏

资料库

Lustre_Manual_cn.pdf

相关推荐

存储

热门标签

最新资料