PyTorch 模型训练实用教程.pdf

发布时间：2022-05-31 发布人：admin 分类：说明书资料大小：4.66M 资料格式：pdf 举报版权申诉

qq_29893385-10991608-4744302542897025400.pdf-第1页.png

第1页 / 共85页

qq_29893385-10991608-4744302542897025400.pdf-第2页.png

第2页 / 共85页

qq_29893385-10991608-4744302542897025400.pdf-第3页.png

第3页 / 共85页

qq_29893385-10991608-4744302542897025400.pdf-第4页.png

第4页 / 共85页

qq_29893385-10991608-4744302542897025400.pdf-第5页.png

第5页 / 共85页

qq_29893385-10991608-4744302542897025400.pdf-第6页.png

第6页 / 共85页

qq_29893385-10991608-4744302542897025400.pdf-第7页.png

第7页 / 共85页

qq_29893385-10991608-4744302542897025400.pdf-第8页.png

第8页 / 共85页

第一章数据

1.1 Cifar10转png

1.2 训练集、验证集和测试集的划分

1.3 让PyTorch 能读你的数据集

1.4 图片从硬盘到模型

1.5 数据增强与数据标准化

1.6 transforms的二十二个方法

1.随机裁剪：transforms.RandomCrop

2.中心裁剪：transforms.CenterCrop

3.随机长宽比裁剪 transforms.RandomResizedCrop

4.上下左右中心裁剪：transforms.FiveCrop

5.上下左右中心裁剪后翻转: transforms.TenCrop

6.依概率p水平翻转transforms.RandomHorizontalFlip

7.依概率p垂直翻转transforms.RandomVerticalFlip

8.随机旋转：transforms.RandomRotation

9.resize：transforms.Resize

10.标准化：transforms.Normalize

11.转为tensor：transforms.ToTensor

12.填充：transforms.Pad

13.修改亮度、对比度和饱和度：transforms.ColorJitter

14.转灰度图：transforms.Grayscale

15.线性变换：transforms.LinearTransformation()

16.仿射变换：transforms.RandomAffine

17.依概率p转为灰度图：transforms.RandomGrayscale

18.将数据转换为PILImage：transforms.ToPILImage

19.transforms.Lambda

20.transforms.RandomChoice(transforms)

21.transforms.RandomApply(transforms, p=0.5)

22.transforms.RandomOrder

第二章模型

2.1 模型的搭建

2.1.1 模型定义的三要

2.1.2 模型定义多说两句

2.1.3 nn.Sequetial

2.2 权值初始化的十种方法

2.2.1 权值初始化流程

2.2.2 常用初始化方法

1. Xavier均匀分布

2. Xavier正态分布

3. kaiming均匀分布

4. kaiming正态分布

5. 均匀分布初始化

6. 正态分布初始化

7. 常数初始化

8. 单位矩阵初始化

9. 正交初始化

10. 稀疏初始化

11. 计算增益

权值初始化杂谈

2.3 模型Finetune

第三章损失函数与优化器

3.1 PyTorch的十七个损失函数

1. L1loss

2. MSELoss

3. CrossEntropyLoss

4. NLLLoss

5. PoissonNLLLoss

6. KLDivLoss

7. BCELoss

8. BCEWithLogitsLoss

9. MarginRankingLoss

10. HingeEmbeddingLoss

11. MultiLabelMarginLoss

12. SmoothL1Loss

13. SoftMarginLoss

14. MultiLabelSoftMarginLoss

15. CosineEmbeddingLoss

16. MultiMarginLoss

17. TripletMarginLoss

3.2 优化器基类：Optimizer

3.3 PyTorch的十个优化器

1. torch.optim.SGD

2. torch.optim.ASGD

3. torch.optim.Rprop

4. torch.optim.Adagrad

5. torch.optim.Adadelta

6. torch.optim.RMSprop

7. torch.optim.Adam(AMSGrad)

8. torch.optim.Adamax

9. torch.optim.SparseAdam

10.torch.optim.LBFGS

3.4 PyTorch的六个学习率调整方法

1. lr_scheduler.StepLR

2. lr_scheduler.MultiStepLR

3. lr_scheduler.ExponentialLR

4. lr_scheduler.CosineAnnealingLR

5. lr_scheduler.ReduceLROnPlateau

6. lr_scheduler.LambdaLR

学习率调整小结

step源码阅读

第四章监控模型——可视化

4.1 TensorBoardX

1. add_scalar()

2. add_scalars()

3. add_histogram()

4. add_image()

补充 torchvision.utils.make_grid()

5. add_graph()

6. add_embedding()

7. add_text()

8. add_video()

9. add_figure()

10. add_image_with_boxes()

11. add_pr_curve()

12. add_pr_curve_raw()

13. export_scalars_to_json()

4.2 卷积核可视化

4.3 特征图可视化

4.4 梯度及权值分布可视化

4.5 混淆矩阵及其可视化

结束语：

PyTorch 模型训练实用教程作者：余霆嵩 PyTorch 模型训练实用教程前言：自 2017 年 1 月 PyTorch 推出以来，其热度持续上升，一度有赶超 TensorFlow 的趋势。PyTorch 能在短时间内被众多研究人员和工程师接受并推崇是因为其有着诸多优点，如采用 Python 语言、动态图机制、网络构建灵活以及拥有强大的社群等。因此，走上学习 PyTorch 的道路已刻不容缓。本教程以实际应用、工程开发为目的，着重介绍模型训练过程中遇到的实际问题和方法。如上图所示，在机器学习模型开发中，主要涉及三大部分，分别是数据、模型和损失函数及优化器。本文也按顺序的依次介绍数据、模型和损失函数及优化器，从而给大家带来清晰的机器学习结构。通过本教程，希望能够给大家带来一个清晰的模型训练结构。当模型训练遇到问题时，需要通过可视化工具对数据、模型、损失等内容进行观察，分析并定位问题出在数据部分？模型部分？还是优化器？只有这样不断的通过可视化诊断你的模型，不断的对症下药，才能训练出一个较满意的模型。为什么写此教程：前几年一直在用 Caffe 和 MatConvNet，近期转 PyTorch。当时只想快速地用上 PyTorch 进行模型开发，然而搜了一圈 PyTorch 的教程，并没有找到一款本教程仅限于学习交流使用，严禁用于商业用途！ I

PyTorch 模型训练实用教程作者：余霆嵩适合的。很多 PyTorch 教程是从学习机器学习(深度学习)的角度出发，以 PyTorch 为工具进行编写，里面介绍很多模型，并且附上模型的 demo。然而，工程应用开发中所遇到的问题并不是跑一个模型的 demo 就可以的，模型开发需要对数据的预处理、数据增强、模型定义、权值初始化、模型 Finetune、学习率调整策略、损失函数选取、优化器选取、可视化等等。鉴于此，我只能自己对着官方文档，一步一步地学习。起初，只是做了一些学习笔记，后来觉得这些内容应该对大家有些许帮助，毕竟在互联网上很难找到这类内容的分享，于是此教程就诞生了。本教程内容及结构：本教程内容主要为在 PyTorch 中训练一个模型所可能涉及到的方法及函数，并且对 PyTorch 提供的数据增强方法（22 个）、权值初始化方法（10 个）、损失函数（17 个）、优化器（6 个）及 tensorboardX 的方法（13 个）进行了详细介绍。本教程分为四章，结构与机器学习三大部分一致。第一章，介绍数据的划分，预处理，数据增强；第二章，介绍模型的定义，权值初始化，模型 Finetune；第三章，介绍各种损失函数及优化器；第四章，介绍可视化工具，用于监控数据、模型权及损失函数的变化。本教程适用读者： 1．想熟悉 PyTorch 使用的朋友； 2．想采用 PyTorch 进行模型训练的朋友； 3．正采用 PyTorch，但无有效机制去诊断模型的朋友；干货直达： 1.6 transforms 的二十二个方法 2.2 权值初始化的十种方法 3.1 PyTorch 的十七个损失函数 3.3 PyTorch 的十个优化器 3.4 PyTorch 的六个学习率调整方法 4.1 TensorBoardX 项目代码：https://github.com/tensor-yu/PyTorch_Tutorial 本教程仅限于学习交流使用，严禁用于商业用途！ II

PyTorch 模型训练实用教程作者：余霆嵩意见反馈：yts3221@126.com 学习交流 QQ 群：为了更好的帮助大家学习和理解 PyTorch 以及机器学习相关知识，特建立一个 QQ 群，供大家交流，本文的最新修改也会同步到 QQ 群及 GitHub。QQ 群号：671103375 修改记录：版本日期修改内容 1. 1.6 小节勘误，将 36*36 改为 40*40； 2. 2.3 小节删除注释； 3. 修改权值初始化杂谈中的理解错误； 4. 全文代码缩进。 0.0.5 2018.12.31 夜本教程仅限于学习交流使用，严禁用于商业用途！ III

PyTorch 模型训练实用教程作者：余霆嵩目录第一章数据........................................................ 1 1.1 Cifar10 转 png ................................................ 1 1.2 训练集、验证集和测试集的划分 ................................ 2 1.3 让 PyTorch 能读你的数据集 .................................... 2 1.4 图片从硬盘到模型 ............................................ 5 1.5 数据增强与数据标准化 ...................................... 7 1.6 transforms 的二十二个方法 .................................... 10 1.随机裁剪：transforms.RandomCrop ........................... 11 2.中心裁剪：transforms.CenterCrop ............................. 12 3.随机长宽比裁剪 transforms.RandomResizedCrop ................ 12 4.上下左右中心裁剪：transforms.FiveCrop ...................... 12 5.上下左右中心裁剪后翻转: transforms.TenCrop .................. 13 6.依概率 p 水平翻转 transforms.RandomHorizontalFlip ............. 13 7.依概率 p 垂直翻转 transforms.RandomVerticalFlip ............... 13 8.随机旋转：transforms.RandomRotation ........................ 13 9.resize：transforms.Resize .................................... 14 10.标准化：transforms.Normalize............................... 14 11.转为 tensor：transforms.ToTensor ............................ 14 12.填充：transforms.Pad ...................................... 14 13.修改亮度、对比度和饱和度：transforms.ColorJitter ............ 15 14.转灰度图：transforms.Grayscale ............................. 15 15.线性变换：transforms.LinearTransformation() .................. 15 16.仿射变换：transforms.RandomAffine ......................... 15 17.依概率 p 转为灰度图：transforms.RandomGrayscale ............ 16 18.将数据转换为 PILImage：transforms.ToPILImage .............. 16 19.transforms.Lambda ........................................ 16 20.transforms.RandomChoice(transforms) ......................... 16 21.transforms.RandomApply(transforms, p=0.5) .................... 16 22.transforms.RandomOrder.................................... 16 第二章模型....................................................... 17 本教程仅限于学习交流使用，严禁用于商业用途！ IV

PyTorch 模型训练实用教程作者：余霆嵩 2.1 模型的搭建 ................................................. 17 2.1.1 模型定义的三要素...................................... 17 2.1.2 模型定义多说两句...................................... 18 2.1.3 nn.Sequetial ............................................ 21 2.2 权值初始化的十种方法 ....................................... 22 2.2.1 权值初始化流程........................................ 22 2.2.2 常用初始化方法........................................ 23 1. Xavier 均匀分布 ........................................... 24 2. Xavier 正态分布 ........................................... 24 3. kaiming 均匀分布 ......................................... 24 4. kaiming 正态分布 ......................................... 25 5. 均匀分布初始化 .......................................... 25 6. 正态分布初始化 .......................................... 25 7. 常数初始化 .............................................. 25 8. 单位矩阵初始化 .......................................... 25 9. 正交初始化 .............................................. 26 10. 稀疏初始化 ............................................. 26 11. 计算增益 ............................................... 26 权值初始化杂谈............................................. 26 2.3 模型 Finetune .............................................. 27 第三章损失函数与优化器............................................ 31 3.1 PyTorch 的十七个损失函数 .................................... 31 1. L1loss ................................................... 31 2. MSELoss ................................................. 31 3. CrossEntropyLoss .......................................... 32 4. NLLLoss ................................................. 33 5. PoissonNLLLoss ........................................... 34 6. KLDivLoss ............................................... 35 7. BCELoss ................................................. 36 8. BCEWithLogitsLoss ........................................ 37 9. MarginRankingLoss ........................................ 37 本教程仅限于学习交流使用，严禁用于商业用途！ V

PyTorch 模型训练实用教程作者：余霆嵩 10. HingeEmbeddingLoss ...................................... 38 11. MultiLabelMarginLoss ..................................... 38 12. SmoothL1Loss ........................................... 39 13. SoftMarginLoss........................................... 40 14. MultiLabelSoftMarginLoss.................................. 40 15. CosineEmbeddingLoss ..................................... 41 16. MultiMarginLoss ......................................... 41 17. TripletMarginLoss ........................................ 42 3.2 优化器基类：Optimizer...................................... 43 3.3 PyTorch 的十个优化器 ....................................... 45 1. torch.optim.SGD......................................... 45 2. torch.optim.ASGD........................................ 46 3. torch.optim.Rprop....................................... 46 4. torch.optim.Adagrad..................................... 47 5. torch.optim.Adadelta.................................... 47 6. torch.optim.RMSprop..................................... 47 7. torch.optim.Adam(AMSGrad)............................... 48 8. torch.optim.Adamax...................................... 48 9. torch.optim.SparseAdam.................................. 48 10.torch.optim.LBFGS....................................... 49 3.4 PyTorch 的六个学习率调整方法 ............................... 49 1. lr_scheduler.StepLR..................................... 49 2. lr_scheduler.MultiStepLR................................ 50 3. lr_scheduler.ExponentialLR.............................. 50 4. lr_scheduler.CosineAnnealingLR.......................... 50 5. lr_scheduler.ReduceLROnPlateau.......................... 52 6. lr_scheduler.LambdaLR................................... 53 学习率调整小结............................................. 54 step 源码阅读 .............................................. 55 第四章监控模型——可视化 ........................................... 57 4.1 TensorBoardX............................................... 57 1. add_scalar()............................................ 58 本教程仅限于学习交流使用，严禁用于商业用途！ VI

PyTorch 模型训练实用教程作者：余霆嵩 2. add_scalars()........................................... 59 3. add_histogram()......................................... 60 4. add_image()............................................. 62 补充 torchvision.utils.make_grid()......................... 62 5. add_graph()............................................. 63 6. add_embedding()......................................... 64 7. add_text().............................................. 65 8. add_video()............................................. 66 9. add_figure()............................................ 66 10. add_image_with_boxes()................................. 66 11. add_pr_curve()......................................... 66 12. add_pr_curve_raw()..................................... 66 13. export_scalars_to_json()............................... 66 4.2 卷积核可视化............................................... 67 4.3 特征图可视化............................................... 69 4.4 梯度及权值分布可视化....................................... 71 4.5 混淆矩阵及其可视化......................................... 75 本教程仅限于学习交流使用，严禁用于商业用途！ VII

PyTorch 模型训练实用教程作者：余霆嵩第一章数据 1.1 Cifar10 转 png 俗话说得好，巧妇难为无米之炊，若没有数据，我们什么也做不了。在本教程中，为了统一大家的数据，这里采用 cifar-10 的测试集，共 10000 张图片作为源数据，模拟真实场景中的数据。第一步：下载 cifar-10-python.tar.gz 下载 cifar-10-python.tar.gz，存放到 /Data 文件夹下，并且解压，获得文件夹/Data/cifar-10-batches-py/ 下载方式： 1. 官网：http://www.cs.toronto.edu/~kriz/cifar.html 2. 百度云： https://pan.baidu.com/s/1NGV8g2iBAhHwjQZWTjGEbg 提取码: p3rh 第二步：运行 1_1_cifar10_to_png.py 运行代码：Code/1_data_prepare/1_1_cifar10_to_png.py 可在文件夹 Data/cifar-10-png/raw_test/下看到 0-9 个文件夹，对应 9 个类别。脚本中未将训练集解压出来，这里只是为了实验，因此未使用过多的数据。这里仅将测试集中的 10000 张图片解压出来，作为原始图片，将从这 10000 张图片中划分出训练集 (train)，验证集(valid)，测试集(test)。运行完成，在 Data/cifar-10-png/raw_test 下将有 10 个文件夹，对应 10 个类别 . └── raw_test ├── 0 ├── 1 ├── 2 ├── 3 本教程仅限于学习交流使用，严禁用于商业用途！ 1

分享到：

赞收藏

资料库

PyTorch 模型训练实用教程.pdf

相关推荐

人工智能

热门标签

最新资料