深度学习手稿-机器学习算法与Python学习.pdf-资料库

2020/4/30 下载 | 连『吴恩达』都点赞的深度学习笔记 https://mp.weixin.qq.com/s?__biz=MzIxODM4MjA5MA==&tempkey=MTA1OV9QL2FOekdvZ0crbHZKZzRQRXg3SlpzcEtnV1ItMGlLZjZsbVl4aFJCcTIx… 1/23 下载 | 连『吴恩达』都点赞的深度学习笔记吴恩达在推特上展示了⼀份由 T e s s F e r r a n d e z 完成的深度学习专项课程信息图，这套信息图优美地记录了深度学习课程的知识与亮点。因此它不仅仅适合初学者了解深度学习，还适合机器学习从业者和研究者复习基本概念。机器之⼼认为这不仅仅是⼀份课程笔记，同时还是⼀套信息图与备忘录。下⾯，我们将从深度学习基础、卷积⽹络和循环⽹络三个⽅⾯介绍该笔记，并提供信息图下载地址。深度学习基础 1 . 深度学习基本概念监督学习：所有输⼊数据都有确定的对应输出数据，在各种⽹络架构中，输⼊数据和输出数据的节点层都位于⽹络的两端，训练过程就是不断地调整它们之间的⽹络连接权重。左上：列出了各种不同⽹络架构的监督学习，⽐如标准的神经⽹络（ N N ）可⽤于训练房⼦特征和房价之间的函数，卷积神经⽹络（ C N N ）可⽤于训练图像和类别之间的函数，循环神经⽹络（ R N N ）可⽤于训练语⾳和⽂本之间的函数。左下：分别展示了 N N 、 C N N 和 R N N 的简化架构。这三种架构的前向过程各不相同， N N 使⽤的是权重矩阵（连接）和节点值相乘并陆续传播⾄下⼀层节点的⽅式； C N N 使⽤矩形卷积核在图像输⼊上依次进⾏卷积操作、滑动，得到下⼀层输⼊的⽅式； R N N 记忆或遗忘先前时间步的信息以为当前计算过程提供⻓期记忆。章数据。 2 0 2 0 - 0 4 - 3 0 1 8 : 2 7 : 1 3 机器学习算法与 P y t h o n 学习⼿机阅读此为临时链接，仅⽤于预览，将在短期内失效。⽣成永久预览壹伴图⽂章⼯具采集图⽂合成多采集样式查看封预估粉丝数头条订阅公众号历史推⽂号采集⽂机器学习算 g u o d o n g w 9 9 1

2020/4/30 下载 | 连『吴恩达』都点赞的深度学习笔记 https://mp.weixin.qq.com/s?__biz=MzIxODM4MjA5MA==&tempkey=MTA1OV9QL2FOekdvZ0crbHZKZzRQRXg3SlpzcEtnV1ItMGlLZjZsbVl4aFJCcTIx… 2/23 右上： N N 可以处理结构化数据（表格、数据库等）和⾮结构化数据（图像、⾳频等）。右下：深度学习能发展起来主要是由于⼤数据的出现，神经⽹络的训练需要⼤量的数据；⽽⼤数据本身也反过来促进了更⼤型⽹络的出现。深度学习研究的⼀⼤突破是新型激活函数的出现，⽤ R e L U 函数替换 s i g m o i d 函数可以在反向传播中保持快速的梯度下降过程， s i g m o i d 函数在正⽆穷处和负⽆穷处会出现趋于零的导数，这正是梯度消失导致训练缓慢甚⾄失败的主要原因。要研究深度学习，需要学会「 i d e a — 代码 — 实验 — i d e a 」的良性循环。 2 . l o g i s t i c 回归左上： l o g i s t i c 回归主要⽤于⼆分类问题，如图中所示， l o g i s t i c 回归可以求解⼀张图像是不是猫的问题，其中图像是输⼊（ x ），猫（ 1 ）或⾮猫（ 0 ）是输出。我们可以将 l o g i s t i c 回归看成将两组数据点分离的问题，如果仅有线性回归（激活函数为线性），则对于⾮线性边界的数据点（例如，⼀组数据点被另⼀组包围）是⽆法有效分离的，因此在这⾥需要⽤⾮线性激活函数替换线性激活函数。在这个案例中，我们使⽤的是 s i g m o i d 激活函数，它是值域为（ 0 , 1 ）的平滑函数，可以使神经⽹络的输出得到连续、归⼀（概率值）的结果，例如当输出节点为（ 0 . 2 , 0 . 8 ）时，判定该图像是⾮猫（ 0 ）。左下：神经⽹络的训练⽬标是确定最合适的权重 w 和偏置项 b ，那这个过程是怎么样的呢？这个分类其实就是⼀个优化问题，优化过程的⽬的是使预测值 y h a t 和真实值 y 之间的差距最⼩，形式上可以通过寻找⽬标函数的最⼩值来实现。所以我们⾸先确定⽬标函数（损失函数、代价函数）的形式，然后⽤梯度下降逐步更新 w 、 b ，当损失函数达到最⼩值或者⾜够⼩时，我们就能获得很好的预测结果。右上：损失函数值在参数曲⾯上变化的简图，使⽤梯度可以找到最快的下降路径，学习率的⼤⼩可以决定收敛的速度和最终结果。学习率较⼤时，初期收敛很快，不易停留在局部极⼩值，但后期难以收敛到稳定的值；学习率较⼩时，情况刚好相反。⼀般⽽⾔，我们希望训练初期学习率较⼤，后期学习率较⼩，之后会介绍变化学习率的训练⽅法。章数据。此为临时链接，仅⽤于预览，将在短期内失效。⽣成永久预览预估粉丝数头条订阅公众号历史推⽂号采集⽂机器学习算 g u o d o n g w 9 9 1

2020/4/30 下载 | 连『吴恩达』都点赞的深度学习笔记 https://mp.weixin.qq.com/s?__biz=MzIxODM4MjA5MA==&tempkey=MTA1OV9QL2FOekdvZ0crbHZKZzRQRXg3SlpzcEtnV1ItMGlLZjZsbVl4aFJCcTIx… 3/23 右下：总结整个训练过程，从输⼊节点 x 开始，通过前向传播得到预测输出 y h a t ，⽤ y h a t 和 y 得到损失函数值，开始执⾏反向传播，更新 w 和 b ，重复迭代该过程，直到收敛。 3 . 浅层⽹络的特点左上：浅层⽹络即隐藏层数较少，如图所示，这⾥仅有⼀个隐藏层。左下：这⾥介绍了不同激活函数的特点： s i g m o i d ： s i g m o i d 函数常⽤于⼆分分类问题，或者多分类问题的最后⼀层，主要是由于其归⼀化特性。 s i g m o i d 函数在两侧会出现梯度趋于零的情况，会导致训练缓慢。 t a n h ：相对于 s i g m o i d ， t a n h 函数的优点是梯度值更⼤，可以使训练速度变快。 R e L U ：可以理解为阈值激活（ s p i k i n g m o d e l 的特例，类似⽣物神经的⼯作⽅式），该函数很常⽤，基本是默认选择的激活函数，优点是不会导致训练缓慢的问题，并且由于激活值为零的节点不会参与反向传播，该函数还有稀疏化⽹络的效果。 L e a k y R e L U ：避免了零激活值的结果，使得反向传播过程始终执⾏，但在实践中很少⽤。右上：为什么要使⽤激活函数呢？更准确地说是，为什么要使⽤⾮线性激活函数呢？上图中的实例可以看出，没有激活函数的神经⽹络经过两层的传播，最终得到的结果和单层的线性运算是⼀样的，也就是说，没有使⽤⾮线性激活函数的话，⽆论多少层的神经⽹络都等价于单层神经⽹络（不包含输⼊层）。右下：如何初始化参数 w 、 b 的值？当将所有参数初始化为零的时候，会使所有的节点变得相同，在训练过程中只能学到相同的特征，⽽⽆法学到多层级、多样化的特征。解决办法是随机初始化所有参数，但仅需少量的⽅差就⾏，因此使⽤ R a n d （ 0 . 0 1 ）进⾏初始化，其中 0 . 0 1 也是超参数之⼀。章数据。此为临时链接，仅⽤于预览，将在短期内失效。⽣成永久预览预估粉丝数头条订阅公众号历史推⽂号采集⽂机器学习算 g u o d o n g w 9 9 1

2020/4/30 下载 | 连『吴恩达』都点赞的深度学习笔记 https://mp.weixin.qq.com/s?__biz=MzIxODM4MjA5MA==&tempkey=MTA1OV9QL2FOekdvZ0crbHZKZzRQRXg3SlpzcEtnV1ItMGlLZjZsbVl4aFJCcTIx… 4/23 4 . 深度神经⽹络的特点左上：神经⽹络的参数化容量随层数增加⽽指数式地增⻓，即某些深度神经⽹络能解决的问题，浅层神经⽹络需要相对的指数量级的计算才能解决。左下： C N N 的深度⽹络可以将底层的简单特征逐层组合成越来越复杂的特征，深度越⼤，其能分类的图像的复杂度和多样性就越⼤。 R N N 的深度⽹络也是同样的道理，可以将语⾳分解为⾳素，再逐渐组合成字⺟、单词、句⼦，执⾏复杂的语⾳到⽂本任务。右边：深度⽹络的特点是需要⼤量的训练数据和计算资源，其中涉及⼤量的矩阵运算，可以在 G P U 上并⾏执⾏，还包含了⼤量的超参数，例如学习率、迭代次数、隐藏层数、激活函数选择、学习率调整⽅案、批尺⼨⼤⼩、正则化⽅法等。 5 . 偏差与⽅差那么部署你的机器学习模型需要注意些什么？下图展示了构建 M L 应⽤所需要的数据集分割、偏差与⽅差等问题。章数据。此为临时链接，仅⽤于预览，将在短期内失效。⽣成永久预览预估粉丝数头条订阅公众号历史推⽂号采集⽂机器学习算 g u o d o n g w 9 9 1

2020/4/30 下载 | 连『吴恩达』都点赞的深度学习笔记 https://mp.weixin.qq.com/s?__biz=MzIxODM4MjA5MA==&tempkey=MTA1OV9QL2FOekdvZ0crbHZKZzRQRXg3SlpzcEtnV1ItMGlLZjZsbVl4aFJCcTIx… 5/23 如上所示，经典机器学习和深度学习模型所需要的样本数有⾮常⼤的差别，深度学习的样本数是经典 M L 的成千上万倍。因此训练集、开发集和测试集的分配也有很⼤的区别，当然我们假设这些不同的数据集都服从同分布。偏差与⽅差问题同样是机器学习模型中常⻅的挑战，上图依次展示了由⾼偏差带来的⽋拟合和由⾼⽅差带来的过拟合。⼀般⽽⾔，解决⾼偏差的问题是选择更复杂的⽹络或不同的神经⽹络架构，⽽解决⾼⽅差的问题可以添加正则化、减少模型冗余或使⽤更多的数据进⾏训练。当然，机器学习模型需要注意的问题远不⽌这些，但在配置我们的 M L 应⽤中，它们是最基础和最重要的部分。其它如数据预处理、数据归⼀化、超参数的选择等都在后⾯的信息图中有所体现。 6 . 正则化正则化是解决⾼⽅差或模型过拟合的主要⼿段，过去数年，研究者提出和开发了多种适合机器学习算法的正则化⽅法，如数据增强、 L 2 正则化（权重衰减）、 L 1 正则化、 D r o p o u t 、 D r o p C o n n e c t 、随机池化和提前终⽌等。章数据。此为临时链接，仅⽤于预览，将在短期内失效。⽣成永久预览预估粉丝数头条订阅公众号历史推⽂号采集⽂机器学习算 g u o d o n g w 9 9 1

2020/4/30 下载 | 连『吴恩达』都点赞的深度学习笔记 https://mp.weixin.qq.com/s?__biz=MzIxODM4MjA5MA==&tempkey=MTA1OV9QL2FOekdvZ0crbHZKZzRQRXg3SlpzcEtnV1ItMGlLZjZsbVl4aFJCcTIx… 6/23 如上图左列所示， L 1 和 L 2 正则化也是是机器学习中使⽤最⼴泛的正则化⽅法。 L 1 正则化向⽬标函数添加正则化项，以减少参数的绝对值总和；⽽ L 2 正则化中，添加正则化项的⽬的在于减少参数平⽅的总和。根据之前的研究， L 1 正则化中的很多参数向量是稀疏向量，因为很多模型导致参数趋近于 0 ，因此它常⽤于特征选择设置中。此外，参数范数惩罚 L 2 正则化能让深度学习算法「感知」到具有较⾼⽅差的输⼊ x ，因此与输出⽬标的协⽅差较⼩（相对增加⽅差）的特征权重将会收缩。在中间列中，上图展示了 D r o p o u t 技术，即暂时丢弃⼀部分神经元及其连接的⽅法。随机丢弃神经元可以防⽌过拟合，同时指数级、⾼效地连接不同⽹络架构。⼀般使⽤了 D r o p o u t 技术的神经⽹络会设定⼀个保留率 p ，然后每⼀个神经元在⼀个批量的训练中以概率 1 - p 随机选择是否去掉。在最后进⾏推断时所有神经元都需要保留，因⽽有更⾼的准确度。 B a g g i n g 是通过结合多个模型降低泛化误差的技术，主要的做法是分别训练⼏个不同的模型，然后让所有模型表决测试样例的输出。⽽ D r o p o u t 可以被认为是集成了⼤量深层神经⽹络的 B a g g i n g ⽅法，因此它提供了⼀种廉价的 B a g g i n g 集成近似⽅法，能够训练和评估值数据数量的神经⽹络。最后，上图还描述了数据增强与提前终⽌等正则化⽅法。数据增强通过向训练数据添加转换或扰动来⼈⼯增加训练数据集。数据增强技术如⽔平或垂直翻转图像、裁剪、⾊彩变换、扩展和旋转通常应⽤在视觉表象和图像分类中。⽽提前终⽌通常⽤于防⽌训练中过度表达的模型泛化性能差。如果迭代次数太少，算法容易⽋拟合（⽅差较⼩，偏差较⼤），⽽迭代次数太多，算法容易过拟合（⽅差较⼤，偏差较⼩）。因此，提前终⽌通过确定迭代次数解决这个问题。 7 . 最优化最优化是机器学习模型中⾮常⾮常重要的模块，它不仅主导了整个训练过程，同时还决定了最后模型性能的好坏和收敛需要的时⻓。以下两张信息图都展示了最优化⽅法需要关注的知识点，包括最优化的预备和具体的最优化⽅法。章数据。此为临时链接，仅⽤于预览，将在短期内失效。⽣成永久预览预估粉丝数头条订阅公众号历史推⽂号采集⽂机器学习算 g u o d o n g w 9 9 1

2020/4/30 下载 | 连『吴恩达』都点赞的深度学习笔记 https://mp.weixin.qq.com/s?__biz=MzIxODM4MjA5MA==&tempkey=MTA1OV9QL2FOekdvZ0crbHZKZzRQRXg3SlpzcEtnV1ItMGlLZjZsbVl4aFJCcTIx… 7/23 以上展示了最优化常常出现的问题和所需要的操作。⾸先在执⾏最优化前，我们需要归⼀化输⼊数据，⽽且开发集与测试集归⼀化的常数（均值与⽅差）与训练集是相同的。上图也展示了归⼀化的原因，因为如果特征之间的量级相差太⼤，那么损失函数的表⾯就是⼀张狭⻓的椭圆形，⽽梯度下降或最速下降法会因为「锯⻮」现象⽽很难收敛，因此归⼀化为圆形有助于减少下降⽅向的震荡。后⾯的梯度消失与梯度爆炸问题也是⼗分常⻅的现象。「梯度消失」指的是随着⽹络深度增加，参数的梯度范数指数式减⼩的现象。梯度很⼩，意味着参数的变化很缓慢，从⽽使得学习过程停滞。梯度爆炸指神经⽹络训练过程中⼤的误差梯度不断累积，导致模型权重出现很⼤的更新，在极端情况下，权重的值变得⾮常⼤以⾄于出现 N a N 值。梯度检验现在可能⽤的⽐较少，因为我们在 T e n s o r F l o w 或其它框架上执⾏最优化算法只需要调⽤优化器就⾏。梯度检验⼀般是使⽤数值的⽅法计算近似的导数并传播，因此它能检验我们基于解析式算出来的梯度是否正确。下⾯就是具体的最优化算法了，包括最基本的⼩批量随机梯度下降、带动量的随机梯度下降和 R M S P r o p 等适应性学习率算法。章数据。此为临时链接，仅⽤于预览，将在短期内失效。⽣成永久预览预估粉丝数头条订阅公众号历史推⽂号采集⽂机器学习算 g u o d o n g w 9 9 1

2020/4/30 下载 | 连『吴恩达』都点赞的深度学习笔记 https://mp.weixin.qq.com/s?__biz=MzIxODM4MjA5MA==&tempkey=MTA1OV9QL2FOekdvZ0crbHZKZzRQRXg3SlpzcEtnV1ItMGlLZjZsbVl4aFJCcTIx… 8/23 ⼩批量随机梯度下降（通常 S G D 指的就是这种）使⽤⼀个批量的数据更新参数，因此⼤⼤降低了⼀次迭代所需的计算量。这种⽅法降低了更新参数的⽅差，使得收敛过程更为稳定；它也能利⽤流⾏深度学习框架中⾼度优化的矩阵运算器，从⽽⾼效地求出每个⼩批数据的梯度。通常⼀个⼩批数据含有的样本数量在 5 0 ⾄ 2 5 6 之间，但对于不同的⽤途也会有所变化。动量策略旨在加速 S G D 的学习过程，特别是在具有较⾼曲率的情况下。⼀般⽽⾔，动量算法利⽤先前梯度的指数衰减滑动平均值在该⽅向上进⾏修正，从⽽更好地利⽤历史梯度的信息。该算法引⼊了变量 v 作为参数在参数空间中持续移动的速度向量，速度⼀般可以设置为负梯度的指数衰减滑动平均值。上图后⾯所述的 R M S P r o p 和 A d a m 等适应性学习率算法是⽬前我们最常⽤的最优化⽅法。 R M S P r o p 算法（ H i n t o n ， 2 0 1 2 ）修改 A d a G r a d 以在⾮凸情况下表现更好，它改变梯度累积为指数加权的移动平均值，从⽽丢弃距离较远的历史梯度信息。 R M S P r o p 是 H i n t o n 在公开课上提出的最优化算法，其实它可以视为 A d a D e l t a 的特例。但实践证明 R M S P r o p 有⾮常好的性能，它⽬前在深度学习中有⾮常⼴泛的应⽤。 A d a m 算法同时获得了 A d a G r a d 和 R M S P r o p 算法的优点。 A d a m 不仅如 R M S P r o p 算法那样基于⼀阶矩均值计算适应性参数学习率，它同时还充分利⽤了梯度的⼆阶矩均值（即有偏⽅差 / u n c e n t e r e d v a r i a n c e ）。 8 . 超参数以下是介绍超参数的信息图，它在神经⽹络中占据了重要的作⽤，因为它们可以直接提升模型的性能。章数据。此为临时链接，仅⽤于预览，将在短期内失效。⽣成永久预览预估粉丝数头条订阅公众号历史推⽂号采集⽂机器学习算 g u o d o n g w 9 9 1

资料库

深度学习手稿-机器学习算法与Python学习.pdf

相关推荐

人工智能

热门标签

最新资料