logo资料库

基于U-Net网络的肺部CT图像中的肺结节轮廓识别.pdf

发布时间：2022-05-31 发布人：admin 分类：说明书 资料大小：1.49M 资料格式：pdf 举报 版权申诉
第1页 / 共12页
第2页 / 共12页
第3页 / 共12页
第4页 / 共12页
第5页 / 共12页
第6页 / 共12页
第7页 / 共12页
第8页 / 共12页
资料共12页，剩余部分请下载后查看
    中国科技论文在线 http://www.paper.edu.cn 基于 U-Net 网络的肺部 CT 图像中的肺结节 轮廓识别 张驰，赵磊** （山东理工大学计算机科学与技术学院,山东淄博 255049） 摘要：在肺部 CT 图像切片上，肺结节很小并且有些肺结节与周围良性组织相连。由于肺结 节的灰度值与周围良性组织的灰度值相差很小，这使得肺结节轮廓识别有很大难度。为了完 成肺结节轮廓识别任务，设计了基于 U-Net 的不同网络模型应用于肺结节轮廓识别，使用预 处理后的 LUNA16(Lung Nodule Analysis 16)数据集，引入批量归一化(Batch-Normalization) 和残差网络进行优化训练。实验结果表明，模型能以较快的速度收敛，在测试集上的识别相 似度为 0.8796。 关键词：肺结节轮廓识别；U-Net；批量归一化；残差网络； 中图分类号：TP302.1 Pulmonary nodule contour recognition in lung CT images based on U-Net network ZHANG Chi, ZHAO Lei (School of Computer Science and Technology, Shandong University of Technology, Zibo 255049) Abstract:On the CT image of the lung, the pulmonary nodules are small and some of the pulmonary nodules are connected to the surrounding benign tissue. Since the gray value of the pulmonary nodules differs little from the gray value of the surrounding benign tissue, it makes the pulmonary nodule contour recognition very difficult. In order to complete the task of pulmonary nodule contour recognition, different network models based on U-Net were designed to be used for pulmonary nodule contour recognition. The pre-processed LUNA16 (Lung Nodule Analysis 16) data set was used to introduce batch normalization (Batch- Normalization) and residual network for optimal training. The experimental results show that the model can converge at a faster rate, and the recognition similarity on the test set is 0.8796. Keywords: Pulmonary nodule contour recognition; U-Net；Batch-Normalization；residual network； 5 10 15 20 25 30 0 引言 肺结节轮廓识别属于计算机视觉中的图像分割问题，Long 等[1]提出的全卷积神经网络 (Fully Convolution Network，FCN)在图像语义分割方面取得了良好效果，被认为是卷积神经 35 网络用于图像分割任务的开端。Ronneberger等[2]提出的 U-Net网络是一种端到端的神经网 络，它基于全卷积神经网络，为生物影像分割做出了很大贡献。目前有很多针对 U-Net网络 的研究，这些研究从多角度探究如何改进其结构，并在医学图像分割方面取得良好的效果[3]。 这些研究表明，经过良好设计的U-Net网络在解决医学图像分割问题上有巨大的优势。因此， 本文基于 U-Net结构设计思想，设计了改进 U-Net网络模型应用于肺结节轮廓识别，其改进 40 体现在以下两个方面：一是引入批量归一化(Batch-Normalization, BN)，二是引入残差网络。 批量归一化是由谷歌研究院的 loffe 等[4]提出的，在 U-Net 网络中引入批量归一化是为 作者简介：张驰(1991-)，男，硕士研究生 通信联系人：赵磊(1964-)，男，教授，主要研究方向：计算机应用. E-mail: zhleisdut@163.com - 1 -
    中国科技论文在线 http://www.paper.edu.cn 了取得理想的输出结果，通过采取不同的变换方式使得各层的输入数据近似的满足独立同分 布的条件，使各层的输出限制在一定范围内，从而加速网络的训练。残差网络是微软亚洲研 45 究院的何恺明等[5]提出的，引入残差网络的目的是为了解决深层网络训练中模型退化的问 题。因为简单的网络叠加会使得训练集的损失值升高，而残差网络的加入会使训练集损失值 减小。 1 数据集与预处理 1.1 数据集 50 本文使用 LUNA16(Lung Nodule Analysis 2016)数据集[6]，它是公开可用的 CT 扫描参考 数据库，肺图像数据库联盟-图像数据库资源计划(Lung Image Database Consortium-Image Database Resource Initiative，LIDC-IDRI)的子集。LUNA16 共有 10 个子文件夹，每个文件夹 中存储着几十个病人的 CT 图像，每个病人都有一个 mhd 文件和一个同名的 raw 文件。其中 mhd 文件存储着 CT 的基本信息，包括 CT 尺寸大小，像素空间间距，原始图像中心点等。 55 raw 文件存储着实际的 CT 数据，即每个病人 CT 图像像素。文件夹中每张 CT 切片大小为 512512 像素, 切片中肺结节直径均大于 3mm。此外，LUNA16 中还有标记肺结节注释的 annotations.csv 文件，该文件记录了数据集中每个病例肺结节序列号(series uid)，中心坐标值 (coordX, coordY, coordZ)和直径(diameter)。图 1 是根据肺结节注释文件提供的中心坐标提取 的三张 CT 肺结节中心切片，每个切片中红色框框出的白色区域是肺结节。 60 图 1 CT 肺结节中心切片 Fig.1 CT lung nodule center slice 1.2 CT 肺结节中心切片预处理 CT 肺结节中心切片预处理是用不同算法提取中心切片肺部区域，每一步预处理后的结 65 果如图 2 所示。首先使用 K 均值聚类算法对图 2(a)所示的 CT 肺结节中心切片进行聚类，算 法第一步是，计算 CT 肺结节中心切片(image)所有像素灰度值的均值(mean)和标准差(std)， 应用公式(1)得到标准像素灰度值。 算法第二步是，在 CT 肺结节中心切片随机选取两个聚类中心。算法第三步是，定义误差平 70 方和损失函数 ： - 2 - )1(stdmeanimageimage),(ucJ
    中国科技论文在线 http://www.paper.edu.cn 其中公式(2)中 表示第 i 个像素， 表示 所属的类， 表示类对应的中心像素点，M 是 像素数。算法第四步是，使损失函数 最小化。对于切片中的每个像素，分别比较与两 个类中心像素的误差平方和，按照公式(3)计算每个像素所属类， 75 然后将其分配到误差平方和较小的类中。CT 肺结节中心切片所有像素分配到各自的类中后， 计算两个类中的所有像素灰度值的平均值作为新的聚类中心，K 均值聚类算法迭代直到聚类 中心不变，即损失函数收敛。然后以最后两个聚类中心像素灰度值的均值作为的阈值二值化 CT 肺结节中心切片，得到如图 2(b)所示的二值化 CT 肺结节中心切片。然后标记 CT 肺结节 80 中心切片连接区域，即将切片中灰度值相同的像素连接在一起，测量被标记区域双肺的边界 框，提取如图 2(c)所示的双肺中心切片。接着使用图像形态学腐蚀操作分离附着在肺结节上 的血管，使用图像形态学闭合操作使肺结节附着在肺壁上，然后填充肺部区域孔洞，得到如 图 2(d)所示的双肺掩模切片。将双肺掩模切片与图 2(a)CT 肺结节中心切片相乘得到如图 2(e) 所示的肺实质切片。最后再调节像素值，应用像素标准化操作得到如图 2(f)所示的像素标准 85 化肺实质切片。 图 2 CT 肺结节中心切片预处理 Fig.2 CT lung nodule center slice preprocessing 90 图 2 CT 肺结节中心切片预处理 (a) CT 肺结节中心切片；(b) 二值化后的 CT 肺结节中心切片；(c) 双肺中 心切片；(d) 双肺掩模切片；(e)肺实质切片；(f) 像素标准化后的肺实质切片； 1.3 创建实验数据集 创建实验所需要的数据集(切片和标签)，每一步得到的结果如图 3 所示。得到图 3(a)所 示的肺实质切片后，首先由注释文件提供的肺结节中心坐标，在像素值为零大小为 512512 - 3 - )2(),(21MiciiuxucJixicixicu),(ucJ)3(minarg2)()(tkitiuxc
    中国科技论文在线 http://www.paper.edu.cn 95 像素的图像中创建以中心坐标为基点大小为 128128 像素的肺实质掩模图像，如图 3(b)所 示。将肺实质掩模图像与图 3(a)肺实质切片相乘，得到大小为 128128 像素如图 3(c)所示的 肺结节切片。此外，实验需要标签，根据注释文件中提供的每个肺结节直径大小，在像素值 为零的大小为 128128 像素的图像中创建一个直径大小的方形掩模图像，如图 3(d)所示。用 方形掩模图像与图 3(c)128128 像素大小肺结节切片相乘，得到大小为 128128 像素肺结节 100 标签切片，最后对肺结节标签切片应用归一化操作得到如图 3(e)所示的大小为 128128 像素 肺结节标签切片。LUNA16 提供的注释文件中包含 1186 个肺结节的标注，手动将一些损坏 的 CT 中心切片删除，经过处理后数据集共有 1175 张大小为 128128 像素的肺结节切片， 1175 张大小为 128128 像素的肺结节标签切片。然后随机将数据集按照 8:1:1 的比例分为训 练集验证集和测试集，即训练集有 941 张肺结节切片和 941 张肺结节标签切片，验证集和测 105 试集均有 117 张肺结节切片和 117 张肺结节标签切片，数据集信息见表 1。 表 1 数据集信息表 Tab.1 Data set information table 110 图 3 切片和标签 Tab.3 slice and label 图 3 切片和标签 (a)像素标准化后的肺实质切片；(b) 肺实质掩模图像；(c) 128128 像素大小肺结节切片； (d) 肺结节掩模图像；(e) 128128 像素大小肺结节标签切片； 115 2 网络模型结构 2.1 U-Net 网络模型结构 - 4 -
    中国科技论文在线 http://www.paper.edu.cn 图 4 是 U-Net 网络模型结构示意图，图中每个框对应一个多通道特征图，通道数标在方 框的顶部，尺寸大小位于框的左下部分，箭头表示不同的操作。模型结构由收缩网络(左侧) 120 和扩展网络(右侧)组成。收缩网络是典型的卷积网络结构，由 2 个重复的卷积核大小为 33 的卷积组成，每个卷积后面是一个 ReLU 激活函数，还有一个步长为 2 大小为 22 的最大池 化层用于降采样，每层特征图的通道数分别为 16、32、64、128 和 256。扩展网络每一层包 括上采样操作，上采样后的特征图要和对应的收缩网络输出的特征图进行叠加，再进行 2 次重复的卷积核大小为 33 的卷积操作，每个卷积后跟一个 ReLU 激活函数，每层特征图的 125 通道数分别为 256、128、64、32 和 16。最后一层是一个卷积核大小为 11 的卷积，将每个 分量的特征向量映射到所需的类数。 图 4 U-Net 网络模型结构 Fig.4 U-Net network model structure 130 2.2 批量归一化(BN)算法 对于 U-Net 网络，层级的网络结构使得底层的权值参数更新会对高层的输入分布产生很 大的影响。为了取得理想的输出结果，在 U-Net 网络中引入批量归一化方法，通过采取不同 的变换方式使得各层的输入数据近似的满足独立同分布的条件，使各层的输出限制在一定范 围内。一方面批量归一化方法把训练数据分为若干组，按组来更新权值参数，一组中的数据 135 共同决定本次梯度的方向，下降时减少随机性。另一方面，批数据样本数与整个数据集相比 小很多，计算量也下降了很多。批量归一化常用在卷积之后，用于调整数据分布。 假设一个 batch 的输入为 X=[x0,x1,…xn]，xi 为其中的一个样本，n 为样本的数量，首先 要计算 batch 里训练数据的均值： 140 其次求出 batch 训练数据方差： - 5 - )4(n11niixx
    中国科技论文在线 http://www.paper.edu.cn 然后对每个训练数据归一化： 其中 是为预防分母为 0 添加的一个指数。实际使用的时候还会配置尺度缩放和偏移操 145 作，因此，批量归一化方法还引入了两个参数  和 ，这两个参数是基于具体的任务学习得 来。最后批量归一化方法输出： 2.3 加入批量归一化(BN)算法的 U-Net 网络模型 在 U-Net 网络模型每个卷积核大小为 33 的卷积操作之后都引入批量归一化算法，其网 150 络模型如图 5 所示，其中紫色箭头表示批量归一化算法。 图 5 加入 BN 算法的 U-Net 网络模型 Fig.5 U-Net network model incorporating BN algorithm 2.4 残差网络 155 U-Net 网络有 23 个卷积层，设置这么多的卷积层，意味着将提取不同层丰富的特征信 息。浅层网络能够提取到图像的一些局部区域特征，深层网络能够提取到图像的特征更加抽 象。但是简单的增加网络的深度，会导致模型退化问题，即网络层数的增加，训练集上的 Dice 系数却饱和甚至下降了，这说明深度网络不能简单地被很好的优化。 解决退化问题需要应用残差网络，图 6(a)是一个简单的两个卷积层叠加的标准网络结 160 构，每层有权值参数和激活函数 ReLU，输入 x 经过两个卷积层线性变换得到基础映射 F(x)。 - 6 - )5()(n1122nixixx)6(ˆ2xxixx)7(ˆxyi
    中国科技论文在线 http://www.paper.edu.cn 图 6(b)是残差网络结构，输入 x 经过两个卷积层变换得到 F(x)，此时输入 x 和 F(x)叠加，最 后包含两个卷积层的输出为 H(x) = F(x) + x。将网络结构转换为学习一个残差映射 F(x) = H(x) - x，目的是让卷积层拟合残差映射，而不是叠加的卷积层去拟合基础映射。 165 图 6 网络结构 Fig.6 Network structure 2.5 加入残差网络的 U-Net 网络模型 在 U-Net 网络中引入残差网络，将每一层的输入叠加到输出形成残差网络，其网络模型 170 如图 7 所示。 图 7 加入残差网络的 U-Net 网络模型 Fig.7 U-Net network model added to the residual network 2.6 加入 BN 算法和残差网络的 U-Net 网络模型 175 在 U-Net 网络模型每个卷积核大小为 33 的卷积操作之后都应用 BN 算法，然后将每一 - 7 -
    中国科技论文在线 http://www.paper.edu.cn 层的输入叠加到输出形成残差网络，其网络模型如图 8 所示。 图 8 加入 BN 算法和残差网络的 U-Net 网络模型 Fig.8 U-Net network model incorporating BN algorithm and residual network 180 3 模型训练、预测和评估 本文实验是在 64 位 Ubuntu16.04 操作系统环境下进行的，计算机配置如表 2 所示。定 义损失函数为 Dice loss[7]，其计算公式为： 由公式(8)可以得到： 公式(9)表示 Dice 系数，它是一种几何相似度度量函数，通常用于计算两个样本之间的相似 度。因此，Dice 系数越大，表示两幅图像越相似，对应肺结节轮廓识别准确率越高。其中 表示预测样本 X 与标签样本 Y 之间的交集，即两者之间坐标位置相同的像素数。 表示预测样本的像素数， 表示标签样本的像素数。 表 2 计算机配置 Tab.2 computer configuration 185 190 本文使用 Keras 提供的函数构建 U-Net 网络模型，将 BN 算法和残差网络引入 U-Net 网 - 8 - )8(211YXYXDiceLoss)9(2YXYXDiceYXXY
    分享到：
    赞 收藏

    相关推荐

    资料库

    开发技术

    共收录19306份资料，累计14个分类，关注成员有19位，主要包括：Actionscript,Javascript,PHP,VB,Perl,Delphi,Python,C#,C,Java,C++,Web开发,硬件开发,其它

    热门标签

    Actionscript Javascript PHP VB Perl Delphi Python C# C Java C++ Web开发 硬件开发 其它

    最新资料