基于TX2+FPGA深度学习视觉图像处理卡.docx

发布时间：2022-05-31 发布人：admin 分类：说明书资料大小：1.97M 资料格式：docx 举报版权申诉

weixin_45851230-11964845-4744300845242000721.docx.pdf-第1页.png

第1页 / 共8页

weixin_45851230-11964845-4744300845242000721.docx.pdf-第2页.png

第2页 / 共8页

weixin_45851230-11964845-4744300845242000721.docx.pdf-第3页.png

第3页 / 共8页

weixin_45851230-11964845-4744300845242000721.docx.pdf-第4页.png

第4页 / 共8页

weixin_45851230-11964845-4744300845242000721.docx.pdf-第5页.png

第5页 / 共8页

weixin_45851230-11964845-4744300845242000721.docx.pdf-第6页.png

第6页 / 共8页

weixin_45851230-11964845-4744300845242000721.docx.pdf-第7页.png

第7页 / 共8页

weixin_45851230-11964845-4744300845242000721.docx.pdf-第8页.png

第8页 / 共8页

文本预览

机器视觉/深度学习—算法复合加速平台 Machine Vision / Deep Learning — Compound Acceleration Platform (M/D-CAP)  产品介绍 M/D-CAP 是一款复合加速计算平台，由 Xilinx 的 28nm 制程的 FPGA — XC7K325T-3FFG900I 和 NVidia 的 16nm 制程的 GPU — TX2 互联构成。平台互联细节如图 1 所示：联系人：李经理电话：178-1322-0620 联系邮箱：frame_sync@163.com 天津雷航光电科技有限公司

图 1. M/D-CAP 平台互联细节 FPGA 和 GPU 之间的主要物理信道是 PCI-Express，Gen2，×4，用于搬移图像等需要高传输带宽的实时数据，作为前端控制器， FPGA 控制 Dual-Full Camera Link 芯片组，可以用于互联 Base, Medium, Full, Dual Full 等所有规格的工业级标准 Camera Link 相机，平台主要接口（及其指标）如下所示： PCI-Express 带宽 – 40GT/s（TX+RX） Camera Link GPU 处理性能 40G 光纤接口 GPU 内存其余接口 – Base, Medium, Full, Dual Full @ 85MHz – 2TFLOPS @ TDP=15W – 10G-SFP×4 – LPDDR4 @ 1866Mbps，58.9GB/s – VGA×2 – CAN×2 – RS422×4 – Ethernet×1 – mSATA×1 – USB3.0×1 – USB2.0×1 其中，Camera Link 可以适配所有规格的业界标准 Camera Link 相联系人：李经理电话：178-1322-0620 联系邮箱：frame_sync@163.com 天津雷航光电科技有限公司

机，而 4 个 10G SFP 光口可以用于扩展帧率更高的光纤相机或者用作四个万兆网口（4 个 SFP 的用途完全可以利用 FPGA 来编程实现，取决于用户需求）。 FPGA 除了作为前端用于控制核心还可以对所采集的图像进行滤波、降噪、提取图像金字塔等预处理——对后续机器视觉的算法实施进行初步加速。 GPU 在不超过 15W 的功耗下，可以提供 2TFLOPS 的强大的运算性能，足以支持任何‘机器视觉/深度学习’领域内算法的实时嵌入式应用。其 256 个强大的 Pascal 流处理核（每核最高主频为 1.3GHz）对算法的实施完成 2 次加速（FPGA 算是第一次加速）。因此 M/D-CAP 可以对算法的加速是复合式的，较传统意义上的加速有质的提升。除此之外，M/D-CAP 工业级应用所需的高可靠性和稳定性，经过了军用标准的振动、冲击、高低温等苛刻测试，相关指标如下所示：尺寸工作温度相对湿度：160mm*233mm ：-40℃～ +85℃ ：80%可正常工作连续工作时间：数年可靠性维修性电压整机功耗 PCIE 带宽：MTBF ≥ 5000h ：MTTR ≤ 0.5h ：+ 12V ：≤ 30W ：800MB/s ~ 1.2GB/s  机器视觉中的应用 M/D-CAP 使用案例 1：舰载激光炮瞄准设备 — 高速无人机跟踪 [帧率 = 500fps，分辨率 = 512×512] 联系人：李经理电话：178-1322-0620 联系邮箱：frame_sync@163.com 天津雷航光电科技有限公司

图 2. 高速无人机跟踪案例 M/D-CAP 使用案例 2 ：防空火炮目标跟踪系统 — 高速机动目标（歼击机）跟踪 [帧率 = 1000fps，分辨率 = 1024×1024] 图 3. 高速敌方目标（歼击机）跟踪案例在军事目标跟踪中的应用案例 2 ，防空火炮目标跟踪系统 — 高速机动目标（歼击机）跟踪 M/D-CAP 使用案例 3 ：智能交通/高清监控/车牌设别/违章识别 [帧率 = 60fps，分辨率 = 1920×1200] 联系人：李经理电话：178-1322-0620 联系邮箱：frame_sync@163.com 天津雷航光电科技有限公司

图 4. 智能交通/高清监控案例  深度学习中的应用图 5.人工神经网络深度学习的概念源于人工神经网络的研究。含多个隐层的多层感知器，如图 5 所示，就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。联系人：李经理电话：178-1322-0620 联系邮箱：frame_sync@163.com 天津雷航光电科技有限公司

图 6. 深度学习借鉴人脑的机理来理解图像、声音、文本等信息 M/D-CAP 使用案例 1：利用 GPU 加速图像特征提取图 7. 基于 M/D-CAP 平台加速后的特征提取（基于 Deep Learning 算法） M/D-CAP 使用案例 2：利用 GPU 加速图像配准：联系人：李经理电话：178-1322-0620 联系邮箱：frame_sync@163.com 天津雷航光电科技有限公司

图 7. 基于 M/D-CAP 平台加速后的图像配准（基于 Deep Learning 算法）  基于 FPGA 的前端逻辑的定制图 8. M/D-CAP 的前端逻辑的定制天津雷航光电科技有限公司联系人：李经理电话：178-1322-0620 联系邮箱：frame_sync@163.com

FPGA 除了完成算法的一级加速（如图像预处理），还要负责各种前端传感器或者芯片组的控制和调度，其主要作用如图 8 所示。在图 8 所示的典型应用中，FPGA 完成了以下功能： i. Camera Link 相机数据的采集，并将视频通过 PCIE 写入 TX2 的主存 ii. VGA 显示器的时序控制，主要用于将图像处理结果输出到显示器 iii. 向 TX2 发出中断通知，以提示之一个完整视频帧的到来 iv. 摇杆等 RS422 设备的控制和访问，主要用于和用户 HID 设备的交互针对不同客户的需求，我们可以支持不同的 FPGA 逻辑定制业务，并提供相应的驱动程序（TX2 侧运行的驱动程序，因为在 TX2 看来，FPGA 是它的一个 PCIE 端点外设），以使得这些底层的 FPGA 硬件逻辑（Verilog/VHDL）被完全封装起来，对于用户而言，只需要打通数据链路即可。联系人：李经理电话：178-1322-0620 联系邮箱：frame_sync@163.com 天津雷航光电科技有限公司

分享到：

赞收藏

资料库

基于TX2+FPGA深度学习视觉图像处理卡.docx

相关推荐

人工智能

热门标签

最新资料