国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

深度学习中,CPU、GPU、NPU、FPGA如何发挥优势

发布时间:2019/09/11标签:   神经网络    点击量:

原标题:深度学习中,CPU、GPU、NPU、FPGA如何发挥优势
跟着AI的普遍利用,深度进修已成为以后AI研讨和应用的支流方法。面临海量数据的并交运算,AI关于算力的请求一直晋升,对硬件的运算速率及功耗提出了更高的请求。现在,除通用CPU外,作为硬件减速的GPU、NPU、FPGA等一些芯片处置器在深度进修的差别利用中施展着各自的上风,但孰优孰劣?以人脸辨认为例,其处置基础流程及对应功效模块所需的算力散布以下:

深度学习中,CPU、GPU、NPU、FPGA如何发挥优势
为甚么会有如许的利用辨别?意思在那里?想要晓得此中的谜底,须要咱们先从CPU、GPU、NPU、FPGA它们各自的道理、架构及机能特色来懂得。起首,咱们先来懂得一下通用CPU的架构。CPUCPU(Central Processing Unit)中心处置器,是一块超大范围的集成电路,重要逻辑架构包含操纵单位Control,运算单位ALU和高速缓冲存储器(Cache)及完成它们之间接洽的数据(Data)、操纵及状况的总线(Bus)。简略说,就是盘算单位、操纵单位和存储单位。架构图以下所示:
深度学习中,CPU、GPU、NPU、FPGA如何发挥优势
CPU遵守的是冯诺依曼架构,其中心是存储顺序、次序履行。CPU的架构中须要大批的空间去安排存储单位(Cache)和操纵单位(Control),比拟之下盘算单位(ALU)只盘踞了很小的一局部,以是它在大范围并行盘算才能上极受限度,而更善于于逻辑操纵。CPU无奈做到大批矩阵数据并行盘算的才能,但GPU能够。GPUGPU(Graphics Processing Unit),即图形处置器,是一种由大批运算单位构成的大范围并行盘算架构,专为同时处置多重担务而计划。为甚么GPU能够做到并行盘算的才能?GPU中也包括基础的盘算单位、操纵单位和存储单位,但GPU的架构与CPU有所差别,以下图所示:
深度学习中,CPU、GPU、NPU、FPGA如何发挥优势
与CPU比拟,CPU芯片空间的不到20%是ALU,而GPU芯片空间的80%以上是ALU。即GPU领有更多的ALU用于数据并行处置。以Darknet构建的神经收集模子AlexNet、VGG-16及Restnet152在GPU Titan X, CPU Intel i7-4790K (4 GHz) 停止ImageNet分类义务猜测的成果:
深度学习中,CPU、GPU、NPU、FPGA如何发挥优势
备注:以上数据源自https://pjreddie.com/darknet/imagenet/#reference由此可见,GPU处置神经收集数据远远高效于CPU。总结GPU存在以下特色:1 、多线程,供给了多核并行盘算的基本构造,且中心数十分多,能够支持大批数据的并行盘算。2、领有更高的访存速率。3、更高的浮点运算才能。因而,GPU比CPU更合适深度进修中的大批练习数据、大批矩阵、卷积运算。GPU固然在并行盘算才能上尽显上风,但并不能独自任务,须要CPU的协同处置,关于神经收集模子的构建和数据流的通报仍是在CPU长进行。同时存在功耗高,体积大的成绩。机能越高的GPU体积越大,功耗越高,价钱也高贵,关于一些小型装备、挪动装备来讲将无奈应用。因而,一种体积小、功耗低、盘算机能高、盘算效力高的公用芯片NPU出生了。NPUNPU (Neural Networks Process Units)神经收集处置单位。NPU任务道理是在电路层模仿人类神经元和突触,而且用深度进修指令集间接处置大范围的神经元和突触,一条指令实现一组神经元的处置。比拟于CPU和GPU,NPU经过突触权重完成存储和盘算一体化,从而进步运转效力。NPU是模拟生物神经收集而构建的,CPU、GPU处置器须要用数千条指令实现的神经元处置,NPU只有一条或几条就能实现,因而在深度进修的处置效力方面上风显明。试验成果表现,等同功耗下NPU 的机能是 GPU 的 118 倍。与GPU一样,NPU一样须要CPU的协同处置才干实现特定的义务。上面,咱们能够看一下GPU和NPU是怎样与CPU协同任务的。GPU的减速GPU以后只是纯真的并行矩阵的乘法和加法运算,关于神经收集模子的构建和数据流的通报仍是在CPU长进行。CPU加载权重数据,依照代码构建神经收集模子,将每层的矩阵运算经过CUDA或OpenCL等类库接口授送到GPU上完成并行盘算,输入成果;CPU接着调理上层神经元组矩阵数据盘算,直至神经收集输入层盘算实现,失掉终极成果。

版权信息Copyright ? 银河官网 版权所有??? ICP备案编号:鲁ICP备09013610号