国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

发布时间:2019/07/18标签:   数据    点击量:

原标题:谷歌大脑新算法,不折腾TPU就能加快AI训练速度
本文经AI新媒体量子位(大众号ID:QbitAI)受权转载,转载请接洽出处。练习神经收集,硬件要过硬?当初谷歌提出强无力辩驳。谷歌大脑新算法,不折腾TPU就能加快AI训练速度GPU和像谷歌TPU如许的硬件减速器大大放慢了神经收集的练习速率,推助AI敏捷生长,在各个范畴施展超才能。但是,硬件进展再敏捷,也总无力有不逮的时间。比方,因为芯片的架构方法,像数据预处置如许的练习pipeline晚期阶段并不会受害于硬件减速器的晋升。谷歌大脑新算法,不折腾TPU就能加快AI训练速度谷歌大脑的迷信家们可不盼望看到算法掣肘硬件,因而他们研讨出了一种名为“数据回放(Data Echoing)”的新技巧。减速神经收集练习速率,这回不靠折腾半导体。Data Echoing的黑科技新的减速方式的中心在于增加练习pipeline晚期阶段耗费的时光。依照典范的练习pipeline,AI体系先读取并解码输出数据,而后对数据停止混洗,利用转换裁减数据,而后再将样本网络到批处置中,迭代更新参数以增加偏差。而Data Echoing是在pipeline中拔出了一个阶段,在参数更新之前反复前一阶段的输入数据,实践接纳闲暇算力。假如反复数据的开支能够疏忽不计,而且echoing恣意侧的阶段都是并行履行的,那末数据回放实现一个下游步调和e个卑鄙步调的均匀时光就是:谷歌大脑新算法,不折腾TPU就能加快AI训练速度假定下游步调破费的时光大于即是卑鄙步调破费的时光,你会发觉附加的卑鄙步调是“收费”的,由于它们应用了闲暇的卑鄙容量。谷歌大脑新算法,不折腾TPU就能加快AI训练速度data echoing收缩练习时光的要害在于下游步调和卑鄙步调之间的衡量。一方面,反复数据的代价能够会比新数据的代价低,那末data echoing就须要更多的卑鄙SGD(随机梯度降落)更新来到达预期机能。另一方面,data echoing中每个卑鄙步调仅须要1/e个下游步调。假如卑鄙步调因回放因子而增添的数目比e小,那末下游步调的总数就会增加,总的练习时光也就增加了。须要留神的是,有两个要素会影响在差别拔出点处data echoing的表示:在批处置前回放(echoing)在批处置之前回放象征着数据是在样本级别而不是批处置级别反复和混洗的,这增添了邻近批次差别的能够性,价值是批次内能够会有反复的样本。在数据扩增前回放在数据加强之行进行回放,反复数据便可能以差别的方法转换,如许一来反复数据就会更像新数据。后果怎样研讨团队对这一方式停止了试验,他们抉择了两个言语模子义务,两个图象辨认义务和一个工具检测义务,AI模子都是用开源数据集练习的。

版权信息Copyright ? IT技术教程 版权所有??? ICP备案编号:鲁ICP备09013610号