深度學(xué)習(xí)算法助力 人工智能或?qū)⒈虐l(fā)出更強(qiáng)力量
IBM在近的研究中證明,深度學(xué)習(xí)算法可以在仿人腦硬件上運(yùn)行,而后者通常支持的是一種完全不同形式的神經(jīng)網(wǎng)絡(luò)。
2016年9月9日,《美國(guó)國(guó)家科學(xué)院院刊》 (Proceedings of the National Academy of Sciences)刊登了IBM的研究論文。美國(guó)國(guó)防研究計(jì)劃局(tDARPA)給該項(xiàng)研究提供了不到100萬(wàn)美金的資助。這筆資助是DARPA皮質(zhì)處理器項(xiàng)目(Cortical Processor Program)的一部分,該項(xiàng)目旨在研究能辨認(rèn)復(fù)雜模式并適應(yīng)不斷變化的環(huán)境的仿人腦人工智能系統(tǒng)。
位于加利福尼亞州圣何塞的IBM Almaden研究實(shí)驗(yàn)室的仿人腦計(jì)算領(lǐng)域科學(xué)家Dharmendra Modha 表示:“新的里程碑研究清楚地證明,仿人腦計(jì)算的效率能是可以與深度學(xué)習(xí)的效果相融合的,進(jìn)而為新一代更和更有效的芯片和算法的誕生鋪平了道路。”
2011年,IBM詳細(xì)描述了TrueNorth,并推出了原型芯片。因此,TrueNorth的誕生早于2012年開(kāi)始的基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)革命,當(dāng)然也不是為了深度學(xué)習(xí)而專門設(shè)計(jì)出的。相反,TrueNorth支持的是脈沖神經(jīng)網(wǎng)絡(luò),后者能更加細(xì)致地模仿生物體大腦中神經(jīng)元的活動(dòng)。
脈沖神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元不會(huì)在每個(gè)循環(huán)都放電,而是必須在放電之前逐漸積累電壓。通常情況下,為在深度學(xué)習(xí)任務(wù)上達(dá)到所需的度,脈沖神經(jīng)網(wǎng)絡(luò)不得不經(jīng)過(guò)多個(gè)循環(huán)以得到平均結(jié)果。這實(shí)際上減慢了諸如圖像識(shí)別或語(yǔ)言處理任務(wù)的整體計(jì)算速度。
深度學(xué)習(xí)專家普遍認(rèn)為脈沖神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)方面的效率較低——至少與卷積神經(jīng)網(wǎng)絡(luò)相比是這樣的。Facebook人工智能研究所主任、深度學(xué)習(xí)領(lǐng)域的者Yann LeCun,之前就批評(píng)過(guò)IBM的TrueNorth芯片,因?yàn)槠涑蹙褪菫槊}沖神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的。
加利福尼亞大學(xué)圣地亞哥分校人工智能組的深度學(xué)習(xí)研究者Zachary Chase Lipton表示,IBM TrueNorth的設(shè)計(jì)可能更符合神經(jīng)形態(tài)計(jì)算的目標(biāo),即專注于細(xì)致地模仿和理解生物大腦。相比較而言,深度學(xué)習(xí)研究者對(duì)獲取人工智能服務(wù)和產(chǎn)品的實(shí)際結(jié)果更感興趣。他解釋了這一差別:“這讓我們想到關(guān)于鳥(niǎo)類和飛機(jī)之間的老套比喻,你可能會(huì)說(shuō)計(jì)算機(jī)神經(jīng)科學(xué)/神經(jīng)形態(tài)領(lǐng)域更關(guān)注研究鳥(niǎo)類,而機(jī)器學(xué)習(xí)領(lǐng)域更關(guān)注理解航空動(dòng)力學(xué)(不管是否有生物學(xué)的幫助)。通常情況下,深度學(xué)習(xí)領(lǐng)域看好專業(yè)化硬件帶來(lái)的益處。神經(jīng)形態(tài)芯片所關(guān)注的脈沖神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)領(lǐng)域并不熱門,所以人們對(duì)它們也沒(méi)有很大的興趣。”
為使TrueNorth芯片更好地適應(yīng)深度學(xué)習(xí),IBM必須開(kāi)發(fā)一種新算法,讓卷積神經(jīng)網(wǎng)絡(luò)在神經(jīng)形態(tài)計(jì)算硬件上良好地運(yùn)行。這種聯(lián)合的方式在8個(gè)數(shù)據(jù)集(包括視覺(jué)和語(yǔ)音)上達(dá)到了IBM所謂的“幾乎是高水準(zhǔn)的”分類準(zhǔn)確度。在好的情況下,準(zhǔn)確度在65~97%之間。
當(dāng)僅使用一個(gè)TrueNorth芯片時(shí),它只能在8個(gè)數(shù)據(jù)集中的一個(gè)上超越佳準(zhǔn)確率。然而,IBM研究者可以通過(guò)使用8個(gè)芯片來(lái)提升深度學(xué)習(xí)技術(shù)下硬件的準(zhǔn)確率。這使得TrueNorth能在其中3個(gè)數(shù)據(jù)集上達(dá)到或超越佳準(zhǔn)確度。
TrueNorth在測(cè)試中也能做到每秒處理1200~1600視頻幀信息,這意味著單獨(dú)一個(gè)TrueNorth芯片可以同時(shí)對(duì)多達(dá)100個(gè)照相機(jī)拍攝的視頻實(shí)時(shí)進(jìn)行模式識(shí)別。在這種情況下,我們假設(shè)每個(gè)相機(jī)使用1024個(gè)彩色像素(32*32)及24幀頻的標(biāo)準(zhǔn)電視數(shù)據(jù)流信息。
Lipton表示,TrueNorth在深度學(xué)習(xí)領(lǐng)域測(cè)試所得的這些結(jié)果也許令人印象深刻,但是還應(yīng)該謹(jǐn)慎看待。他指出視覺(jué)數(shù)據(jù)集中的32 x 32像素圖像還有些小問(wèn)題。
盡管如此,IBM的Modha似乎對(duì)繼續(xù)在深度學(xué)習(xí)應(yīng)用中測(cè)試TrueNorth充滿熱情。他和他的同事希望在所謂的“不受約束的深度學(xué)習(xí)”上測(cè)試芯片,這意味著在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程中逐步引入硬件限制,而非在一開(kāi)始就采用限制措施。
Modha也指出,TrueNorth的總體設(shè)計(jì)比深度學(xué)習(xí)專屬硬件更具有優(yōu)勢(shì),后者僅在卷積神經(jīng)網(wǎng)絡(luò)上運(yùn)行。而TrueNorth有希望讓多種形式的人工智能網(wǎng)絡(luò)在同樣的芯片上運(yùn)作。
Modha表示:“TrueNorth不僅能夠?qū)崿F(xiàn)卷積網(wǎng)絡(luò)的功能(盡管這并不是設(shè)計(jì)它們的初衷),而且還能夠支持多樣的連接形式(反饋、橫向反饋和正向反饋),并能同時(shí)執(zhí)行各種不同的其他算法。”
Lipton說(shuō),這樣的生物型芯片只有在深度學(xué)習(xí)上的表現(xiàn)超越其他硬件,才可能變得流行。但是他也建議說(shuō)IBM可以利用其硬件專長(zhǎng),與谷歌和英特爾合作,共同研發(fā)深度學(xué)習(xí)領(lǐng)域的新型專業(yè)芯片。
Lipton表示:“我認(rèn)為某些神經(jīng)形態(tài)芯片制造商將會(huì)利用他們?cè)谟布铀俜矫娴膶iL(zhǎng),來(lái)開(kāi)發(fā)深度學(xué)習(xí)的應(yīng)用型芯片,而非僅在進(jìn)行生物模仿。”
?。ㄔ瓨?biāo)題:如何讓人工智能迸發(fā)出更強(qiáng)的力量?)