400-8855-170
簡(jiǎn)體中文

新聞資訊

時(shí)間:2022.12.15

振華航空芯聞:模擬AI芯片是必然選擇

自計(jì)算機(jī)時(shí)代來(lái)臨以來(lái),全世界一直致力于精密計(jì)算機(jī)芯片的研發(fā)。正如我們所知,數(shù)字世界是無(wú)窮無(wú)盡的 1 和 0 的結(jié)果,芯片上處理的常數(shù)和具有明確的答案。但是在精確度不太重要的情況下可以進(jìn)行什么樣的計(jì)算呢?


在計(jì)算中,處理過(guò)程中花費(fèi)的大部分時(shí)間和精力都花在了在設(shè)備的處理器和內(nèi)存之間來(lái)回移動(dòng)電子上。多年來(lái),IBM 的研究人員一直致力于開(kāi)發(fā)模擬內(nèi)存計(jì)算機(jī)芯片,計(jì)算是在內(nèi)存本身中進(jìn)行的。這些芯片的目標(biāo)既是為了節(jié)省能源,也是為了構(gòu)建可用于訓(xùn)練和推理人工智能系統(tǒng)的設(shè)備。


我們使用計(jì)算機(jī)計(jì)算的內(nèi)容始終需要精確。


您無(wú)法猜測(cè)火箭的飛行路徑,或者希望您的稅務(wù)軟件能夠計(jì)算出您當(dāng)年應(yīng)該支付的金額。但生活中有些事情并不一定要那么準(zhǔn)確。例如,如果你在一個(gè)國(guó)家學(xué)習(xí)如何開(kāi)車(chē),你就會(huì)知道即使你從未見(jiàn)過(guò)另一個(gè)國(guó)家,你也很可能能夠弄清楚停車(chē)標(biāo)志看起來(lái)像另一個(gè)國(guó)家。


在今年的 IEEE 國(guó)際電子設(shè)備會(huì)議 (IEDM) 上,IBM 研究人員展示了詳細(xì)介紹未來(lái)高效模擬芯片如何用于深度學(xué)習(xí)(用于訓(xùn)練和推理)的工作。


構(gòu)建人工智能推理系統(tǒng)


在構(gòu)建 AI 系統(tǒng)時(shí),您必須根據(jù)數(shù)據(jù)訓(xùn)練模型。首次訓(xùn)練模型時(shí),模型推斷您想要什么的能力很差,無(wú)論是識(shí)別貓的照片還是尋找新的藥物創(chuàng)意。您可能必須運(yùn)行該模型,根據(jù)您的結(jié)果調(diào)整其權(quán)重,然后再次運(yùn)行該模型,重復(fù)直到它達(dá)到您所追求的準(zhǔn)確度水平。因此,在已經(jīng)訓(xùn)練好的模型上運(yùn)行推理比從頭開(kāi)始訓(xùn)練模型要容易一些也就不足為奇了。


但這并非沒(méi)有挑戰(zhàn)的任務(wù)。研究員 Julian Buechel 在 IEDM 上發(fā)表了一篇論文,稱(chēng) IBM 的一組研究人員一直在研究如何將模型的權(quán)重準(zhǔn)確地映射到模擬存儲(chǔ)芯片上以運(yùn)行推理任務(wù)。


該團(tuán)隊(duì)的工作表明相變存儲(chǔ)器設(shè)備有可能用于將神經(jīng)網(wǎng)絡(luò)的突觸權(quán)重映射到模擬傳導(dǎo)設(shè)備值。這些電導(dǎo)值需要準(zhǔn)確,在過(guò)去,研究人員不得不向設(shè)備的每個(gè)cell發(fā)送電脈沖以弄清楚它是如何加權(quán)的,這可能很耗時(shí)?;刈x時(shí),每個(gè)電池不會(huì)輸出大量電流,這也意味著在嘗試確定它們的權(quán)重時(shí)出錯(cuò)的可能性很高。


該團(tuán)隊(duì)沒(méi)有讀取每個(gè)cell,而是測(cè)試了是否有可能一次讀取神經(jīng)網(wǎng)絡(luò)一層中的所有細(xì)胞。畢竟,重要的是對(duì)應(yīng)于每一層的矩陣向量乘法運(yùn)算的整體精度,而不是單個(gè)單元格的唯一精度,它可能會(huì)在測(cè)量一個(gè)設(shè)備和下一個(gè)設(shè)備之間的時(shí)間上動(dòng)搖,或者在測(cè)量中有微小的偏差一個(gè)細(xì)胞和下一個(gè)細(xì)胞之間的電阻。通過(guò)該組的方法,模型的每一層都可以并行測(cè)試,他發(fā)現(xiàn)在神經(jīng)網(wǎng)絡(luò)(例如 CIFAR10 上的 ResNet9)的測(cè)試中,模型在模擬硬件上運(yùn)行的準(zhǔn)確率更高,更準(zhǔn)確。比過(guò)去在模擬硬件上的努力更精確。該方法也與技術(shù)無(wú)關(guān)。


雖然這種方法還遠(yuǎn)非完美,但它是使推理精度更接近數(shù)字加速器的關(guān)鍵一步,最終實(shí)現(xiàn)模擬內(nèi)存計(jì)算芯片的商業(yè)化。


構(gòu)建用于訓(xùn)練 AI 的系統(tǒng)


創(chuàng)建可以訓(xùn)練 AI 的系統(tǒng)比構(gòu)建可以推斷的系統(tǒng)更具挑戰(zhàn)性。由 Takashi Ando 領(lǐng)導(dǎo)的 IBM 研究人員與位于奧爾巴尼的 AI 硬件中心的合作伙伴公司 Tokyo Electron (TEL) 合作,一直致力于研究如何在模擬硬件上訓(xùn)練 AI。在訓(xùn)練 AI 模型時(shí),您將數(shù)據(jù)輸入網(wǎng)絡(luò),對(duì)其進(jìn)行分類(lèi),然后通過(guò)網(wǎng)絡(luò)反向傳播誤差以微調(diào)權(quán)重。(推理實(shí)際上是訓(xùn)練的一個(gè)子集,您只需使用訓(xùn)練旅程的分類(lèi)部分。)


使用傳統(tǒng)算法微調(diào)模型需要一個(gè)具有完美對(duì)稱(chēng)電導(dǎo)變化的設(shè)備來(lái)準(zhǔn)確更新權(quán)重,但目前還沒(méi)有這樣的設(shè)備。該領(lǐng)域的研究人員傾向于使用現(xiàn)有技術(shù),例如傳統(tǒng)的 ReRAM 設(shè)備,但 IBM 團(tuán)隊(duì)嘗試了一些不同的方法。該團(tuán)隊(duì)采用全棧方法,協(xié)同優(yōu)化算法和硬件。這是已知的第一個(gè)在最先進(jìn)的 CMOS 技術(shù)上應(yīng)用為 AI 訓(xùn)練定制的算法和硬件的工作。


在使用模擬硬件訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí),您需要尋找誤差函數(shù)的梯度;如果它們很陡,則可以大量更新權(quán)重。傳統(tǒng)上,梯度和權(quán)值信息存儲(chǔ)在同一個(gè)模擬設(shè)備中,對(duì)設(shè)備的對(duì)稱(chēng)性要求很高。該團(tuán)隊(duì)一直在研究一種稱(chēng)為 Tiki-Taka 的算法(是的,就像不斷來(lái)回傳球的足球風(fēng)格),旨在通過(guò)將梯度和權(quán)重信息分離到兩個(gè)不同的系統(tǒng)中來(lái)放寬對(duì)稱(chēng)性要求。


對(duì)于實(shí)驗(yàn),該團(tuán)隊(duì)一直在定制一個(gè)基于 14 納米 CMOS 的 ReRAM 陣列來(lái)測(cè)試他們的想法。


使用基于 ReRAM 陣列統(tǒng)計(jì)數(shù)據(jù)的模擬,研究人員發(fā)現(xiàn),通過(guò)優(yōu)化 ReRAM 材料,他們可以在 MNIST 數(shù)據(jù)上獲得 97% 的準(zhǔn)確率(浮點(diǎn)準(zhǔn)確率 98.2%)和 Tiki-Taka 算法同時(shí)進(jìn)行。TEL 利用其制造實(shí)力和與位于奧爾巴尼的 IBM Research 的長(zhǎng)期密切合作關(guān)系,正在幫助開(kāi)發(fā)新型 ReRAM 材料的沉積和蝕刻工藝。需要做更多的工作來(lái)實(shí)現(xiàn)大型 DNN 的浮點(diǎn)精度,但在 IEDM 上介紹這項(xiàng)工作的 Nanbo Gong 表示,該團(tuán)隊(duì)確定了實(shí)現(xiàn)這一目標(biāo)的途徑。


通過(guò)這兩項(xiàng)努力,IBM 研究院離我們可以在節(jié)能模擬硬件上訓(xùn)練和運(yùn)行 AI 系統(tǒng)的未來(lái)越來(lái)越近。

振華航空今日熱賣(mài)型號(hào):

XC6SLX100-2FGG484I

XC6SLX150-2FGG484I

XC6SLX150-3FGG676C

XC6SLX150-3FGG676I

XC6SLX9-2TQG144C

XC6SLX9-2FTG256C

XC6SLX16-2CSG324I

公司:深圳振華航空半導(dǎo)體有限公司

公司熱線:400-8855-170

聯(lián)系方式:18926507567     QQ:549400747

公司網(wǎng)址:m.8hv62j.com

公司主營(yíng)FPGA和存儲(chǔ)芯片,誠(chéng)信經(jīng)營(yíng),大量現(xiàn)貨庫(kù)存,歡迎您隨時(shí)咨詢(xún)。


微信

掃一掃

微信加好友
聯(lián)系電話:
400-8855-170