2021-04-21 11:59:39neversaw

顛覆傳統計算架構:光神經網絡硬件登上Nature

在過去的幾十年裏,電子計算發展迅猛,但其能源成本居高不下,因此,研究人員一直在探索其他可行的計算方法。光學計算就是其中一條頗有前景的研究方向。近日,一篇Nature論文展示了光學計算的最新成果,德國的研究人員提出了一種在毫米級光子芯片上實現的全光學神經網絡,該網絡內部沒有光到電的轉換,因此能源利用效率更高。這種光神經突觸網絡有望獲得光學系統固有的高速和高帶寬,並可以直接處理光通信和視覺數據。

光纖以光的形式傳輸數據,是現代遠程通信網絡的支柱。但在分析這種數據時,我們需要把光轉換為電子,然後用電子方法進行處理。光學曾被認為是一種潛在計算技術的基礎,但由於電子計算發展迅速,光學計算在這條賽道上跑得很吃力。

然而,近幾年來,人們越來越關注計算的能源成本。因此,光學計算再次受到關注,因為它不僅可以降低能源需求,還可作為加速人工智能算法(如深度神經網絡)的專用硬件

深度神經網絡包含很多層人工神經元和人工突觸,它們是神經元之間的連接。這些連接的強度被稱為權重,它們可以是正的,表示神經元被激活;也可以是負的,表示神經元抑制。深度神經網絡通過改變其突觸權重來學習執行圖像識別等任務,從而最小化實際輸出與預期輸出之間的差距。

CpU和其他數字硬件加速器通常用於深度神經網絡計算。深度神經網絡可以使用一個已知的數據集進行訓練,而已經訓練的深度神經網絡可以在推理任務中應用於未知數據。無論哪種情況,雖然計算量很大,運算種類卻不多,因為「乘積累加」運算在諸多突觸權重和神經元激活中占據主導地位。

眾所周知,深度神經網絡在計算精度低時也能表現良好。因此,這些網絡為非傳統計算技術提供了一個很好的機遇。例如,研究人員正在探索基於非易失性存儲設備的深度神經網絡加速器。這類設備在切斷電源時也能保存信息,同時通過模擬電子計算能夠提升深度神經網絡的速度和能源效率。

那么,為什么不考慮利用光學呢?引導光的結構--無論是用於電信的光纖還是用於光子晶片的波導--都可以包含大量數據。在這類波導內部,光的很多波長可以利用波分複用(wavelengthdivisionmultiplexing)技術同時傳播。之後,每個波長可以進行調制(其改變時可以攜帶信息),其中調制速度受限於與電-光計算和光-電計算有關的可用帶寬。

諧振器結構使波導能夠添加或刪除單個波長。例如,微米級環狀(微環)諧振器可以實現突觸權重陣列。這類諧振器可以進行熱態電光調制,或利用上述論文中提到的相變材料調制。這些材料可以在非晶相和晶相之間轉換,這與它們吸收光的能力大不相同。在理想狀況下,得出的乘積累加運算只需少量電能duplex transmission

Feldmann等人提出了一種在毫米級光子芯片上的全光學神經網絡,該網絡內部沒有光到電的轉換。輸入的數據被電子調制成不同的波長以注入網絡,但之後所有數據都會停留在芯片上。利用集成相變材料來實現權重調制和神經元集成;它們位於兩種微環諧振器上,具有突觸或神經功能。

在不同工作波長情況下注入的未調制光接收到在相變材料中累積的神經元激活,之後將它們傳遞到網絡下一層。即使沒有芯片上光學增益(在這個過程中,一種介質將能量傳遞給通過它傳輸的光),這個設置也可能擴展至更大的網絡。作者在其上實現了小規模的監督學習和無監督學習。

由於權重通過光吸收來實現,負權重需要一個較大的偏置信號,一定不能激活相變材料。另一種可以快速提供負權重的方法是采用Mach–Zehnder幹涉儀。在這些設備中,單個波導被分為兩個分支,之後重新結合,這使得傳輸光的數量取決於兩條路徑間的光學相位差。但是,這種方法與波分複用方法的結合可能具有挑戰性,因為每個幹涉儀的分支需要為每個波長引入合適的相位差。

光學DNN仍然面臨巨大挑戰。在理想狀態下,它們的總功率使用可能較低,但熱光功率經常需要調整和保持每個Mach–Zehnder幹涉儀分支中的光學相位差異。此外,注入包含相變材料系統中的總光學功率必須仔細校准,使材料對輸入信號的響應完全符合預期。

盡管相變材料可以用來調整Mach–Zehnder相位,但材料吸收光的強度和減慢光速之間不可避免的交叉耦合會帶來相當大的複雜性。

相變材料似乎非常適合突觸權重的非揮發性長期存儲,突觸權重基於微環共振器,只需要很少的調整。然而,當在神經元中使用時,這種材料的結晶速度會限制神經元被激發的最大速率。

另外,在每次潛在的激發事件後,需要熔化材料以誘導完全神經元複位,這將迅速消耗材料雖然很大但有限的開關耐用性。

傳統的DNN已經發展壯大,現在的DNN通常包含數千個神經元和數百萬突觸。但光學網絡需要相隔很遠的波導,以防止耦合,並且避免急劇彎曲以防光離開波導。因為交叉兩個波導可能將不想要的功率注入錯誤路徑,因此光子芯片的2D特性呈現出實質性的設計限制。

實現光學網絡除了需要很長的距離和很大的面積外,每個光子結構關鍵部件的制造也要求非常精確。因為波導和耦合區域(例如,在每個微環諧振器的入口和出口處)必須有精確的維度來達到預期的性能。

小型微環共振器的制造也有限制。最後,調制技術提供的相對較弱的光學效果需要很長的交互區域,以使它們對通過的光的有限影響達到顯著水平。

Feldmann及其同事在研究中所取得的進步,有望推動該領域的未來發展。開發容易獲得的寬帶片上增益將大有裨益,支持對每片光學編碼數據進行獨立和任意操作、而無需大面積光子芯片的技術也同樣如此。

如果提供高能效的可擴展光子神經加速器最終出現,Feldmann等人和該領域其他人的研究將會成為該項技術的開山之作。

文章精選:

你的體脂率為什么這么高?五個常見的生活習慣,找出原因

なぜ脂肪値が高いのでしょうか? 4点で答えと変え方を教えてください

怎樣減少體脂?用四種方法獲得苗條,獲得健康

シンプレックス・フルデュプレックス伝送方式とは何かについてご紹介します

体脂肪率を下げるにはどうしたらいいですか? 鍛えなくても、2つの方法で実現できます

日本藤素正品 2021-06-04 23:19:14

保羅v8副作用有哪些:http://www.zhonghua19.tw/article.php?id=325