Gépi tanulás fénnyel

Ha a háztartásunkban egy okos eszköztől időjárás-előrejelzést kérünk, néhány másodpercbe telhet, amíg az válaszol. Ennek a késleltetésnek az egyik oka az, hogy a csatlakoztatott eszközök nem rendelkeznek elegendő memóriával vagy energiával a hatalmas gépi tanulási modellek tárolására és futtatására, amelyek ahhoz szükségesek, hogy az eszköz megértse, mit kér tőle a felhasználó. A modellt egy adatközpontban tárolják, amely több száz mérföldre is lehet, ahol a választ kiszámítja és elküldi az eszközre.

Az MIT kutatói új módszert hoztak létre a közvetlenül ezeken az eszközökön történő számításokhoz, amely drasztikusan csökkenti ezt a késleltetést. Technikájuk a gépi tanulási modell futtatásának memóriaigényes lépéseit egy központi szerverre helyezi át, ahol a modell összetevőit fényhullámokra kódolják.

A hullámokat száloptikával továbbítják egy csatlakoztatott eszközre, amely lehetővé teszi, hogy rengeteg adatot villámgyorsan továbbítsanak a hálózaton keresztül. A vevő ezután egy egyszerű optikai eszközt alkalmaz, amely gyorsan elvégzi a számításokat a fényhullámok által hordozott modell részei alapján.

Ez a technika több mint százszoros energiahatékonysági javulást eredményez más módszerekkel összehasonlítva. A biztonságot is javíthatja, mivel a felhasználó adatait nem kell központi helyre vinni a számításhoz.

A módszer lehetővé teheti az önvezető autó számára, hogy valós időben hozzon döntéseket, miközben az energiaigényes számítógépekhez jelenleg szükséges energia csak egy kis százalékát használja fel. Lehetővé teheti azt is, hogy a felhasználó késésmentes beszélgetést folytathasson okos otthoni eszközökkel, élő videofeldolgozásra használható legyen mobilhálózaton keresztül, vagy akár nagy sebességű képosztályozást is lehetővé tegyen a Földtől több millió mérföldre lévő űrhajón.

„Minden alkalommal, amikor egy neurális hálózatot akarunk futtatni, le kell futtatni a programot. Hogy ezt milyen gyorsan tudjuk megtenni, attól függ, hogy milyen gyorsan képes a programot bevezetni a rendszer memóriából. A mi információs keresztmetszetünk hatalmas – ez annyit tesz, mintha ezredmásodpercenként egy teljes hosszúságú filmet küldenénk az interneten. Így gyorsan bejutnak az adatok a rendszerünkbe” – mondja Dirk Englund vezető szerző, a Villamosmérnöki és Számítástechnikai Tanszék (EECS) docense és az MIT Elektronikai Kutatólaboratóriumának tagja.

A munkában Englundhoz csatlakozik a vezető szerző és az EECS végzős hallgatója, Alexander Sludds; Az EECS végzős hallgatója, Saumil Bandyopadhyay, Ryan Hamerly kutató, valamint mások az MIT-től, az MIT Lincoln Laboratory-tól és a Nokia Corporation-től. A kutatás a Science folyóiratban jelent meg.

Kisebb terhelés

A neurális hálózatok olyan gépi tanulási modellek, amelyek összekapcsolt csomópontok vagy “neuronok” rétegeit használják fel az adatkészletekben lévő minták felismerésére és feladatok elvégzésére, például képek osztályozására vagy beszédfelismerésre. Ám ezek a modellek több milliárd súlyparamétert tartalmazhatnak, amelyek numerikus értékek, és feldolgozásuk során átalakítják a bemeneti adatokat. Ezeket a memóriában kell tárolni. Ugyanakkor az adatátalakítási folyamat több milliárd algebrai számítást foglal magában, és ezek végrehajtása nagy teljesítményt igényel.

A csoport által kifejlesztett neurális hálózati architektúra, a Netcast magában foglalja a paraméterek tárolását egy központi szerveren, amely egy újszerű hardverhez, az úgynevezett intelligens adó-vevőhöz csatlakozik. Ez az intelligens adó-vevő, egy hüvelykujj méretű chip, amely képes fogadni és továbbítani az adatokat, a szilícium fotonika néven ismert technológiát használva másodpercenként több billió paramétert hív le a memóriából.

Mivel a súlyadatok bitekként (0 és 1) vannak kódolva, az adó-vevő lézerváltással konvertálja azokat; a lézer be van kapcsolva 1 esetén, és kikapcsolva 0 esetén. Kombinálja ezeket a fényhullámokat, majd időszakonként továbbítja őket egy száloptikai hálózaton, így a kliens eszköznek nem kell lekérdeznie a szervert, hogy fogadja őket.

„Az optika nagyszerű, mert sokféle módon lehet adatokat továbbítani az optikán belül. Például különböző színű fényre helyezheti az adatokat, és ez sokkal nagyobb adatátvitelt és nagyobb sávszélességet tesz lehetővé, mint az elektronika esetében” – magyarázza Bandyopadhyay.

Trilliók másodpercenként

Amint a fényhullámok megérkeznek a kliens eszközhöz, egy egyszerű optikai komponens, amelyet szélessávú „Mach-Zehnder” modulátorként ismerünk, szupergyors, analóg számítást hajt végre. Ez magában foglalja az eszköz bemeneti adatainak, például az érzékelő információinak a súlyokra való kódolását. Ezután minden egyes hullámhosszt elküld egy vevőnek, amely érzékeli a fényt és méri a számítás eredményét.

A kutatók kidolgoztak egy módszert, amellyel ezzel a modulátorral több billió szorzást hajthat végre másodpercenként, ami jelentősen megnöveli az eszköz számítási sebességét, miközben csak csekély mennyiségű energiát használ.

„Ahhoz, hogy valamit gyorsabban hajtsunk végre, energiahatékonyabbá kell tenni. Meg kell találni a megfelelő kompromisszumot. Olyan rendszert építettünk, amely körülbelül egy milliwatt teljesítménnyel tud működni, de még így is több billió szorzást végez másodpercenként. Mind a sebesség, mind az energiahatékonyság tekintetében ez nagyságrendekkel jobb” – mondja Sludds.

Ezt az architektúrát úgy tesztelték, hogy adatokat küldtek egy 86 kilométeres szálon, amely összeköti a laboratóriumukat az MIT Lincoln Laboratory-val. A Netcast nagy pontosságú gépi tanulást tesz lehetővé, így szép eredményt is hozott: 98,7 százalék a képosztályozás és 98,8 százalék a számfelismerés – igen nagy sebességgel.

„El kellett végeznünk egy kis kalibrációt, de meglepett, hogy milyen kevés munkát kell végeznünk, hogy ilyen nagy pontosságot érjünk el. Kereskedelmi szempontból releváns pontosságot tudtunk elérni” – teszi hozzá Hamerly.

A kutatók a jövőben intelligens adó-vevő chipet szeretnék fejleszteni, hogy még jobb teljesítményt érjenek el. A jelenleg egy cipősdoboz méretű vevőegységet is szeretnék kicsinyíteni egyetlen chip méretűre, hogy elférjen egy okoseszközön, például egy mobiltelefonban.