Gekissimo.net - Opi ansaitsemaan rahaa webilläsi Internetissä!

Mitä tapahtuu, jos käytät muuntajamallia optisella hermoverkolla?

Seuraava artikkeli auttaa sinua: Mitä tapahtuu, jos käytät muuntajamallia optisella hermoverkolla?

Syväoppimismallien eksponentiaalisesti laajeneva mittakaava on merkittävä voima edistyneessä tekniikassa ja aiheuttaa kasvavaa huolta energiankulutuksesta, nopeudesta ja siten massiivisen syväoppimisen toteutettavuudesta. Äskettäin Cornellin tutkijat puhuivat muuntajatopologioista, erityisesti siitä, kuinka ne ovat dramaattisesti parempia, kun ne skaalataan miljardeihin tai jopa biljooniin parametreihin, mikä johtaa eksponentiaaliseen kasvuun syväoppivan tietojenkäsittelyn hyödyntämisessä. Nämä suuret muuntajat ovat suosittu mutta kallis ratkaisu moniin tehtäviin, koska digitaalisen laitteiston energiatehokkuus ei ole pysynyt huippuluokan syväoppimismallien nousevien FLOP-vaatimusten mukana. Ne toimivat myös yhä vaikuttavammin muilla aloilla, kuten tietokonenäössä, kaavioissa ja multimodaalisissa asetuksissa.

Heillä on myös siirto-oppimistaitoja, joiden avulla he voivat nopeasti yleistää tiettyihin toimintoihin, joskus nollakuvausympäristössä ilman lisäkoulutusta. Näiden mallien kustannukset ja niiden yleiset koneoppimisominaisuudet ovat merkittäviä liikkeellepanevia voimia tehokkaan ja nopean johtopäätöksen tekemiseen tarkoitettujen laitteistokiihdyttimien luomisessa. Syväoppimislaitteistoa on aiemmin kehitetty laajasti digitaalisessa elektroniikassa, mukaan lukien GPU:t, mobiilikiihdytinsirut, FPGA:t ja laajamittaiset tekoälylle omistetut kiihdytinjärjestelmät. Optisia hermoverkkoja on ehdotettu muun muassa ratkaisuiksi, jotka tarjoavat paremman tehokkuuden ja latenssin kuin neuroverkkototeutukset digitaalisissa tietokoneissa. Samalla on myös merkittävää kiinnostusta analogiseen laskemiseen.

Vaikka nämä analogiset järjestelmät ovat herkkiä kohinalle ja virheille, hermoverkkotoiminnot voidaan usein suorittaa optisesti paljon pienemmillä kustannuksilla, jolloin pääkustannukset ovat tyypillisesti sähköiset ylimääräiset kustannukset, jotka liittyvät suurissa lineaarisissa operaatioissa kuolettavien painojen ja datan lataamiseen. Valtavan mittakaavan mallien, kuten Transformers, kiihtyvyys on siis erityisen lupaavaa. Teoriassa skaalaus on asymptoottisesti tehokkaampi MAC-energian suhteen kuin digitaaliset järjestelmät. Täällä he osoittavat, kuinka Transformers käyttävät tätä skaalausta yhä enemmän. He ottivat näytteitä todellisen Transformerin toiminnoista kielimallinnusta varten, jotta ne toimisivat todellisessa spatiaalisen valon modulaattoripohjaisessa kokeellisessa järjestelmässä. Sitten he käyttivät tuloksia luodakseen kalibroidun simulaation koko muuntajasta, joka toimii optisesti. Tämä tehtiin sen osoittamiseksi, että muuntajat voivat toimia näissä järjestelmissä niiden kohina- ja virheominaisuuksista huolimatta.

🔥 Empfohlen:  Yksinkertainen opas: Mitä on kotityö?

Simulaatioissaan käyttämällä painoja ja syötteitä, jotka saatiin näistä kokeista systemaattisilla virheillä, kohinalla ja epätarkkuudella, he havaitsivat, että muuntajat toimivat edelleen lähes yhtä hyvin kuin digitaalisesti toimivat. Tässä on yhteenveto heidän tärkeimmistä panoksestaan:

• He loivat skaalaussäännöt optisten muuntajien suorituskyvylle ja kokonaisenergiakustannuksille verrattuna mallin kokoon ja optisen energian käyttöön. He osoittivat kokeellisesti, että Transformersin lineaariset toiminnot voidaan suorittaa tarkasti todellisella optisella laitteistolla virheistä ja kohinoista huolimatta.

• Simulaatioihinsa ja testeihinsä perustuvan suunnittelun avulla he ennustivat koko ONN-kiihdytin energiankulutuksen.

• He laskivat, että optiikka kuluttaa suuruusluokkaa vähemmän energiaa kuin huippuluokan prosessorit.

Vaikka heidän simulaatioissaan ja testeissään käytettiin tiettyä laitteistoa esimerkkinä, niiden painopiste on tässä laajempi. He haluavat tietää, miten optisen energian skaalaus ja kohina liittyvät muuntajan rakenteeseen ja suorituskykyyn. Tämän seurauksena lähes kaikki heidän johtopäätöksensä pätevät yleensä lineaarisiin optisiin prosessoreihin riippumatta niiden laitteistototeutuksen erityispiirteistä.