Seuraava artikkeli auttaa sinua: Kaikki Alexan uudesta kielen ymmärtämisen mallista
OpenAI:n kehittämän GPT-3-mallin innoittamana Amazon on esitellyt uusimman kielimallinsa, Alexa Teacher Modelin (AlexaTM 20B). Se on sekvenssistä sekvenssiin (seq2seq) enkooderi-dekooderimalli, toisin kuin useimmat nykyiset kielimallit, jotka ovat vain dekooderin arkkitehtuureja.
Tietoja AlexaTM 20B:stä
Amazonin uusi kielimalli on monikielinen suuren mittakaavan malli, joka on valmiiksi koulutettu melua vähentäviin ja kausaalisen kielimallinnuksen (CLM) tehtäviin. Yrityksen mukaan tämä strategia auttaa AlexaTM-mallia olemaan tehokkaampi muutaman otoksen oppimiseen kuin pelkän dekooderin kielimallit.
AlexaTM 20B -malli saavuttaa huippuluokan suorituskyvyn yhden laukauksen yhteenvetotehtävissä ja ylittää suuremman PaLM-dekooderimallin 540 miljardilla parametrilla. Amazonin malli toimii erityisen hyvin sen tukemille vähän resursseja vaativille kielipareille – arabia, ranska, englanti, saksa, hindi, italia, japani, portugali, espanja, marathi, tamili ja telugu Flores-101-tietojoukossa.
Lisäksi nolla-asetuksella AlexaTM 20B jopa ylittää GPT3:n SuperGLUE- ja SQuADv2-tietosarjoissa. Se tarjoaa myös huippuluokan suorituskyvyn monikielisissä tehtävissä, kuten XNLI, XCOPA, Paws-X ja XWinograd.
AlexaTM 20B:n tutkijat kuvasivat mallinkehitysputken, jossa muuntajapohjaiset kooderit esiopetetaan tyhjästä käyttämällä julkista dataa, mukautetaan käyttämällä leimaamatonta dataa, tislataan 2-vaiheisella tislausprosessilla ja lopuksi hienosäädetään. Tämä poikkeaa tavallisesta käytännöstä, jossa ensimmäisen tislauksen tuotantoon keskittyvät NLU-mallit, joissa on 85M-300M-parametrit, ja sitten hienosäätää tai vuorotellen harjoitella niitä tyhjästä lopullisessa merkittyssä tietojoukossa. AlexaTM-putkisarja alkaa malleilla, jotka sisältävät yli 2,3 miljardia parametria, ja se parantaa tätä paradigmaa.
Luotto: Amazon
AlexaTM 20B -malliin liittyy useita rajoituksia, jotka eivät yleensä koske muita kielimalleja. Koska työtä on tarkoitus käyttää reunalaitteessa, kuten matkapuhelimissa, muisti on huippuluokkaa ja mallipäätelmän tulee olla pieni latenssi. Lisäksi Alexa-digitaaliavustaja tukee eri kieliä ja syöttö on puhutussa muodossa, joka poikkeaa hyvin paljon harjoitustietosarjoissa käytetystä tekstistä.
Luotto: Amazon
Haasteet ja tulevaisuuden työ
Jatkossa tiimi sanoo haluavansa luonnehtia tarkasti julkisten esikoulutettujen keskustelumallien, kuten TOD-BERT ja ConveRT, käyttöä, arvioida useampia opettajien ja tislattujen mallien kokojen yhdistelmiä, vertailla mallia erilaisilla julkisilla tietojoukoilla, kuten MultiATIS tai MASSIVE. Tiimi haluaa hyödyntää enemmän dialogia ja käyttäjäkontekstia, kokeilla koodinvaihtoa ja tutkia ASR-kohinatasoja ja paljon muuta.
Lisäksi tiimi on myös myöntänyt, että kuten muutkin suuret kielimallit, AlexaTM 20B:llä on todennäköistä, että myrkyllinen kielenkäyttö, haitalliset stereotypiat ja sosiaaliset ennakkoluulot säilyvät sen koulutuksen saamien online-tietojen perusteella. Tätä taustaa vasten tiimi suosittelee, että käyttäjät “suorittavat täydellisen tehtäväkohtaisen oikeudenmukaisuus- ja bias-analyysin ennen mallin käyttöä ymmärtääkseen täysin mahdolliset haitat, joita sen käytöstä saattaa aiheutua, ja puuttua niihin”.
Tiimi ehdottaa myös, että mallia soveltavasta alavirtaussovelluksesta riippuen määrättyjä tekniikoita voidaan käyttää mallin vääristämiseen ja myrkyttömyyteen. Tutkimuksen tekijät toistavat myös oikeudenmukaisuustarkastuksen tärkeyden. He korostavat tarvetta tutkia enemmän harhan lieventämistä.
Ambient AI
Kesäkuussa 2022 pidetyssä re:MARS – Amazon -konferenssissa koneoppimisesta ja robotiikasta Alexa AI:n vanhempi varapresidentti ja johtava tutkija Rohit Prasad keskusteli yksityiskohtaisesti ambient-älyn nousevasta trendistä. Tämän konseptin sanotaan olevan älykkään tietojenkäsittelyn tulevaisuus, jossa ei vaadita eksplisiittistä syöttöä ja lähtöä.
Prasad oli silloin sanonut, että ambient-äly tarjoaa käytännöllisimmän tavan saavuttaa yleistettävä älykkyys. ”Ympäristöäly on paras esimerkki Alexan kaltaisissa tekoälypalveluissa, joita käytämme päivittäin. Asiakkaat ovat vuorovaikutuksessa Alexan kanssa miljardeja kertoja viikossa. Ja ennakoivien ja ennakoivien ominaisuuksien, kuten Hunches and Routines, ansiosta yli 30 prosenttia älykkään kodin vuorovaikutuksista on Alexan aloitteesta, hän sanoi haastattelussa.
