Seuraava artikkeli auttaa sinua: OpenAI tuumaa lähempänä AGI:ta, vähentää hallusinaatioita
Matematiikan opettajan innokas kiinnostus ongelman ratkaisuvaiheiden tarkistamiseen tuloksen sijaan muodostaa löyhästi perustan OpenAI:n uudelle koulutuslähestymistapalle. Yritys julkisti uuden tekniikan mallin kouluttamiseen prosessinvalvonnan kautta palkitsemalla jokaisesta oikean päättelyn vaiheesta sen sijaan, että palkitsisi oikean lopputuloksen tulosvalvonnalla.
Tässä tulos olisi todennäköisesti malli, jossa on vähemmän hallusinaatioita ja korkeampi kohdistus, kuten yritys väittää. OpenAI kutsuu erityisesti hallusinaatioiden lieventämistä ratkaisevana askeleena kohti “yhtenäisen AGI:n rakentamista”, mutta voisiko mikään näistä uusista koulutusmenetelmistä saada heidät lähemmäksi AGI-statusta?
Lähde: Viserrys
Hallusinaatiot Bayllä
OpenAI puhuu siitä, kuinka malleja voidaan kouluttaa havaitsemaan hallusinaatioita joko prosessin valvonnalla, menetelmällä antaa palautetta jokaisesta yksittäisestä vaiheesta tai tulosvalvonnalla, jossa palaute perustuu lopputulokseen. Yritys väittää parantaneensa matemaattista päättelyä entisellä menetelmällä. Palkitsemalla mallia jokaisesta oikeasta askeleesta mallin sanotaan jäljittelevän “inhimillistä päättelyä” samalla kun se ratkaisee matemaattisen ongelman.
Hallusinaatioita painottaen yhtiön siirtyminen kohti “väittämistä” mallien vahvistamiseksi jatkuu. Yritykset työskentelevät aktiivisesti hallusinaatioiden vähentämiseksi. Äskettäin NVIDIA julkaisi NeMo Guardrails, avoimen lähdekoodin työkalupakin, joka auttaa LLM-pohjaisista sovelluksista muuttumaan tarkiksi, sopiviksi ja turvallisiksi. Koska chatbottien jatkuvana ongelmana pidetään hallusinaatioita, jotka saavat ne usein käyttäytymään epäloogisesti tuottamalla väärää tietoa tai harhaa, OpenAI pyrkii parantamaan mallejaan.
Uuden koulutusmenetelmän avulla yritys toivoo valvovansa hallusinaatioita, koska he uskovat, että prosessilähtöinen menetelmä, joka sisältää palautetta jokaisessa vaiheessa, hallitsee chatbottien tuottamia irrationaalisia tuloksia.
Kohdistus — lähempänä AGI:ta?
OpenAI:n viittaus “yhdenmukaisen AGI:n rakentamiseen” viittaa yrityksen pitkän aikavälin suunnitelmiin sen saavuttamiseksi. Kun katsoo taaksepäin, Sam Altman on maininnut useita kertoja AGI:sta ja siitä, miltä tulevaisuus näyttää sen kanssa. Muutama kuukausi sitten hän laati OpenAI:lle yksityiskohtaisen AGI-suunnitelman, jossa sen vaarat mainittiin. Yhtiö uskoi, että AGI:tä voidaan käyttää väärin ja johtaa vakaviin seurauksiin yhteiskunnassa. Näistä riskeistä huolimatta sen mahdollisuudet ja hyödyt ovat kuitenkin kauaskantoisia, joten yhtiö kehittää sitä ”vastuullisesti”. AI-asiantuntija Gary Marcus ennustaa, että AGI ei tule pian.
On mielenkiintoista huomata, että Altmanin kanta AGI:hen ja sen kehittämiseen ei ole yksiselitteinen. Eilisessä twiitissä Altman ilmeisesti vähätteli AGI:n riskiä ennustamalla, kuinka “paljon nopeampi muutosnopeus” on se, mitä AGI tuo mukanaan. Hän uskoo, että AGI:n kanssa tulevaisuus kehittyy samalla tavalla kuin ilman sitä, ja ero on nopeus, jolla asiat etenevät – “kaikki tapahtuu paljon nopeammin”.
Ironista kyllä, Sam Altman yhdessä tekoälytutkijoiden, Geoffrey Hintonin, Yoshua Bengion ja monien muiden kanssa allekirjoittivat muutama päivä sitten lausunnon, joka puolustaa tekoälyn aiheuttamaa sukupuuttoon liittyvää uhkaa ja pitää sitä ydinsodan tasolla. Jos asian suhteen on ryhdyttävä toimiin, herää kysymys: kuinka pitkälle OpenAI menee, jotta edistyneemmät mallit saavuttaisivat AGI:n?
Äskettäinen lausunto on jatkoa avoimelle kirjeelle, jonka yli 31 000 ihmistä allekirjoitti kaksi kuukautta sitten, mukaan lukien Elon Musk, Gary Marcus ja muut tekniikan asiantuntijat, jotka kehottivat keskeyttämään edistyneitä tekoälymalleja, jota ei, mielenkiintoista kyllä, allekirjoitettu. Kirjailija: Sam Altman Vaikka Altman oli kuukausi sitten vahvistanut, ettei yritys aio rakentaa seuraavaa ylivoimaista malliaan GPT-5, vaan keskittyy sen sijaan olemassa olevien mallien turvallisuusominaisuuksiin, hänen jatkuva vaikutus AGI-uhkiin ja sen laajuuden vähättelyyn tekee sen vaikea arvioida mihin yritys on menossa.
Yritys, jota usein kritisoidaan tietoturvauhkista ja tietosuojaongelmista, taistelee lujasti todistaakseen ChatGPT:n idioottivarmaksi chatbotiksi. Yritys työskentelee nyt tekoälyn demokratisoimiseksi tarjoamalla apurahoja niille, jotka voivat ehdottaa parasta menetelmää tekoälyn sääntelykehyksen luomiseen – jälleen toivoen järjestelmän parantamista ja näyttävän olevan maailman yhteensopiva.
