Seuraava artikkeli auttaa sinua: LLM:ien taistelu: Vicuna vs Alpaca
Suurista kielimalleista on tullut Internetin suosituin hyödyke. OpenAI:n ChatGPT:n polttamaa trendiä vievät eteenpäin avoimen lähdekoodin mallit, koska entinen kieltäytyy jakamasta yksityiskohtia. Vaikka niitä ei voi käyttää kaupallisesti, kaksi maaliskuussa julkaistua mallia – Vicuna ja Alpaca – ovat onnistuneet saamaan tekoälyyhteisön huomion.
Meta on murtanut muotin ja osoittanut omistautumisensa akateemiselle yhteisölle hankkimalla avoimen lähdekoodin uusimman mallinsa LLaMA:n. Mallin painot ovat tutkijoiden saatavilla pyynnöstä, mikä luo alustan tekoälymaailman uusimmille kilpailijoille. Stanfordin Alpaca ja Vicuna-13B, joka on UC Berkeleyn, CMU:n, Stanfordin ja UC San Diegon tutkijoiden yhteistyö, saivat vauhtia pian julkaisunsa jälkeen.
GitHub ja koodit
Parasta molemmissa malleissa on, että ne ovat avoimen lähdekoodin. Pahinta on, että käyttöehdot eivät anna käyttäjien kaupallistaa sitä. Nämä mallit ovat onnistuneet pääsemään otsikoihin myös alhaisten hintalappujen ansiosta. The koulutuksen kustannukset Vicunan 7B- ja 13B-parametrit ovat 140 dollaria ja 300 dollaria. Toisaalta Alpacan 7B-parametrit vaativat 500 dollaria datasta ja 100 dollaria koulutuksesta.
Vicuna ja Alpaca koulutuskoodit ovat julkisessa käytössä. Vicuna on koulutettu käyttäjien jakamiin keskusteluihin, jotka koostuvat 70k näytteet. Sitä vastoin Alpaca hyödyntää itseohjautuvaa davinci-003 API:ta, joka sisältää 52k näytteet.
Tätä artikkelia kirjoitettaessa Vicuna teki 13,3 000 GitHub-tähteäkun taas Alpakassa oli 20,2k tähteä. Arkistot sisältävät painotuksia, hienosäätöjä ja tiedon generointikoodeja. API on saatavilla myös Vicunalle. Tarkista Vicuna ja Alpakan GitHub-arkistot.
GPT-4 ajattelee…
Vapauttaessaan Vicunan tutkijat arvioitu se GPT-4:llä, kun taas Alpaca arvioi tekijä. AI-chatbottien arvioiminen on kuitenkin kuin yrittäisi arvioida kalan kykyä kiivetä puuhun. Monet asiat on otettava huomioon, kuten kielitaito, päättely ja kontekstin ymmärtäminen. Mallit arvioitiin yhdeksän kategorian perusteella maalaisjärjestä matematiikkaan.
GPT-4:n mukaan Alpaca teki 7/10 ja Vicuna-13B sai 10/10 “kirjoituksesta”. Syy: Alpaca tarjosi yleiskatsauksen matkablogiviestistä, mutta ei varsinaisesti laatinut blogitekstiä pyydettäessä, joten pisteet olivat alhaiset. Toisaalta Vicuna laati yksityiskohtaisen blogin äskettäisestä Havaijin matkasta korostaen kulttuurikokemuksia ja pakollisia nähtävyyksiä. Se vastasi täysin käyttäjän pyyntöön ja ansaitsi korkeamman pistemäärän.
Ominaisuuksistaan huolimatta molemmilla malleilla on rajoituksensa. Vicuna on erityisen herkkä koulutusdatan kontaminaatiolle ja saattaa joutua luomaan uusia vertailuarvoja testausta varten.
Vertailun vuoksi Alpacan vastaukset ovat tyypillisesti lyhyempiä kuin ChatGPT, mikä kuvastaa text-davinci-003:n lyhyempiä tuloksia. Mallissa on myös yleisiä kielimalliongelmia, mukaan lukien hallusinaatiot, toksisuus ja stereotypiat. Etenkin hallusinaatiot näyttävät olevan Alpakan yleinen vikatila, vaikka sitä verrataan teksti-davinci-003:een. Esimerkiksi Alpaca väittää virheellisesti, että Tansanian pääkaupunki on Dar es Salaam, joka oli pääkaupunki vuoteen 1974 asti, jolloin sen tilalle tuli Dodoma. Tutkijat totesivat, että Alpacalla on todennäköisesti muita rajoituksia, jotka liittyvät sekä taustalla olevaan kielimalliin että ohjeiden viritystietoihin.
Yhteenvetona voidaan todeta, että vaikka sekä Vicunalla että Alpacalla on vahvuutensa ja rajoituksensa, on tärkeää arvioida, mikä malli vastaa tietyn projektin vaatimuksia. Vicunan käyttäjien jaetut keskustelut ja GPT4-arviointi ovat hyödyllisiä, kun taas Alpacan itseohjautuva davinci-003 API on ainutlaatuinen ominaisuus. Vaikka käyttöehdot voivat rajoittaa kaupallistamista, Vicunan ja Alpacan avoimen lähdekoodin luonne on arvokasta.
