Seuraava artikkeli auttaa sinua: Ohjaaja Kuka? Avoimen lähdekoodin autokooderit ottavat vallan
Siitä lähtien, kun avoimen lähdekoodin LLM-buumi alkoi LLaMA-vuodon myötä, monet muut osapuolet ovat halunneet seurata trendiä. Pelkästään viime viikolla julkaistiin kaksi koodaavaa LLM:ää, mikä viittaa uuden suuntauksen alkuun. Nyt kun LLM:t, joilla on lähellä GitHub Copilotia, ovat avoimen lähdekoodin yhteisön käsissä, kehittäjillä on ristiriitaisia tunteita.
Vaikka LLaMA:n julkaisu vauhditti joukon avoimen lähdekoodin LLM:ien luomista, näyttää siltä, että nämä uudet koodaavat LLM:t tekevät samoin automaattisille koodereille. Sekä BigCoden StarCoder että Replitin Code V1 tarjoavat avoimen lähdekoodin vaihtoehdon Copilotin omistamalle GPT-4:ään perustuvalle LLM:lle, mikä avaa ne kekseliäisyydelle ja tuoteintegraatiolle.
Onko avoin lähdekoodi tekoälyn tulevaisuus?
Äskettäin Googlen tutkija totesi vuotaneessa asiakirjassa, että OpenAI:lla tai Googlella ei ole vallihautaa LLM:ien suhteen, mikä antaa voiton avoimen lähdekoodin yhteisölle. Hän totesi:
“Meidän ei pitäisi odottaa, että pystymme kuromaan kiinni [to open source]. Nykyaikainen Internet toimii avoimella lähdekoodilla syystä. Avoimella lähdekoodilla on joitain merkittäviä etuja, joita emme voi toistaa.”
Tämä on suurelta osin totta, varsinkin kun otetaan huomioon LLaMA:n vaikutus avoimen lähdekoodin ekosysteemiin. Lista malliin tuotuista innovaatioista on pitkä ja lukuisia, mutta tärkeintä on, että kaikki nämä parannukset ovat vapaaehtoisten tekoälyn harrastajien tekemiä, jotka haluavat rakentaa paremman tuotteen.
Vaikka Meta hyötyi vähiten LLaMA-vuodosta, yhteisön tekemät parannukset nettoivat heille planeetan arvoisen ilmaista työvoimaa. Tämä on ylivoimaisesti suurin avoimen lähdekoodin arvolupaus, koska sen avulla vapaaehtoiset voivat osallistua suuriinkin projekteihin.
Tähän asti suurin este avoimen lähdekoodin yhteisölle pääsylle LLM:ien osalta olivat koulutuskustannukset, jotka nousivat rutiininomaisesti miljooniin erityisen suurien mallien kohdalla. Kehittäjät pystyivät kuitenkin leikkaamaan LLaMA:n koulutuskustannukset 300 dollariin ja jopa optimoimaan sen niin, että se voisi toimia Raspberry Pi:llä.
Mitä tulee autokooderiin, ohjelmoijat ja kehittäjät olivat LLaMAa edeltävässä tilassa ennen tämän viikon LLM:ien julkaisua. Heidän oli joko käytettävä omaa suljetun lähdekoodin ratkaisua, kuten OpenAI:n GPT-4, GitHub Copilot tai Tabnine, tai hienosäätää olemassa olevaa avoimen lähdekoodin LLM:ää suurella henkilökohtaisella kustannuksella.
Kumpikaan näistä lähestymistavoista ei edistänyt avoimen lähdekoodin potentiaalin hyödyntämistä, koska niitä estivät rajoittavat lisenssit ja käyttöoikeudet. StarCoderin ja CodeV1:n julkaisun myötä on kuitenkin mahdollisuus päästää markkinoille automaattikoodattuja projekteja.
Innovaatiot odottavat toteutumistaan
Vaikka molemmat mallit julkaistiin avoimen lähdekoodin lisensseillä (CC by SA CodeV1:lle ja OpenRAIL-M Starcoderille), näyttää siltä, että ne palvelevat eri tarkoituksia avoimen lähdekoodin maailmassa. Näistä kahdesta StarCoder on luultavasti rakennettu alusta alkaen avoimen lähdekoodin yhteisöä varten, koska sekä malli että 6,4 Tt:n lähdekoodin tietojoukko olivat avoimen lähdekoodin lähdekoodia samaan aikaan.
Mallin todettiin myös laadultaan paremmaksi kuin Replitin Code V1, joka näyttää keskittyneen halvaan harjoitteluun ja juoksemiseen. HumanEval-vertailussa StarCoder saavutti 40,8 %, kun taas Code V1 saavutti vain 30,5 %. Lisäksi StarCoder voi tehdä enemmän kuin vain ennustaa koodia, se voi myös auttaa ohjelmoijia tarkistamaan koodia ja ratkaisemaan ongelmia koodin metatietojen avulla.
Yksi StarCoderin haittapuoli on sen laitteistovaatimukset, jotka vaativat vähintään 32 Gt GPU-muistia 16-bittisessä tilassa. Jos LLaMA on kuitenkin merkki, avoimen lähdekoodin yhteisö tarvitsee vain muutaman viikon optimoidakseen tämän mallin toimimaan jopa puhelimissa ja kannettavissa tietokoneissa.
Replitin CodeV1 puolestaan näyttää olevan arvokas lisä heidän olemassa olevaan ohjelmistoekosysteemiin. CodeV1 näyttää olevan uusi askel heidän strategiassaan demokratisoida pääsy tekoälypohjaiseen ohjelmistopinoon. Tällä tavalla sen sijaan, että se lukitsisi kehittäjät yhteen ekosysteemiin, kuten GitHub Copilot yrittää, se voi kohdistaa paljon suuremmat ja monipuoliset kehittäjät, jotka haluavat vapautta tekoälyn käyttöön.
Käyttäjä runnerup Hacker News -foorumilla kertoi CodeV1:stä seuraavasti: “Siellä kuin GitHub Copilot, en salli minun käyttää heidän tekoälyään koodikantaani vastaan haluamallani tavalla. Joten jos Replit löytää innovatiivisempia, rajoja työntäviä tapoja integroida LLM:itä, he eivät välttämättä tarvitse korkealaatuisia LLM:itä tuottaakseen ylivertaisen käyttökokemuksen.
Mikä tärkeintä, ei ole väliä, että nämä mallit ovat joko vaikeita käyttää tai epätarkkoja, koska avoimen lähdekoodin yhteisö voi helposti korjata nämä ongelmat. LLaMA:n ja siihen liittyvien projektien parissa työskentelevät vapaaehtoiset ovat osoittaneet, että yhteisö voi tehdä malleista sekä helppokäyttöisiä että tarkempia esimerkiksi joukkolähteen RLHF:n avulla. Yksi asia on kuitenkin varma: innovaatiot ovat vasta alussa näille avoimen lähdekoodin malleille.
