Seuraava artikkeli auttaa sinua: Ei, ChatGPT ei aiheuta uutta GPU-pulaa
ChatGPT kasvaa räjähdysmäisesti, ja sen tekoälymallin selkäranka perustuu Nvidian näytönohjainkortteihin. Eräs analyytikko sanoi, että ChatGPT:n kouluttamiseen käytettiin noin 10 000 Nvidia GPU:ta, ja palvelun laajenemisen myötä GPU:iden tarve kasvaa. Jokainen, joka koki krypton nousun vuonna 2021, voi haistaa GPU-pulan horisontissa.
Olen nähnyt muutaman toimittajan rakentavan juuri tuon yhteyden, mutta se on väärä. Kryptopohjaisten GPU-pulojen päivät ovat takanapäin. Vaikka näemme todennäköisesti näytönohjainten kysynnän kasvun, kun tekoäly jatkaa nousuaan, kysyntää ei ole suunnattu parhaisiin pelikoneisiin asennettuihin näytönohjainkortteihin.
Miksi Nvidia GPU:t on rakennettu tekoälylle
Ensin tarkastelemme, miksi Nvidia-näytönohjaimet ovat niin hyviä tekoälylle. Nvidia on lyönyt vetoa tekoälystä useiden viime vuosien ajan, ja se on kannattanut yhtiön osakekurssin huimaa nousua ChatGPT:n nousun jälkeen. On kaksi syytä, miksi näet Nvidian tekoälykoulutuksen ytimessä: tensoriytimet ja CUDA.
CUDA on Nvidian sovellusohjelmointirajapinta (API), jota käytetään kaikessa sen kalleimmista datakeskusten GPU:ista halvimpiin peligrafiikkasuorittimiin. CUDA-kiihdytystä tuetaan koneoppimiskirjastoissa, kuten TensorFlow, mikä nopeuttaa huomattavasti koulutusta ja päättelyä. CUDA on liikkeellepaneva voima siihen, että AMD on niin paljon jäljessä tekoälyssä Nvidiaan verrattuna.
Älä kuitenkaan sekoita CUDAa Nvidian CUDA-ytimiin. CUDA on alusta, jolla monet tekoälysovellukset toimivat, kun taas CUDA-ytimet ovat vain Nvidian GPU:iden ytimiä. Niillä on yhteinen nimi, ja CUDA-ytimet on paremmin optimoitu suorittamaan CUDA-sovelluksia. Nvidian peligrafiikkasuorittimissa on CUDA-ytimet ja ne tukevat CUDA-sovelluksia.
Tensor-ytimet ovat pohjimmiltaan omistettuja tekoälyytimiä. Ne käsittelevät matriisin kertolaskua, joka on salainen kastike, joka nopeuttaa tekoälyn harjoittelua. Idea tässä on yksinkertainen. Kerro useita tietojoukkoja kerralla ja harjoittele tekoälymalleja eksponentiaalisesti nopeammin luomalla mahdollisia tuloksia. Useimmat prosessorit käsittelevät tehtäviä lineaarisesti, kun taas Tensor-ytimet voivat luoda skenaarioita nopeasti yhdellä kellojaksolla.
Jälleen Nvidian peligrafiikkasuorittimissa, kuten RTX 4080:ssa, on Tensor-ytimet (ja joskus jopa enemmän kuin kalliit datakeskuksen GPU:t). Kaikkien Nvidia-korttien on kuitenkin kiihdytettävä tekoälymalleja, mutta mikään niistä ei ole yhtä tärkeä kuin muisti. Ja Nvidian peligrafiikkasuorittimissa ei ole paljon muistia.
Kaikki jää muistiin
“Muistin koko on tärkein”, sanoo Jeffrey Heaton, useiden tekoälyä käsittelevien kirjojen kirjoittaja ja St. Louisin Washingtonin yliopiston professori. “Jos sinulla ei ole tarpeeksi GPU-RAM-muistia, mallin sovitus/päätelmä yksinkertaisesti pysähtyy.”
Heaton, jolla on YouTube-kanava, joka on omistettu AI-mallien toimivuudelle tietyissä grafiikkasuorituksissa, huomautti, että CUDA-ytimet ovat myös tärkeitä, mutta muistikapasiteetti on hallitseva tekijä, kun kyse on GPU:n toiminnasta tekoälylle. RTX 4090:ssä on pelistandardien mukaan paljon muistia – 24 Gt GDDR6X-muistia – mutta hyvin vähän verrattuna datakeskusluokan GPU:hin. Esimerkiksi Nvidian uusimmassa H100 GPU:ssa on 80 Gt HBM3-muistia sekä massiivinen 5 120-bittinen muistiväylä.
Voit tulla toimeen vähemmällä, mutta tarvitset silti paljon muistia. Heaton suosittelee aloittelijoille vähintään 12 Gt:n muistia, kun taas tyypillisellä koneoppimisinsinöörillä on yksi tai kaksi 48 Gt:n ammattikäyttöön tarkoitettua Nvidia GPU:ta. Heatonin mukaan “useimmat työmäärät laskevat enemmän yhdestä A100:sta kahdeksaan A100-alueelle”. Nvidian A100 GPU:ssa on 40 Gt muistia.
Voit nähdä tämän skaalaus myös toiminnassa. Puget Systems näyttää yhden A100:n 40 Gt muistilla ja toimii noin kaksi kertaa nopeammin kuin yksittäinen RTX 3090 sen 24 Gt muistilla. Ja siitä huolimatta, että RTX 3090:ssä on lähes kaksi kertaa enemmän CUDA-ytimiä ja lähes yhtä monta Tensor-ytimiä.
Muisti on pullonkaula, ei raaka prosessointiteho. Tämä johtuu siitä, että tekoälymallien harjoittelu perustuu suuriin tietokokonaisuuksiin, ja mitä enemmän tietoja voit tallentaa muistiin, sitä nopeammin (ja tarkemmin) voit kouluttaa mallin.
Eri tarpeet, eri kuolee
Nvidian peligrafiikkapiirit eivät yleensä sovellu tekoälylle, koska niillä on vähän videomuistia yritystason laitteistoihin verrattuna, mutta tässä on myös erillinen ongelma. Nvidian työaseman GPU:t eivät yleensä jaa GPU-kuoppaa pelikorttiensa kanssa.
Esimerkiksi A100, johon Heaton viittasi, käyttää GA100 GPU:ta, joka on Nvidian Ampere-sarjan die, jota ei koskaan käytetty peliin keskittyneissä korteissa (mukaan lukien huippuluokan RTX 3090 Ti). Samoin Nvidian uusin H100 käyttää täysin erilaista arkkitehtuuria kuin RTX 40-sarja, mikä tarkoittaa, että se käyttää myös erilaista suulaketta.
Poikkeuksiakin on. Nvidian AD102 GPU:ta, joka on RTX 4090:n ja RTX 4080:n sisällä, käytetään myös pienessä valikoimassa Ada Lovelacen yritysgrafiikkasuorittimia (L40 ja RTX 6000). Useimmissa tapauksissa Nvidia ei kuitenkaan voi vain käyttää pelin GPU:ta uudelleen datakeskuskorttia varten. Ne ovat erillisiä maailmoja.
Salauslouhinnan ja tekoälymallien suosion kasvun välillä on joitain perustavanlaatuisia eroja. Heatonin mukaan GPT-3-malli vaati yli 1000 A100 Nvidia GPU:ta harjoituksiin ja noin kahdeksan ajoon. Näillä GPU:illa on myös pääsy suuren kaistanleveyden NVLink-yhteyteen, kun taas Nvidian RTX 40-sarjan GPU:t eivät. Se vertaa Nvidian pelikorttien enintään 24 Gt muistia useisiin satoihin NVLinkillä varustetuissa GPU:issa, kuten A100:ssa.
On olemassa joitain muita huolenaiheita, kuten ammattimaisille grafiikkasuorituksille varattu muistikierre pelien sijaan, mutta ne päivät, jolloin kiirehtisi paikalliseen Micro Centeriin tai Best Buyiin saadaksesi mahdollisuuden löytää GPU:ta varastossa, ovat menneet. Heaton tiivisti asian hienosti: “Suurten kielimallien, kuten ChatGPT:n, on arvioitu vaativan vähintään kahdeksan GPU:ta toimiakseen. Tällaisissa arvioissa oletetaan huippuluokan A100-grafiikkasuorittimia. Spekulaationi on, että tämä voi aiheuttaa pulaa korkeamman luokan GPU:ista, mutta se ei välttämättä vaikuta pelaajaluokan GPU:ihin, joissa on vähemmän RAM-muistia.”
