Seuraava artikkeli auttaa sinua: Kirjoita essee 5 rivillä koodia käyttämällä GPT-Neoa
Tekstigeneraattori on noussut kirjoittajateollisuudessa, koska kukapa ei tarvitsisi “assistenttia”, joka hoitaa työsi tehokkaasti ja ammattimaisesti. Erityisesti Open AI:n luoman Generative Pretrained Transformer 3:n (GPT 3) nousun myötä, joka on tehokas tekoälykirjoitustyökalu. Ainutlaatuista GPT-3:ssa on, että se on kaikkien aikojen ensimmäinen ohjelma, joka voi oppia kirjoittamaan ihmisen lailla ilman, että tietojenkäsittelytieteilijä tarvitsee sitä. Tällainen huipputeknologia ei tule ilmaiseksi. Joten Eleuther AI keksi ratkaisun GPT-Neo ja GPT-J. Tässä artikkelissa puhumme GPT-Neosta ja näytämme, kuinka essee voidaan kirjoittaa sillä vain 5 koodirivillä. Seuraavassa on käsiteltävät aiheet.
Sisällysluettelo
- Tietoja GPT-Neosta
- Tekstin luominen GPT-Neolla
Aloitetaan puhumalla GPT-Neosta
Tietoja GPT-Neosta
GPT Neo on avoimen lähdekoodin vaihtoehto GPT 3:lle. Se on avoimen lähdekoodin malli, joka on koulutettu kuten GPT 3, autoregressiivinen muuntaja, joka käyttää mesh-kirjastoa. GPT-Neolla on 3 versiota.
- 125 miljoonalla parametrilla
- 1,3 miljardilla parametrilla, jotka vastaavat GPT-3 Babbagea
- 2,7 miljardilla parametrilla
Eleuther AI on myös kehittänyt toisen vaihtoehtoisen GPT-J:n, joka on tehokkain avoimen lähdekoodin tekstigeneraattori 6 miljardilla parametrilla.
CPU:n ja GPU:n käyttö
GPT-J tarvitsee toimiakseen noin 25 Gt GPU VRAM -muistia sekä useita CPU-säikeitä. Suorittimilla GPT-J toimii hitaasti, joten on yksinkertaisempaa käyttää sitä GPU:lla. Tämä ei sovi useimpiin nykyisiin NVIDIA-grafiikkasuorittimiin, joissa on 8 Gt tai 16 Gt VRAM-muistia. Näiden vaatimusten lisäksi on mahdotonta testata GPT-J:tä ja GPT-Neoa, saati sitten käyttää niitä luotettavasti johtopäätösten tekemiseen tuotannossa korkean käytettävyyden ja skaalautuvuuden mielessä. Mutta pilvitekniikan ansiosta voimme käyttää näitä NLP-malleja sujuvasti.
Luodaan tekstiä GPT-Neolla pythonissa.
Etsitkö täydellistä arkistoa tietotieteessä käytettävistä Python-kirjastoista, katso tästä.
Tekstin luominen GPT-Neolla
Tässä artikkelissa käytämme ennalta määritettyä putkistoa, joka helpottaa tulosten saamista. Tämä putki on rakennettu halaamalla kasvoja Eleuther AI GPT-Neolla ja sen avulla voimme luoda kappaleen vain kolmella koodirivillä.
Tarvittavien pakettien asentaminen:
Tarve asentaa PyTorch-kirjasto moniulotteisille tensoreille ja matemaattisille operaattoreille.
- PyTorch on avoimen lähdekoodin python-kirjasto, joka perustuu Torchiin, joka on kehitetty C:lle. Pytorchin kehittää ja ylläpitää Facebook AI. Yksinkertaisesti sanottuna se on NumPy, jossa on GPU.
! pip install torch torchvision torchaudio
Tarve asentaa muuntajat
- NLP:n muuntaja on arkkitehtuuri, joka pystyy käsittelemään pitkän kantaman riippuvuuksia samalla kun se ratkaisee sekvenssin sekvenssitehtäviin käyttämättä sekvenssikohdistettuja RNN:itä tai konvoluutioita.
! pip asennusmuuntajat
Lataa putki tekstin luomista varten:
muuntajista import pipeline generator = pipeline(‘text-generation’, model=”EleutherAI/gpt-neo-1.3B”)
Tässä GTP-Neoa käytettäessä 1,3 miljardia parametria, koska 2,7 miljardin parametrin versio tarvitsi 20 Gt VRAM-muistia ja tekstin luomiseen kuluu paljon enemmän aikaa.
Mallin parametrit:
prompt=”Luonnollisen kielen käsittelyn nousu” res = generaattori(kehote, max_length=300, do_sample=tosi, lämpötila=0,5) res1= generaattori(kehote, max_length=300, do_sample=tosi, lämpötila=0,7) res2= generaattori( kehote, max_length=300, do_sample=True, lämpötila=0,9)
Parametrien kuvaus:
- Kehote on paikka, jossa sinun on syötettävä kappaleen tai esseen otsikko.
- Max_length on kappaleessa olevien sanojen kokonaismäärä.
- Lämpötila on sanojen sattumanvaraisuus. Se vaihtelee välillä 0-1.
Kuten yllä olevassa koodirivissä, käytin kolmea eri generaattoria eri satunnaisuudella nähdäkseni muuntajan tehokkuuden.
Lähtö:
Tulos on sanakirjamuodossa, joten pura teksti tästä sanakirjasta käyttämällä alla olevaa koodiriviä.
print(res[0][‘generated_text’]) Tulosta(“———————————————- —————————“) print(res1[0][‘generated_text’]) Tulosta(“———————————————- —————————“) print(res2[0][‘generated_text’])
Generaattorin lähtö satunnaisuudella 0,5.
Tässä tuloksessa voimme havaita, että sama rivi toistetaan useita kertoja.
Generaattorin lähtö satunnaisuudella 0,7.
Tässä tuloksessa joissakin lauseissa ei ollut mitään järkeä.
Lopullinen generaattori satunnaisuudella 0.9.
Tämä on mieluiten paras näistä kaikista, ja lauseet olivat järkeviä luettaessa.
Viimeiset sanat
GPT-Neo on tehokas vaihtoehto GPT 3:lle, ja toteutuksen myötä hän sai vilauksen sen suuresta potentiaalista. Se on upea apulainen kirjoitusprosessin käynnistämiseen. Hugging face pipelinen avulla GPT-Neon kokemus paranee ja vain kolmella koodirivillä pääset alkuun aiheesta. Tämän artikkelin käytännön toteutuksen avulla voisimme kirjoittaa esseen tekoälyn avulla.
