Gekissimo.net - Opi ansaitsemaan rahaa webilläsi Internetissä!

Mitä BloombergGPT tuo rahoituspöytään

Seuraava artikkeli auttaa sinua: Mitä BloombergGPT tuo rahoituspöytään

Viime viikolla Bloomberg julkaisi tutkimuspaperin suuresta kielimallistaan ​​BloombergGPT. Yli 50 miljardiin parametriin koulutettu LLM-malli on ensimmäinen laatuaan luova tekoälymalli, joka palvelee rahoitusalaa. Vaikka muutos saattaa luoda ennakkotapauksen muille yrityksille, ilmoitus kuulostaa toistaiseksi painostukselta data- ja uutisyritykselle, joka näyttää merkitykselliseltä tekoälyavaruudessa.

Mielenkiintoista on, että Bloombergilla on jo Bloomberg Terminal, joka käyttää NLP- ja ML-koulutettuja malleja taloustietojen tarjoamiseen. Joten luonnollisesti herää kysymys: kuinka paljon lisäarvoa BloombergGPT tarjoaa ja missä se on muihin GPT-malleihin verrattuna?

Koulutus ja parametrit

Bloombergin laajaa taloustietojen arkistoa viimeisten 40 vuoden ajalta on käytetty GPT-mallin koulutukseen. Se on koulutettu 363 miljardiin tunnusomaiseen tietojoukkoon (taloudellisiin asiakirjoihin), jotka ovat saatavilla Bloombergilta. Lisäksi 345 miljardia token-julkista tietojoukkoa sisällytettiin myös yhteensä 700 miljardia tokenia koulutusta varten.

Yhtiö väittää, että uusi malli (Bloomberg GPT) auttaa parantamaan heidän jo olemassa olevia NLP-tehtäviä, kuten mielipideanalyysiä – menetelmää, joka auttaa ennustamaan markkinahintoja – uutisten luokittelua, otsikoiden luomista, kysymyksiin vastaamista ja muita kyselyihin liittyviä tehtäviä.

Tässä on esimerkki BloombergGPT:stä, jota käytetään kelvollisen Bloomberg-kyselykielen luomiseen. Kuten olemme nähneet muissa malleissa, kuten GPT-3, tämä malli voi muutaman esimerkin syöttökehotteen avulla hyödyntää tietoa pörssikursseista ja taloudellisista ehdoista tietojen kyselyjen laatimiseen… pic.twitter.com/tMumrgnzX3

— elvis (@omarsar0) 31. maaliskuuta 2023

Päällisin puolin uusi LLM-malli näyttää hyvältä, mutta sen lähestymistapa on silti hyvin rajallinen. Se ei ole monikielinen malli, siinä on harhaa ja myrkyllisyyttä ja se on suljettu malli.

Monikielinen

BloombergGPT, 50 miljardin parametrin “vain dekooderin kausaalikielimalli” ei ole koulutettu monikieliselle datalle. Heidän FinPile -niminen koulutustietoaineisto sisältää uutisia, ilmoituksia, lehdistötiedotteita, verkkopohjaisia ​​talousasiakirjoja ja Bloombergin arkistoista poimittua sosiaalista mediaa, ja ne ovat kaikki englanninkielisiä. Esimerkiksi lehdistötilaisuuksien datan mallin kouluttamiseen käytettiin yritysten lehdistötilaisuuksien transkriptioita puheentunnistuksen avulla englannin kielellä. Useiden kielten puuttuminen rajoittaa syötettävien harjoitustietojen määrää.

BLOOM, jolla on sama malliarkkitehtuuri ja ohjelmistopino kuin BloombergGPT:llä (vaikka BLOOM on koulutettu korkeampiin 175 miljardin parametreihin), on monikielinen. Sama koskee GPT-3:a, joka on myös koulutettu monikielisyyteen ja 175 miljardiin parametriin.

Virheet ja toksisuus

Bloomberg on maininnut, että “haitallisen kielen syntymisen mahdollisuus on edelleen avoin kysymys”. LLM:t tunnetaan ennakkoluuloistaan ​​ja hallusinaatioistaan, jota vastaan ​​myös suuret koulutetut mallit, kuten ChatGPT, taistelevat. LLM-harha voi olla erittäin haitallista, kun sitä käytetään rahoitusmalleissa, koska tarkat ja tosiasioihin perustuvat tiedot määräävät markkinoiden tunteiden oikean ennusteen. BloombergGPT ei kuitenkaan puutu tähän huoleen täysin. Yritys arvioi edelleen mallia ja uskoo, että “olemassa olevat testimenettelyt, riskien ja vaatimustenmukaisuuden hallinta” auttavat vähentämään ongelmaa. Bloomberg tutkii myös FinPile-tietojoukkoaan, joka sisältää vähemmän harhoja ja myrkyllistä kieltä, mikä lopulta hillitsee sopimattoman sisällön syntymistä.

Suljettu malli

BloombergGPT on suljettu malli. Parametrien ja yleistietojen lisäksi yksityiskohtia, kuten mallin painoja, ei mainita heidän tutkimuksessaan. On mahdollista, että koska tämä malli perustuu vuosikymmeniä kestäneeseen Bloombergin tietoon, joka on yhdistetty sen arkaluontoiseen tietoon, LLM:stä ei tule avoimen lähdekoodin. Lisäksi malli on asetettu kohdistamaan heidän Bloomberg Terminal -käyttäjiinsä, jotka jo käyttävät palvelua tilaushintaan. Yrityksellä on kuitenkin suunnitelmia julkaista mallin koulutuslokit.

Keskustelussa kanssa AIM, Anju Kambadur, Bloombergin tekoälytekniikan johtaja, sanoi: “BloombergGPT:n tarkoituksena on antaa rahoitusalan ammattilaisille uusia kykyjä käsitellä numeerisia ja laskennallisia käsitteitä helpommin.” Bloomberg on käyttänyt tekoälyä, koneoppimista ja NLP:tä yli vuosikymmenen ajan, mutta jokainen niistä vaati mukautetun mallin. “BloombergGPT:n avulla pystymme kehittämään uusia sovelluksia nopeammin ja nopeammin, joista osaa on mietitty vuosia ja joita ei ole vielä kehitetty”, hän sanoi.

“Keskusteluenglannin kielellä voidaan lähettää kyselyitä käyttämällä Bloomberg Query Languagea (BQL) tietojen paikantamiseksi, joka voidaan sitten tuoda tietotieteen ja portfolionhallintatyökaluihin.”

Kambadur selvensi, että BloombergGPT ei ole chatbot. “Se on ainesosamalli, jota käytämme sisäisesti tuotekehitykseen ja ominaisuuksien parantamiseen.” Malli auttaa tehostamaan tekoälyä tukevia sovelluksia, kuten Bloomberg Terminalia, mutta myös tehostamaan datatoimintojemme taustatyönkulkuja. Asiakkaat eivät välttämättä ole yhteydessä malliin suoraan, mutta käyttävät sitä jatkossa Terminal-toimintojen kautta.

Vertailu

Alla on vertailu muihin malleihin GPT-NeoX (opetettu 20B-parametreilla) ja FLAN-T5-XXL (koulutettu 11B-parametreilla). BloombergGPT, joka on päivitetty viimeisimmillä tiedoilla, pystyy vastaamaan kysymyksiin tarkasti verrattuna muihin vastaavasti koulutettuihin LLM-yrityksiin.

Lähde: arxiv.org

BloombergGPT menestyi paremmin taloudellisissa tehtävissä verrattuna muihin samankokoisiin avoimiin malleihin, ja sitä arvioitiin jopa “Bloombergin sisäisillä benchmarkilla” ja muilla yleiskäyttöisillä NLP-mittareilla, kuten BIG-bench Hard, tiedon arvioinnilla, luetun ymmärtämisellä ja kielellisillä tehtävillä. .

Table of Contents

🔥 Empfohlen:  T-Mobilen asiakkaat voivat nyt saada MLS Season Passin ilmaiseksi