Gekissimo.net - Opi ansaitsemaan rahaa webilläsi Internetissä!

Googlen ACL:ssä esittämät 9 parasta paperia

Seuraava artikkeli auttaa sinua: Googlen ACL:ssä esittämät 9 parasta paperia

CVPR:n jälkeen 61. vuosittainen Association for Computational Linguistics (ACL) -konferenssi on meneillään 9.-14. heinäkuuta Torontossa, Kanadassa. Timanttitason sponsorina Google aikoo esitellä yli 50 julkaisua ja osallistua aktiivisesti työpajoihin ja opetusohjelmiin. Konferenssin pääpuhujana toiminut hermoverkkojen kummisetä Geoffrey Hinton korosti suurempien kielimallien subjektiivista kokemusta vs. Tapahtumassa käsiteltiin muun muassa laskennallista yhteiskuntatieteitä ja kulttuurianalytiikkaa, dialogia, interaktiivisia järjestelmiä sekä diskurssia ja pragmatiikkaa.

Katsotaanpa Googlen konferenssissa esittämiä parhaita papereita.

NusaCrowd: avoimen lähdekoodin aloite Indonesian NLP-resursseille

Paperi esittelee NusaCrowdin, jonka tavoitteena on kerätä ja yhdistää olemassa olevia resursseja Indonesian kielille, mukaan lukien aiemmin saavuttamattomille. Yhdistämällä 137 tietojoukkoa ja 118 standardoitua tiedonlataajaa, projekti tarjoaa arvokkaita resursseja luonnollisen kielen ymmärtämiseen ja luomiseen. Tietojen laatu on varmistettu manuaalisilla ja automaattisilla arvioinneilla.

NusaCrowd helpottaa indonesian ja paikallisten kielten zero-shot-vertailuarvojen kehittämistä sekä ensimmäisen monikielisen automaattisen puheentunnistuksen vertailuarvoa. Tämän työn tavoitteena on edistää luonnollisen kielen prosessoinnin tutkimusta aliedustettuina, mutta laajalti puhutuilla kielillä.

SamToNe: Kontrastiivisen häviön parantaminen kahden enkooderin hakumalleissa, joissa on samat torninegatiivit

Tässä artikkelissa paljastetaan uusi lähestymistapa, jota kutsutaan “kontrastitiiviseksi häviöksi SAMe TOwer NEgativesin kanssa” (SamToNe) hakutehtävissä ja esitysoppimisessa käytettävien kaksoiskoodereiden koulutukseen. Sisällyttämällä kyselyitä tai asiakirjoja samoista enkooderitorneista negatiivina, SamToNe parantaa haun laatua sekä symmetrisissä että epäsymmetrisissä kaksoiskoodereissa.

SamToNen tehokkuus osoitetaan erilaisten vertailuarvojen arvioinnilla. Lisäksi menetelmä varmistaa kohdistamisen enkooderitornien upotustilojen välillä, kuten t-SNE-algoritmin avulla havaitaan. Paperi tarjoaa myös näkemyksiä SamToNen tehokkuudesta regularisoinnin kannalta, joka perustuu upotusetäisyysjakaumien analyysiin.

RISE: Hakutekniikoiden hyödyntäminen yhteenvetoarvioinnissa

Google Research ja Google DeepMind esittelevät RISE:n, uudenlaisen menetelmän automaattisesti luotujen tekstitiivistelmien arviointiin. RISE käyttää tiedonhakutekniikoita ja on koulutettu hakutehtäväksi käyttämällä kahden enkooderin asennusta. Se voi arvioida luotuja yhteenvetoja ilman kultaisia ​​viiteyhteenvetoja, mikä tekee siitä sopivan uusille tietojoukoille.

🔥 Empfohlen:  Osta miljoona Instagram-seuraajaa: 9 parasta sivustoa vuonna 2023

Vertailutietoaineistoista saadut kokeelliset tulokset osoittavat, että RISE on johdonmukaisesti parempi kuin aikaisemmat lähestymistavat korrelaatiossa ihmisten arvioiden kanssa. Lisäksi RISE tarjoaa tiedon tehokkuutta ja yleistettävyyttä eri kielillä.

OPINESUM: Entailment-based Self Training for Abstract Opinion Summarisation

Tämän artikkelin tutkijoiden tavoitteena on ratkaista iäkkäitä haasteita tehdä yhteenveto suuresta määrästä arvosteluja tuotteesta tai paikasta. Vaikka valvotut järjestelmät ovat menestyneet uutisalueilla, niistä puuttuu laajamittaisten mielipidetekstien aineistojen saatavuus. Tämän kuilun kuromiseksi julkaisussa ehdotetaan ohjaamatonta itsekoulutuksen lähestymistapaa nimeltä OPINESUM abstraktii mielipiteiden yhteenvedon tekemiseen.

Tämä lähestymistapa hyödyntää tekstiä, jolla vangitaan mielipiteiden yksimielisyys useista arvosteluista ja luodaan yhteenvetoja. OPINESUM voi luoda hopeastandardin mukaisia ​​yhteenvetoja suuressa mittakaavassa ja saavuttaa huippuluokan suorituskyvyn sekä valvomattomissa että muutaman otoksen asetuksissa.

Suuret kielimallit ohjattavalla työmuistilla

Tässä artikkelissa keskitytään LLM:ien hallittavuuteen ja kestävyyteen. On osoitettu, että huippuluokan malleilta, kuten T5 ja PaLM, saattaa puuttua nämä ominaisuudet, varsinkin kun mallin koko kasvaa. Tämän korjaamiseksi ehdotetaan uutta lähestymistapaa, jota kutsutaan tietotietoiseksi hienosäädöksi (KAFT), joka parantaa hallittavuutta ja kestävyyttä sisällyttämällä kontrafaktuaaliset ja merkityksettömät kontekstit koulutuksen aikana. KAFT:n tehokkuus on osoitettu kattavalla arvioinnilla eri malliarkkitehtuurien ja -kokojen välillä.

P-arvojen estimoiminen yhdestä testijoukosta kohteen ja vastauksen varianssilla

Tämä artikkeli keskittyy NLP-tulostaulukon kulttuurin tuloksiin raportoituun luottamuksen puutteeseen. Kirjoittajat ehdottavat viitekehystä ja simulaattoria p-arvojen estimoimiseksi kahden järjestelmän suorituskyvyn vertailua varten. Tavoitteena on määrittää luottamus siihen, että toinen järjestelmä on aidosti parempi kuin toinen. He perustavat nollahypoteesin olettaen, että molempien järjestelmien metriset pisteet on otettu samasta jakaumasta. Luomalla testijoukon, joka yhdistää molempien järjestelmien vastaukset, he tutkivat erilaisia ​​menetelmiä p-arvon arvioimiseksi tarkasti ottaen huomioon tekijät, kuten vastevarianssi, metrijärjestelmän valinta ja otantamenetelmä, ja korostavat niiden merkitystä luotettavien tilastollisten takeiden tarjoamisessa mallien vertailuille.

🔥 Empfohlen:  9 parasta PR Outreach -sähköpostimallia käytettäväksi tänään

Tislaus askel askeleelta! Tehokkaampia suurempia kielimalleja vähemmällä koulutustiedolla ja pienemmillä mallikooilla

Paperi esittelee uuden menetelmän nimeltä “Distilling step-by-step” vastaamaan suurten kielimallien (LLM) käyttöönoton haasteisiin. Se kouluttaa pienempiä malleja, jotka ylittävät LLM:t, käyttämällä LLM-perusteita lisävalvontana monitehtäväkehyksessä. Menetelmällä saavutetaan parempi suorituskyky pienemmällä määrällä merkittyjä/leimaamattomia koulutusesimerkkejä verrattuna hienosäätöön ja tislaukseen. Se saavuttaa myös paremman suorituskyvyn pienemmillä mallikooilla verrattuna muutaman laukauksen edellyttämiin LLM-malleihin. Lisäksi menetelmä pienentää mallin kokoa ja tarvittavan tiedon määrää ylittääkseen LLM:t, kuten NLP-vertailuarvojen tulokset osoittavat.

PROPSEGMENTTI: Laajamittainen korpus lausetason segmentointia ja ehtojen tunnistamista varten

Paperi ehdottaa PROPSEGMENT:iä, kokoelmaa yli 45 000 ehdotusta, jotka asiantuntijat ovat kommentoineet. Tietojoukko keskittyy kahteen tehtävään: lauseiden segmentointi propositioihin ja seuraussuhteen luokittelu kunkin ehdotuksen ja toisen samaa aihetta käsittelevän dokumentin välillä. Paperi luo tehokkaita lähtökohtia näille tehtäville ja esittelee PROPSEGMENTin potentiaalia yhteenvetoharhojen havaitsemisessa ja Natural Language Inference (NLI) -tarrojen koostumuksen ymmärtämisessä asiakirjatasolla.

Testiajan kyselyesitysten optimointi tiheää hakua varten

Tässä näkyy TOUR, uusi menetelmä kyselyn esitysten optimoimiseksi tiheässä haussa. Se hyödyntää ristiinkooderin uudelleensijoittajaa tarjotakseen pseudotunnisteita hakutuloksille ja parantaa iteratiivisesti kyselyn esityksiä liukumäistä laskeutumista käyttämällä. TOURin on osoitettu parantavan avoimen verkkotunnuksen kysymyksiin vastaamisen tarkkuutta, kohtien hakutehokkuutta ja suoraa uudelleensijoittamisen nopeutta.