Seuraava artikkeli auttaa sinua: Semanttinen haku: miten se toimii ja kenelle se on tarkoitettu
Yksinkertaisten käyttäjien kyselyihin hakukone löytää oikean sisällön luotettavasti pelkän avainsanahaun avulla.
“Punainen leivänpaahdin” -kysely hakee kaikki tuotteet, joiden otsikossa tai kuvauksessa on “leivänpaahdin” ja värimääritteessä punainen.
Lisää synonyymejä, kuten kastanjanruskea punaiselle, ja voit yhdistää vielä useampia leivänpaahtimia.
Mutta asiat alkavat vaikeutua nopeasti: Sinun on lisättävä nämä synonyymit itse, ja hakusi tuo esiin myös leivänpaahdin.
Tässä tulee semanttinen haku käyttöön.
Semanttinen haku yrittää soveltaa käyttäjän tarkoitusta ja sanojen ja lauseiden merkitystä (tai semantiikkaa) oikean sisällön löytämiseksi.
Se ylittää avainsanahaun käyttämällä tietoja, joita ei välttämättä ole heti tekstissä (avainsanat itse), mutta jotka liittyvät läheisesti siihen, mitä hakija haluaa.
Esimerkiksi neulepuseron löytäminen haulla “pusero” tai jopa “makeampi” ei ole ongelma avainsanahaussa, kun taas kyselyt “lämpimät vaatteet” tai “miten voin pitää kehoni lämpimänä talvella?” semanttinen haku palvelee paremmin.
Kuten voitte kuvitella, tekstiin upotetun pintatason tiedon ylittäminen on monimutkainen yritys.
Sitä ovat kokeilleet monet ja se sisältää paljon erilaisia komponentteja.
Lisäksi, kuten kaikissa lupaavissa asioissa, semanttinen haku on termi, jota joskus käytetään hakuun, joka ei todellakaan vastaa nimeä.
Jotta ymmärrät, soveltuuko semanttinen haku yritykseesi ja kuinka voit hyödyntää sitä parhaiten, se auttaa ymmärtämään, miten se toimii ja mitkä komponentit muodostavat semanttisen haun.
Mitkä ovat semanttisen haun elementit?
Semanttinen haku käyttää käyttäjän tarkoitusta, kontekstia ja käsitteellisiä merkityksiä yhdistääkseen käyttäjän kyselyn vastaavaan sisältöön.
Se käyttää vektorihakua ja koneoppimista palauttamaan tuloksia, jotka pyrkivät vastaamaan käyttäjän kyselyä, vaikka sanaosumia ei olisikaan.
Nämä komponentit toimivat yhdessä hakeakseen ja arvostellakseen tuloksia merkityksen perusteella.
Yksi perustavanlaatuisimmista osista on konteksti.
Konteksti
Konteksti, jossa haku tapahtuu, on tärkeä sen ymmärtämiseksi, mitä hakija yrittää löytää.
Konteksti voi olla yhtä yksinkertainen kuin kielialue (“jalkapalloa” hakeva amerikkalainen haluaa jotain erilaista kuin samaa asiaa hakeva britti) tai paljon monimutkaisempi.
Älykäs hakukone käyttää kontekstia sekä henkilökohtaisella että ryhmätasolla.
Henkilökohtaista tulosvaikutusta kutsutaan sopivasti personoimiseksi.
Personointi käyttää kyseisen yksittäisen hakijan yhteyksiä, aiempia hakuja ja aikaisempia vuorovaikutuksia palauttaakseen sisällön, joka sopii parhaiten nykyiseen kyselyyn.
Se soveltuu kaikenlaiseen hakuun, mutta semanttinen haku voi mennä vielä pidemmälle.
Ryhmätasolla hakukone voi luokitella tulokset uudelleen käyttämällä tietoja siitä, kuinka kaikki hakijat ovat vuorovaikutuksessa hakutulosten kanssa, kuten mitä tuloksia napsautetaan useimmin, tai jopa kausiluonteisuutta, koska tietyt tulokset ovat suositumpia kuin toiset.
Tämä osoittaa jälleen, kuinka semanttinen haku voi tuoda älykkyyttä hakuun, tässä tapauksessa älykkyyttä käyttäjän käyttäytymisen kautta.
Semanttinen haku voi myös hyödyntää tekstin kontekstia.
Olemme jo keskustelleet siitä, että synonyymit ovat hyödyllisiä kaikenlaisissa hauissa, ja ne voivat parantaa avainsanahakua laajentamalla hakujen osumia aiheeseen liittyvään sisältöön.
Mutta tiedämme myös, että synonyymit eivät ole yleismaailmallisia – joskus kaksi sanaa ovat vastineita yhdessä asiayhteydessä ja eivät toisessa.
Kun joku tekee haun “jalkapalloilijat”, mitkä ovat oikeat tulokset?
Vastaus on erilainen Kentissä Ohiossa kuin Kentissä Yhdistyneessä kuningaskunnassa.
Kyselyn, kuten “tampa bay jalkapalloilijat”, ei kuitenkaan todennäköisesti tarvitse tietää, missä hakija sijaitsee.
Jalkapalloa ja jalkapalloa vastaavan yleisen synonyymin lisääminen olisi johtanut huonoon kokemukseen, kun etsijä näki Tampa Bay Rowdies -jalkapalloseuran Ron Gronkowskin vieressä.
(Tietenkin, jos tiedämme, että hakija olisi halunnut nähdä Tampa Bay Rowdiesin, hakukone voi ottaa sen huomioon!)
Tämä on esimerkki kyselyn ymmärtämisestä semanttisen haun avulla.
Käyttäjän tarkoitus
Minkä tahansa hakukoneen perimmäinen tavoite on auttaa käyttäjää onnistumaan suorittamaan tehtävä.
Tämä tehtävä voi olla uutisartikkelien lukeminen, vaatteiden ostaminen tai asiakirjan löytäminen.
Hakukoneen on selvitettävä, mitä käyttäjä haluaa tehdä tai mitä käyttäjä tahallisuus On.
Näemme tämän tehdessämme hakuja verkkokauppasivustolta.
Kun käyttäjä kirjoittaa kyselyn “jordans”, haku suodattaa automaattisesti luokan “Kengät”.
Tämä olettaa, että käyttäjän tarkoituksena on löytää kenkiä, ei Jordanian manteleita (jotka kuuluvat “Ruoka ja välipalat” -luokkaan).
Päästymällä käyttäjän aikomusten edelle hakukone voi palauttaa osuvimmat tulokset, eikä häiritse käyttäjää kohteilla, jotka vastaavat tekstiä mutta eivät oleellisesti.
Tämä voi olla sitäkin tärkeämpää, kun käytät lajittelua haun päällä, kuten hinta alimmasta korkeimpaan.
Tämä on esimerkki kyselyn luokittelu.
Kyselyn luokittelu ja tulosjoukon rajoittaminen varmistaa, että vain asiaankuuluvat tulokset näkyvät.
Ero avainsanan ja semanttisen haun välillä
Olemme jo nähneet tapoja, joilla semanttinen haku on älykäs, mutta on syytä tarkastella tarkemmin, miten se eroaa avainsanahausta.
Vaikka avainsanahakukoneet ottavat käyttöön myös luonnollisen kielen käsittelyn parantaakseen tätä sanavastaavuutta – esimerkiksi käyttämällä synonyymejä, poistamalla lopetussanoja ja jättämällä huomioimatta monikkomuodot – käsittely perustuu edelleen sanojen yhdistämiseen sanoihin.
Mutta semanttinen haku voi palauttaa tuloksia, joissa ei ole vastaavaa tekstiä, mutta jokainen, joka tuntee verkkotunnuksen, voi nähdä, että siellä on selvästi hyviä osumia.
Tämä liittyy suureen eroon avainsanahaun ja semanttisen haun välillä, mikä tarkoittaa, miten kyselyn ja tietueiden välinen vastaavuus tapahtuu.
Yksinkertaistaaksemme asioita, avainsanahaku tapahtuu hakua käyttämällä tekstiä.
“Saippua” vastaa aina sanaa “saippua” tai “saippua”, koska tekstin laatu on päällekkäinen.
Tarkemmin sanottuna vastaavia kirjaimia on tarpeeksi (tai hahmoja) kertoaksesi koneelle, että yhtä hakua etsivä käyttäjä haluaa toisen.
Sama vastaavuus kertoo myös moottorille, että kysely saippua vastaa todennäköisemmin sanaa “keitto” kuin sanaa “pesuaine”.
Ellei hakukoneen omistaja ole kertonut koneelle etukäteen, että saippua ja pesuaine ovat vastaavia, jolloin hakukone “teeskentelee”, että pesuaine on todella saippuaa määrittäessään samankaltaisuutta.
Avainsanoihin perustuvat hakukoneet voivat myös käyttää työkaluja, kuten synonyymejä, vaihtoehtoja tai kyselysanojen poistoa – kaikenlaisia kyselyn laajentamista ja keventämistä – auttaakseen tässä tiedonhakutehtävässä.
NLP- ja NLU-työkalut, kuten kirjoitusvirhetoleranssi, tokenisointi ja normalisointi, myös parantavat hakua.
Vaikka nämä kaikki auttavat tuottamaan parempia tuloksia, ne voivat jäädä älykkäämmille sovituksille ja konsepteille.
Semanttinen haku vastaa käsitteitä
Koska semanttinen haku vastaa käsitteitä, hakukone ei voi enää määrittää, ovatko tietueet merkityksellisiä kahden sanan yhteisen merkin perusteella.
Ajattele jälleen kerran “saippuaa” vs. “keitto” vs. “pesuaine”.
Tai monimutkaisempia kyselyitä, kuten “pyykinpesuaine”, “poista tahrat vaatteet” tai “miten saan ruohotahrat pois denimistä?”
Voit jopa sisällyttää kuvia, kuten kuvahaun!
Tosimaailman analogia tästä olisi asiakas, joka kysyy työntekijältä, missä “tukkeutumaton wc” sijaitsee.
Työntekijä, joka ymmärtää pyynnön vain avainsanoilla, epäonnistuu siinä, ellei kauppa nimenomaisesti viittaa mäntiin, viemäripuhdistimiin ja wc-kairauksiin “wc:n tukkeutumisen poistajina”.
Mutta toivomme, että työntekijä on tarpeeksi viisas yhdistämään eri termit ja ohjaamaan asiakkaan oikealle käytävälle.
(Ehkä työntekijä tietää eri termit tai synonyymit, joita asiakas voi käyttää mille tahansa tuotteelle).
Lyhyt tapa tiivistää semanttisen haun tekeminen on sanoa, että semanttinen haku tuo enemmän älykkyyttä vastaamaan käsitteitä enemmän kuin sanoja käyttämällä vektorihakua.
Tämän älykkyyden avulla semanttinen haku voi toimia inhimillisemmin, kuten etsijä löytää mekkoja ja pukuja etsiessään hienosti ilman farkkua.
Mitä semanttinen haku ei ole?
Tähän mennessä semanttisen haun pitäisi olla selkeä tehokas menetelmä haun laadun parantamiseksi.
Sellaisenaan sinun ei pitäisi yllättyä kuullessani, että semanttisen haun merkitystä on sovellettu yhä laajemmin.
Usein nämä hakukokemukset eivät aina oikeuta nimeä.
Ja vaikka semanttiselle haulle ei ole virallista määritelmää, voimme sanoa, että se on haku, joka ylittää perinteisen avainsanapohjaisen haun.
Se tekee tämän sisällyttämällä todellisen maailman tiedon johtamaan käyttäjän aikomuksia kyselyjen ja sisällön merkityksen perusteella.
Tämä johtaa siihen johtopäätökseen, että semanttinen haku ei ole vain NLP:n soveltamista ja synonyymien lisäämistä hakemistoon.
On totta, tokenisointi vaatii jonkin verran reaalimaailman tietoa kielen rakentamisesta, ja synonyymit käyttävät käsitteellisten osumien ymmärtämistä.
Niistä puuttuu kuitenkin useimmissa tapauksissa tekoäly, jota tarvitaan, jotta haku nousi semanttiselle tasolle.
Powered by Vector Search
Juuri tämä viimeinen osa tekee semanttisesta hausta sekä tehokkaan että vaikean.
Yleensä termillä semanttinen haku on implisiittinen ymmärrys siitä, että siihen liittyy jonkin verran koneoppimista.
Melkein yhtä usein tähän liittyy myös vektorihaku.
Vektorihaku toimii koodaamalla kohteen tiedot vektoreiksi ja vertaamalla vektoreita määrittääkseen, mitkä ovat samankaltaisimmat.
Jälleen, jopa yksinkertainen esimerkki voi auttaa.
Ota kaksi lausetta: “Toyota Prius” ja “pihvi”.
Ja nyt verrataan niitä “hybrideihin”.
Kumpi kahdesta ensimmäisestä on samanlainen?
Kumpikaan ei vastaisi tekstiä, mutta luultavasti sanoisit, että “Toyota Prius” on samankaltainen näistä kahdesta.
Voit sanoa tämän, koska tiedät, että “Prius” on eräänlainen hybridiajoneuvo, koska olet nähnyt “Toyota Prius” samankaltaisessa kontekstissa kuin sana hybridi, kuten “Toyota Prius on harkitsemisen arvoinen hybridi” tai “hybridi”. ajoneuvoja, kuten Toyota Prius.”
Olet kuitenkin melko varma, ettet ole koskaan nähnyt “pihviä” ja “hybridia” näin läheltä.
Piirrä vektoreita samankaltaisuuden löytämiseksi
Näin yleensä toimii myös vektorihaku.
Koneoppimismalli ottaa tuhansia tai miljoonia esimerkkejä verkosta, kirjoista tai muista lähteistä ja käyttää näitä tietoja ennusteiden tekemiseen.
Mallin ei tietenkään ole mahdollista käydä läpi vertailuja yksitellen (“Näkyykö Toyota Priusta ja hybridiä usein yhdessä? Entä hybridi ja pihvi?”), joten sen sijaan tapahtuu, että mallit koodaavat kuviot että se huomaa eri lauseista.
Se on samanlainen kuin voisit katsoa lausetta ja sanoa “tämä on positiivinen” tai “tuo sisältää värin”.
Paitsi koneoppimisessa kielimalli ei toimi niin läpinäkyvästi (mikä on myös syy, miksi kielimallien viankorjaus voi olla vaikeaa).
Nämä koodaukset on tallennettu vektoriin tai pitkään numeeristen arvojen luetteloon.
Sitten vektorihaku käyttää matematiikkaa laskeakseen, kuinka samanlaisia eri vektorit ovat.
Toinen tapa ajatella samankaltaisuusmittaukset että vektorihaku tekee, on kuvitella vektorit piirrettyinä.
Tämä on hämmästyttävän vaikeaa, jos yrität ajatella vektoria, joka on piirretty satoihin ulottuvuuksiin.
Jos sen sijaan kuvittelet vektorin piirrettynä kolmeen ulottuvuuteen, periaate on sama.
Nämä vektorit muodostavat piirrettynä suoran, ja kysymys kuuluu: mitkä näistä viivoista ovat lähimpänä toisiaan?
Rivit “pihvi” ja “naudanliha” ovat lähempänä kuin “pihvi” ja “auto” rivit, joten ne ovat samankaltaisempia.
Tätä periaatetta kutsutaan vektoriksi tai kosiniksi samanlaiseksi.
Vektorien samankaltaisuus on monia sovelluksia.
Se voi tehdä suosituksia aiemmin ostettujen tuotteiden perusteella, löytää samankaltaisimman kuvan ja määrittää, mitkä tuotteet vastaavat semanttisesti parhaiten käyttäjän kyselyyn verrattuna.
Johtopäätös
Semanttinen haku on tehokas työkalu hakusovelluksille, jotka ovat nousseet etualalle tehokkaiden syväoppimismallien ja niitä tukevien laitteistojen myötä.
Vaikka olemme käsitelleet useita erilaisia yleisiä sovelluksia täällä, on vielä enemmän, jotka käyttävät vektorihakua ja tekoälyä.
Jopa kuvahaku tai metatietojen poimiminen kuvista voi kuulua semanttisen haun piiriin.
Elämme jännittäviä aikoja!
Ja kuitenkin, sen soveltaminen on vielä varhaista ja sen tunnettu voimakkuus voi johtaa termin väärinkäyttöön.
Semanttisessa hakuputkessa on monia osia, ja jokaisen oikean saaminen on tärkeää.
Oikein tehtynä semanttinen haku käyttää todellista tietoa, erityisesti koneoppimisen ja vektorien samankaltaisuuden kautta, kohdistaakseen käyttäjän kyselyn vastaavaan sisältöön.
Lisää resursseja:
