Seuraava artikkeli auttaa sinua: Opas kasvojen ilmeanalyysiin Py-FEAT:lla
Kasvojen ilmeanalyysi on toiminto, jossa havaitaan, kerätään ja analysoidaan automaattisesti kasvojen lihasten liikkeitä ja muutoksia, jotka heijastavat tiettyjä ihmisen henkisiä tiloja ja tilanteita. Puhumme tästä tekniikasta tässä artikkelissa sekä Python-pohjaisesta Py-FEAT-apuohjelmasta, joka auttaa kasvojen ilmetietojen tunnistamisessa, esikäsittelyssä, analysoinnissa ja visualisoinnissa. Alla on tärkeimmät kohdat, joista aiomme keskustella tässä artikkelissa.
Sisällysluettelo
- Kasvojen ilmeanalyysi
- Miten Py-FEAT tekee analyysin?
- Py-FEAT:n toteuttaminen
Ymmärretään ensin kasvojen ilmeanalyysi.
Kasvojen ilmeanalyysi
Kasvojen ilme koostuu yhdestä tai useammasta kasvojen ihon alla olevien lihasten liikkeestä tai asennosta. Nämä liikkeet, yhden kiistanalaisten ideoiden mukaan, viestivät yksilön tunnetilasta tarkkailijoille. Kasvojen ilmeet ovat esimerkki ei-verbaalisesta kommunikaatiosta. Ne ovat yleisin keino, jolla ihmiset vaihtavat sosiaalista tietoa, mutta niitä löytyy myös useimmista muista nisäkkäistä ja tietyistä muista lajeista.
Kasvojen ilmeet voivat paljastaa tietoa yksilön sisäisestä mielentilasta ja tarjota ei-verbaalisia kanavia ihmisten väliseen ja lajien väliseen kommunikaatioon. Yksimielisyyden saavuttaminen siitä, miten kasvojen ilmeitä voidaan kuvata ja mitata tehokkaasti, on ollut yksi vaikeimmista näkökohdista niiden tutkimisessa. Facial Affect Coding System (FACS) on yksi laajimmin käytetyistä tekniikoista mitata tarkasti kasvolihasten ryhmittymien intensiteetti, joka tunnetaan nimellä toimintayksiköt (AU:t).
Tietokonenäkötekniikoihin perustuvia automatisoituja menetelmiä on kehitetty mahdolliseksi työkaluksi kasvojen tunteiden esittelyyn kuvista, videoista ja syvyyskameroista sekä laboratoriossa että sen ulkopuolella. Osallistujat voivat vapautua raskaita johdoista ja osallistua tehtäviin, kuten elokuvan katseluun tai rennosti keskusteluun.
AU:iden lisäksi tietokonenäön lähestymistavat ovat ottaneet käyttöön vaihtoehtoisia tiloja kasvojen ilmeiden esittämiseen, kuten kasvojen maamerkit tai alemman ulottuvuuden piilevät esitykset. Nämä tekniikat voivat ennustaa tunteiden ja muiden affektiivisten tilojen, kuten kivun, voimakkuuden, erottaa aidot ja väärennetyt ilmaisut, havaita masennuksen merkkejä, päätellä ominaisuuksia, kuten persoonallisuus tai poliittinen suuntautuminen, ja ennakoida ihmisten välisten suhteiden kehittymistä.
Miten Py-FEAT tekee analyysin?
Python Facial Expression Analysis Toolbox (Py-Feat), ilmainen ja avoimen lähdekoodin ohjelmisto kasvojen ilmetietojen analysointiin. Se, kuten OpenFace, tarjoaa työkaluja kasvojen piirteiden poimimiseen, mutta se sisältää myös moduuleja kasvojen ilmetietojen esikäsittelyyn, analysointiin ja näyttämiseen (katso alla oleva kuva). Py-Feat on tarkoitettu palvelemaan ainutlaatuisia käyttäjiä. Py-Feat auttaa tietokonenäön tutkijoita antamalla heille mahdollisuuden viestiä huippumallejaan laajemmalle yleisölle ja verrata mallejaan nopeasti muihin.
Kasvoanalyysi alkaa kasvojen valokuvien tai videoiden kaappaamisesta tallennuslaitteella, kuten verkkokameroilla, videokameroilla, päähän kiinnitetyillä kameroilla tai 360-kameroilla, kuten yllä näkyy. Kasvojen tallentamisen jälkeen Py-Featilla havaitaan kasvojen ominaisuudet, kuten kasvojen maamerkit, toimintayksiköt ja tunteet, ja tuloksia voidaan verrata kuvien peittokuvien ja pylväskaavioiden avulla.
Havaintotiedoista voidaan poimia lisäominaisuuksia, kuten suuntautuneiden gradienttien histogrammi tai moniaaltohajotus. Tietoja voidaan sitten arvioida käyttämällä tilastollisia menetelmiä, kuten t-testejä, regressioita ja subjektien välisiä korrelaatioita työkalupakin sisällä.
Kasvokuvia voidaan luoda toimintayksiköiden aktivaatiomalleista käyttämällä visualisointityökaluja, jotka näyttävät vektorikenttiä, jotka osoittavat maamerkkiliikkeitä ja lämpökarttoja kasvolihasten aktivaatioista.
Py-Feat tarjoaa Detector-moduulin kasvojen ilmeiden (kuten kasvojen, kasvojen maamerkit, AU-aktivaatiot ja tunneilmaisut) havaitsemiseen kasvokuvista ja videoista sekä Fex-tietoluokan, joka sisältää menetelmiä kasvojen esikäsittelyyn, analysointiin ja visualisointiin. ilmaisutiedot. Seuraavassa osiossa tarkastellaan, kuinka voimme saada kasvojen ilmeen yksityiskohtia joihinkin elokuvan kohtauksiin.
Py-FEAT:n toteuttaminen
Käyttämällä Detector-luokkaa yritämme havaita tunteita eri elokuvakohtauksista tässä osiossa. Tämä luokka ottaa malleja
- kasvojen löytäminen kuvasta tai videokehyksestä.
- kasvojen maamerkkien paikantaminen.
- havaitsemaan kasvojen lihastoimintayksiköiden aktivaatiot ja
- tavallisten emotionaalisten tunteiden ilmentymien havaitseminen attribuutteina.
Nämä mallit ovat luonteeltaan modulaarisia, joten käyttäjät voivat valita, mitä algoritmeja he käyttävät kuhunkin tunnistustehtävään tarkkuus- ja nopeusvaatimustensa perusteella. Aloitetaan nyt asentamalla ja tuomalla riippuvuuksia.
!pip install py-feat import os from PIL import Image import matplotlib.pyplot as plt from feat.tests.utils tuonti get_test_data_path from feat import Detector
Määritä ilmaisinluokka alla olevan kuvan mukaisesti,
# määrittele mallit face_model = “retinaface” landmark_model = “mobilenet” au_model = “rf” emotion_model = “resmasknet” detector = Detector(face_model = face_model, landmark_model = landmark_model, au_model = au_model, emotion_model)
Lataa nyt kuva,
# lataa ja visualisoi kuva test_image = os.path.join(‘/content/’, “home_alone4.jpg”) f, ax = plt.subplots() im = Image.open(test_image) ax.imshow(im)
Nyt voimme alustaa ilmaisinluokan sen menetelmällä kuvapohjaista päättelyä varten detect_image()
#saa ennustus
image_prediction = ilmaisin.detect_image(testikuva)
Nyt tätä kautta pääsemme käsiksi erilaisiin toimintayksiköihin, jotka malli on havainnut, ja myös tunteita, joita ilmaisin päättelee.
Samalla tavalla menetelmä ei ainoastaan tee päätelmiä yksittäisestä, vaan myös useista kuva- ja videotiedostoista. Esimerkkejä on muistikirjassa.
Viimeiset sanat
Tässä artikkelissa on tutkittu, mitä ilmeanalyysi on ja miten sitä voidaan käyttää erilaisissa sovelluksissa. Olemme nähneet Py-Feat, avoimen lähdekoodin täydellinen pinokehys, joka on kirjoitettu Pythonissa, joka tekee ilmeanalyysin havaitsemisesta esikäsittelyyn, analysointiin ja näyttöön. Tämän paketin avulla voit kirjoittaa uusia algoritmeja kasvojen, kasvojen maamerkkien, toimintayksiköiden ja tunteiden tunnistamiseen.
