Seuraava artikkeli auttaa sinua: Opas erilaisiin kuvanremonttitekniikoihin aloittelijoille
Kuvan rekonstruktiotekniikoita käytetään kuvien laadun palauttamiseen vähentämällä kohinaa, lisäämällä dynaamisia alueita jne. CNN:iden, GAN:ien ja Autoencoderin käyttöönoton jälkeen näitä malleja on käytetty tehokkaasti vaurioituneiden valokuvien rekonstruoinnissa ja niistä on tullut erittäin helppokäyttöisiä. Lisäksi GAN:ia käytetään väritykseen, superresoluutioon (lisää resoluutiota), kuvankäsittelyyn (ei-toivottujen taustaobjektien poistamiseen) ja luonnosten muuntamiseen oikeiksi valokuville. Tässä artikkelissa käymme läpi yleiskatsauksen kaikista suosituista kuvan jälleenrakennustekniikoista ja ymmärrämme, kuinka nämä tekniikat toimivat. Tärkeimmät tässä artikkelissa käsiteltävät kohdat on lueteltu alla.
Sisällysluettelo
- Melunvaimennus tai vaimennus
- Matala dynaaminen alue (LDR) korkeaan dynaamiseen alueeseen (HDR)
- Väritys uudelleen
- Superresoluutio
Aloitetaan ymmärtämällä ensin melunvaimennus.
Melunvaimennus tai vaimennus
Kuvan kirkkauden tai värin satunnaista vaihtelua kutsutaan kuvakohinaksi. Kohina on aina ollut valokuvien ongelma, kohinaiset kuvat näyttävät tylsiltä ja mauttomilta. Syväoppiminen on kuitenkin erittäin hyvä poistamaan kohinaa kuvista. Äskettäin julkaistu Deep Image Prior -paperi voi poistaa kuvista kohinan. Näet tuloksen alta, vasen kuva on täynnä kohinaa ja oikea kuva on Deep Image Priorilla vaimentanut kohinan.
Etsitkö täydellistä arkistoa tietotieteessä käytettävistä Python-kirjastoista, katso tästä.
Matala dynaaminen alue (LDR) korkeaan dynaamiseen alueeseen (HDR)
Ensinnäkin ymmärrä, mitä dynaaminen alue on, dynaaminen alue on kameran kyky tallentaa tummimmat ja kirkkaimmat värit yhdellä valotuksella. Matala dynaaminen alue tarkoittaa, että kuvissa ei ole vaihtelua. LDR saa kuvat näyttämään tasaisilta, kun taas korkea dynaaminen alue saa kuvat näyttämään visuaalisesti miellyttäviltä. Alla oleva kuva näyttää eron HDR:n ja LDR:n välillä. Vasen puoli on LDR ja oikea puoli HDR.
Saatavilla on syväoppimismalleja, jotka voivat muuntaa kuvan matalalta dynaamisella alueella korkealle dynaamiselle alueelle, kuten Deep CNN. Tämä malli on koulutettu suurelle HDR-kuvatietojoukolle, minkä vuoksi se on erittäin hyvä ennustamaan HDR-arvoja. Annetusta kuvasta näet, että ensimmäinen rivi on (a) syöte matalalla dynaamisella alueella, sitten se muunnetaan korkeaksi dynaamiseksi alueeksi DCNN:n avulla, katso tulos toisesta rivistä, (b) Rekonstruktio se on melkein sama kuin (c) Perustotuus.
Väritys uudelleen
Väritys tarkoittaa mustavalkoisen kuvan värjäämistä. Tämä on haastava prosessi, koska laskemme RGB-arvoja harmaasävykuville. Syväoppimistekniikat harmaasävykuvien värittämiseksi ovat edistyneet huomattavasti viimeisen vuosikymmenen aikana. Alla olevassa kuvassa voimme nähdä visuaalisen värityksen vertailun Natural-Color Datasetin eri hedelmäkuvissa. Banaani-, kirsikka- ja appelsiinikuvat väritetään yllättävän hyvin, mutta Apple ei värjää väritysalgoritmilla kunnolla.
Joskus käy niin, että algoritmi epäonnistuu värittämisessä täysin, katso Chili, Corn ja lady-finger niitä ei väritetä algoritmilla.
Superresoluutio
Superresolution tarkoittaa kuvissa olevien reunojen parantamista tai voidaan sanoa, että matalaresoluutioisen kuvan parantamista korkearesoluutioiseksi kuvaksi. SRGANeja voidaan käyttää superresoluutioon. Se on GAN-tyyppi, jota käytetään superresoluutioon. On olemassa malleja, jotka voivat suorittaa superresoluution, mutta ne romahtavat palauttaessaan hienompia pintakuvion yksityiskohtia. Mutta SRGAN on ensimmäinen kehys, joka pystyy parantamaan valokuvarealistisia luonnollisia kuvia nelinkertaisella skaalauskertoimella.
Vasemmalla oleva superresoluutiokuva on melkein sama kuin oikealla oleva alkuperäinen, mutta se on 4X skaalaus. SRGAN ei tehosta kuvaa liikaa, se parantaa kuvaa ja säilyttää myös hienot yksityiskohdat.
Toinen esimerkki on, kuinka SRGANs supermullistaa kaksikuutioisen interpolaatiosumennuksen, melkein lähellä alkuperäistä kuvaa.
Viimeiset sanat
Tässä artikkelissa kävimme läpi luettelon kuvan rekonstruktiotekniikoista yksitellen ja ymmärsimme, kuinka syvä oppiminen hallitsee tietokonenäkökenttää. Lähes kaikki rekonstruointitekniikat voidaan suorittaa erittäin helposti syväoppimismalleilla, kuten DCNN, GAN.
Viitteet
- Denoise
- HDR
- Väritys uudelleen
- Superresoluutio
