Mitä kuvien rekisteröinti on ja miten se toimii?

Seuraava artikkeli auttaa sinua: Mitä kuvien rekisteröinti on ja miten se toimii?

Kuvan rekisteröintiprosessi on automaattinen tai manuaalinen toiminto, jossa yritetään löytää täsmääviä kohtia kahden kuvan välillä ja kohdistaa ne tilallisesti halutun virheen minimoimiseksi, eli kahden kuvan välinen tasainen läheisyysmittaus. Lääketieteet, kaukokartoitus ja tietokonenäkö käyttävät kaikki kuvien rekisteröintiä. Tässä artikkelissa käsitellään kuvien rekisteröinnin teknisyyttä OpenCV:tä käyttämällä. Seuraavassa on käsiteltävät aiheet.

Sisällysluettelo

1. Tietoja kuvien rekisteröinnistä
2. Kuvarekisteröinnin käyttö
3. Kuvarekisteröinti toimii
4. Kuvan rekisteröintihakemus
5. Kuvan rekisteröinti OpenCV:llä

Aloitetaan korkean tason yleiskatsauksella kuvien rekisteröinnistä.

Tietoja kuvien rekisteröinnistä

Kun kuvien välillä on luotu vastaavuus, kahden tai useamman valokuvan välisen yhteyden tutkimista voidaan yleensä yksinkertaisesti säännellä tai käsitellä. Tämän korrelaation muodostamisprosessi tunnetaan nimellä kuvan rekisteröinti.

Voidaan sanoa, että kuvan rekisteröinti on prosessi, jossa lasketaan spatiaalisia muunnoksia, jotka kohdistavat kuvajoukon yhteiseen havainnoinnin viitekehykseen, usein yhteen joukon kuvista. Rekisteröinti on keskeinen vaihe kaikissa kuva-analyysi- tai ymmärrystehtävissä, joissa on yhdistettävä eri tietolähteitä. Rekisteröinnin aikana ilmenee kaksi tilannetta:

1. On mahdotonta kuvitella; tämä tunnetaan sovitusongelmana, ja se on myös algoritmin suorittamisen aikaa vievin vaihe.
2. Yhden valokuvan kolmiulotteisessa informaatiossa on muunnosvaatimus sen koordinaattijärjestelmässä ja suhteessa sen viitteeksi valittuun kuvaan.

GIF-lähde

Etsitkö täydellistä arkistoa tietotieteessä käytettävistä Python-kirjastoista, katso tästä.

Kuvarekisteröinnin käyttö

Kuvan rekisteröintiä voidaan käyttää kahdella tavalla:

1. Kuva-kuva rekisteröinti: Kaksi tai useampia kuvia kohdistetaan niin, että ne yhdistävät tai yhdistävät samoja objekteja edustavat pikselit.
2. Kuva karttarekisteröintiin: Tässä vaiheessa syötekuvaa vääristetään vastaamaan peruskuvan karttatietoja samalla kun sen alkuperäinen spatiaalinen resoluutio säilyy

Sitä käytetään usein kohdistamaan kuvia eri kameralähteistä lääketieteellisessä ja satelliittikuvauksessa. Kuvan rekisteröinti on tekniikka, jota digitaalikamerat käyttävät lähellä olevien kuvien kohdistamiseen ja linkittämiseen yhdeksi panoraamakuvaksi.

Kuvarekisteröinti toimii

On olemassa neljä suurta vaihetta, jotka jokaisen kuvan rekisteröintimenetelmän on käytävä läpi kuvan kohdistusta varten. Nämä voitaisiin luetella seuraavasti:

• Ominaisuuden tunnistus: Toimialueen asiantuntija havaitsee merkittäviä ja erottuvia kohteita (suljetut raja-alueet, reunat, ääriviivat, viivojen leikkauskohdat, kulmat jne.) sekä viite- että havaituissa kuvissa.
• Ominaisuussovitus: Se määrittää viitekuvan ja havaittujen kuvien ominaisuuksien välisen korrelaation. Sovitusmenetelmä perustuu kuvan sisältöön tai ohjauspistejoukon symboliseen kuvaukseen.
• Muunnosmallin arviointi: Lasketaan ns. kartoitusfunktioiden parametrit ja laji, jotka kohdistavat havaitun kuvan vertailukuvaan.
• Kuvan uudelleennäytteenotto ja muunnos: Havaittu kuva muutetaan kartoitustoimintojen avulla.

Kuvien rekisteröintimenetelmät luokitellaan pääasiassa kahteen tyyppiin: aluepohjaiset lähestymistavat ja ominaisuuspohjaiset menetelmät. Kun valokuvista puuttuu merkittäviä piirteitä ja erottavat tiedot saadaan harmaan tasoista/väreistä paikallisten muotojen ja rakenteen sijaan, aluekohtaisia ​​lähestymistapoja suositellaan.

Kun kuvan intensiteetit tarjoavat enemmän paikallista rakennetietoa, käytetään ominaisuuspohjaisia ​​sovitusalgoritmeja. Näissä toimenpiteissä käytetään piirteiden erotustekniikalla tuotettuja kuvan ominaisuuksia. Mutta nämä kaksi luokittelua voitaisiin edelleen luokitella eri menetelmiin. Katsotaanpa näitä luokituksia.

Pikselipohjainen menetelmä

Rekisteröintiä varten tässä menettelyssä käytetään ristikorrelaatiotilastomenetelmää. Sitä käytetään usein mallien sovittamiseen tai kuvioiden tunnistamiseen, mikä edellyttää mallin tai kuvion sijainnin ja suunnan löytämistä kuvasta. Ristikorrelaatio on samankaltaisuuden mitta tai vastaavuusmittari.

Esimerkiksi kaksiulotteinen normalisoitu ristikorrelaatiofunktio arvioi jokaisen käännöksen samankaltaisuuden mallille (viittaukseksi kuva) ja kuvalle, jossa malli on pieni verrattuna kuvaan.

Jos malli sopii kuvaan, ristikorrelaatio on huipussaan. Koska paikallinen kuvan voimakkuus saattaa vaikuttaa mittaukseen, ristikorrelaatiota tulee säätää.

Haittoja

Korrelaatiolähestymistapojen tärkeimmät haitat ovat samankaltaisuusmitan maksimin tasaisuus (johtuen kuvien samankaltaisuudesta) ja suuri käsittelyn monimutkaisuus. Maksimi voidaan teroittaa onnistuneesti esikäsittelyllä tai käyttämällä reuna- tai vektorikorrelaatiota.

Pistekartoitusmenetelmä

Harmaa arvoja ei käytetä kuvaamaan täsmäytyskokonaisuuksia pistepohjaisissa täsmäysalgoritmeissa. Se käyttää kuvaominaisuuksia, jotka on tuotettu piirteiden erotusalgoritmista/prosessista.

Ominaisuuden poiminnan perustavoitteena on ottaa valtava määrä tietoa alkuperäisestä syötteestä ja suodattaa pois redundantti, eli suodattaa pois tieto, jota ei enää tarvita.

Ominaisuudet, jotka havaitaan vain molemmissa kuvissa ja kestävät paremmin paikallisia vääristymiä, valitaan. Nämä ominaisuudet vaikuttavat sopivan muunnoksen laskemiseen. Tämän seurauksena on löydettävä huomattava määrä ominaisuuksia suoritettavia laskelmia varten.

Kun ominaisuudet on havaittu jokaisesta kuvasta, ne on sovitettava. Tämä on yleisin tapa rekisteröidä kaksi valokuvaa, joiden kohdistusvirhe on tuntematon.

Pisteiden yhteensovittamisen tarkistuspisteet ovat tärkeitä tässä strategiassa. Kulmat, leikkauslinjat, ääriviivaviivojen paikallisesti suurimmat kaarevuuspisteet, paikallisesti suurimman kaarevuuden omaavien ikkunoiden keskipisteet ja suljettujen raja-alueiden painopisteet ovat kaikki esimerkkejä ohjauspisteistä.

Pistekartoitusmenetelmät on jaettu kolmeen vaiheeseen, jotka ovat seuraavat:

• Kuvan ominaisuudet, jotka voidaan laskea.
• Datakuvan ominaisuuspisteet.
• Spatiaalinen kartoitus.

Haittoja

Ominaisuuspohjaisen tekniikan haittapuoli on ikkunan sisällön poikkeuksellisuus. Epäselvyytensä vuoksi ikkuna, joka sisältää tasaisen alueen, jossa ei ole kriittistä tietoa, yhdistetään todennäköisesti virheellisesti vertailukuvan muihin tasaisiin alueisiin.

Kohdistusominaisuudet tulisi mieluiten tunnistaa kuvan erillisiltä alueilta. Windowsista saattaa puuttua tämä ominaisuus, ja niiden valinta ei useinkaan perustu niiden sisällön arviointiin.

Muotipohjainen kuvan rekisteröinti

Tässä strategiassa käytetään vahvoja tilastollisia ominaisuuksia kuvan piirrepisteiden yhteensovittamiseksi. Värikuvan segmentointia käytetään kiinnostavien alueiden poimimiseen kuvista.

Kuvan ääriviivojen tuottamiseksi lasketaan tietyn värikokoelman keskiarvo. Sitten jokainen kuvan RGB-pikseli luokitellaan segmentointiprosessin aikana joko tietyllä värialueella tai ei. Lisäksi euklidinen etäisyys on välttämätön samankaltaisuuden määrittämiseksi.

Pisteiden paikka on pallo, jonka säde on yhtä suuri kuin kynnysarvo, ja jokainen pallon sisällä tai pinnalla oleva piste täyttää ilmoitetun värivaatimuksen. Koodaamalla nämä kaksi kuvan pistejoukkoa mustavalkoiseksi, saadaan binaarinen segmentoitu kuva.

Gauss-suodatinta käytetään eliminoimaan kohina segmentointiprosessin jälkeen. Kynnykset sumensivat kuvan, ja sitten saatiin kuvan ääriviivat.

Haittoja

Contour Based Image Registration -menetelmän tarkkuus on, mutta rajoituksena on, että se on manuaalinen ja hidas.

Multimodaalinen kuvien rekisteröinti keskinäisten tietojen avulla

Monispektristen/monisensoristen kuvien rekisteröinti on vaikea tehtävä. Yleensä tällaisilla kuvilla on vaihtelevia harmaasävyominaisuuksia, eikä aluekorrelaatioon perustuvia peruslähestymistapoja ole helppo käyttää.

Havaitaan, että kuvan entropia pysyy vakiona, vaikka histogrammi muuttuu. Jopa kuvan pikselien satunnaisen sekoittamisen jälkeen kuvan entropia pysyy vakiona. Luonnonvalokuvissa on myös vähemmän epäselvyyttä.

Realistisessa kuvassa pikselin arvo on todennäköisesti melko lähellä joidenkin sen naapureiden arvoa. Tämän seurauksena tämä riippuvuus vähentää kokonaisentropiaa.

Haittoja

Kun kuvien resoluutio on huono tai limitysalue on kapea, keskinäinen tieto aiheuttaa virheen kohdistuksen.

Kuvan rekisteröinti taajuusalueella

Korrelaatiolause on tärkeä tässä menettelyssä, koska Fourier-funktio sisältää kuvan reaali- ja imaginaariosan kaksi arvoa kullakin taajuusspektrin taajuudella.

Laskemalla funktion käänteisarvo saadaan impulssifunktio, joka on oleellisesti nolla kaikkialla paitsi siirtymässä, jota tarvitaan kahden kuvan optimaaliseen rekisteröintiin. Yllä kuvattua lähestymistapaa käytetään sellaisten kuvien rekisteröimiseen, joissa on juuri käännös.

Haittoja

On syytä korostaa, että taajuusalueella on käytettävä jonkin tyyppistä interpolointia.

Kuvan rekisteröinti geneettisellä algoritmilla

Geneettiset algoritmit (GA) perustuvat luonnolliseen evoluution käsitykseen, joka viittaa siihen, että monimuotoisuus auttaa väestön selviytymisessä muuttuvien ympäristöolosuhteiden edessä. GA:t ovat iteratiivisia menetelmiä, joilla on luontainen rinnakkaisuus.

He pitävät kandidaattiliuospopulaation kirjattuna kromosomien muodossa, jotka ovat yleensä binäärisymboleja “0” ja “1”. Alkupopulaatio voidaan valita satunnaisesti.

Sopivuusehdokkaat, jotka määritellään henkilöiksi, joiden kunto-arvot ylittävät tietyn kynnyksen, valitaan lisääntymiselle seuraavassa sukupolvessa. Valitut ehdokkaat yhdistetään käyttämällä geneettistä lisääntymismenetelmää, joka tunnetaan nimellä “crossover”. Crossover-operaattori vaihtaa kromosomisegmenttejä luodakseen ensiluokkaisia ​​ehdokkaita, joilla on parempi kunto seuraavan sukupolven aikana.

Seuraavassa sukupolvessa koko väestö arvioidaan uudelleen. Toimenpide toistetaan, kunnes lopetusvaatimus täyttyy. Päätekriteerinä voi olla hyväksyttävän approksimaatioratkaisun löytäminen, tietyn sukupolvien määrän saavuttaminen tai ratkaisukonvergenssi.

Digitaalisiin vektorikarttoihin perustuvissa satelliittikuvissa automaattinen rekisteröinti geneettisen algoritmin avulla on osoittautunut erityisen tehokkaaksi ja luotettavaksi.

Kuvien rekisteröinnin sovellukset

Lääketieteen alalla

• Multimodaalinen MRI-MEG-yhteisrekisteröinti

Kuvan lähde

Aivojen kuvantamisen aksiaalinäkymässä keltaiset pisteet osoittavat anatomisia merkkejä tai vertailupisteitä (anatomisia tietoja). Pohja: Vaaleanpunaiset pisteet osoittavat MEG-antureiden sijainnin, kun taas vihreät pisteet edustavat päänahan EEG-anturien paikkoja. Toiminnalliset tiedot sisältyvät näihin MEG- ja EEG-tietoihin, ja alakuva esittää aivokuvaa (sagitaalinäkymä)

Valokuvauksen alalla

• Satelliitti käyttää pistekartoitusmenetelmää kuvien rekisteröintiin.

Kuvan lähde

Kuvan rekisteröinti OpenCV:llä

Toteutetaan yksi mainituista menetelmistä OpenCV:llä

Tuo tarvittavat kirjastot:

tuonti numpy as np tuonti imutils tuonti cv2

Jos käytät google colab -muistikirjaa, sinun on myös tuotava ylimääräinen kirjasto, kuten alla mainitaan kuvien näyttämistä varten, koska “cv2.imshow” on poistettu käytöstä, koska se kaataa päätelaitteen.

osoitteesta google.colab.patches import cv2_imshow

Lue kuvat ja muunna ne harmaiksi arvoiksi

img_align = cv2.imread(“IMG_2523.jpg”) img_temp = cv2.imread(“IMG_2524.JPG”) img1 = cv2.cvtColor(img_align, cv2.COLOR_BGR2GRAY) img2 = cv2.cvtCOLORB(img_temp.GRAY,V) leveys = img2.shape

Joidenkin avainkohtien ja kuvaajien määrittäminen, joita käytetään mallitiedoston pikselien täsmäämiseen.

orb_detector = cv2.orb_create (5000) kp1, d1 = orb_detector.detectandcompute (img1, ei mitään) kp2, d2 = orb_detector.detectandcompute (img2, ei mitään) ottelija = cv2.bfMatcher (cv2.norm_hamming, crosscheck = truid) ottelut = vastaava. ottelu(d1, d2)

Luo homografia tuloksena olevan kuvan validointia varten

homografia, maski = cv2.findHomography(p1, p2, cv2.RANSAC)

Kuvan rekisteröinti:

transformed_img = cv2.warpPerspective(img_align, homography, (leveys, korkeus)) matchedVis =cv2.drawMatches(img1, kp1, img2, kp2, matchs, None) matchedVis = imutils.resize(matchedVis, width=1000) cv2_ims cv2.waitKey(0)

Vertaamalla saatua kuvaa:

Tulostuskuva

Syötä kuva

Tuloksen vahvistaminen:

Tulokuvasta on valittu yhteensä 5000 pikseliä, jotka on sovitettava mallikuvasta, jonka perusteella tuloskuva on luotu. Tarkkailemalla tuloskuvaa voimme luottavaisesti sanoa, että kuva on kohdistettu oikein vertailukuvaan.

Yhteenveto kuvan rekisteröinnistä

Kuvan rekisteröinti on välttämätön vaihe lukuisten antureiden (lähteiden) tietojen integroinnissa, yhdistämisessä ja arvioinnissa. Sillä on laaja valikoima sovelluksia lääketieteissä, tietokonenäössä ja kaukokartoituksessa.

Kuvarekisteröinnit monimutkaisilla epälineaarisilla vääristymillä, multimodaalinen rekisteröinti ja tukkeutuneiden kuvien rekisteröinnit edistävät muun muassa nykyympäristön vaikeimpiin tehtäviin kuuluvien tekniikoiden kestävyyttä.

Tässä artikkelissa olemme ymmärtäneet kuvien rekisteröinnin käsitteen, erilaiset kuvien rekisteröintitavat ja toteutuksen Pythonissa OpenCV:n avulla.

Viitteet