Seuraava artikkeli auttaa sinua: Opas realististen synteettisten kuvatiedostojen luomiseen Kubricin avulla
Kubric, skaalautuva tietojoukkogeneraattori, on python-kehys, jota käytetään valokuvarealististen tietokoneella luotujen kuvien ja videoiden luomiseen. Tämän python-työkalun tärkein etu on, että se auttaa luomaan tietojoukkoja erittäin halvalla ja antaa meille täyden hallinnan niihin. Tässä artikkelissa käymme läpi Kubricin esittelyn, ja sitten näemme, mikä on tämän kehyksen tarve. Yritämme myös ymmärtää sen toimintamekanismia. Tärkeimmät tässä artikkelissa käsiteltävät kohdat on lueteltu alla.
Sisällysluettelo
- Johdatus Kubriciin
- Arkkitehtuuri ja mallikuvat
- Kubric-työnkulku
- Miksi tarvitsemme tätä kehystä?
- Työntekijän työskentely
Johdatus Kubriciin
Useiden uraauurtavien NLP-, tietokonenäkökirjastojen ja -kehysten jälkeen Google on julkaissut toisen kehyksen nimeltä Kubric. 07.3.2022 Googlen tutkijat Klaus Greff, Francois Belletti, Lucas Beyer julkaisivat tutkimuspaperinsa aiheesta Kubric: Skaalautuva tietojoukkogeneraattori.
Se on avoimen lähdekoodin Python-kehys, jonka avulla voit luoda valokuvarealistisia kohtauksia yhdistämällä PyBulletin ja Blenderin toiminnot. PyBullet on Python-moduuli, jota käytetään fysiikan simulaatioiden luomiseen ja Blenderia käytetään renderöintiin. Näitä luotuja tietoja kutsutaan nimellä Synteettinen data. Nämä synteettiset tietojoukot tarjoavat korkealaatuisia tarroja erilaisiin kuvatehtäviin, kuten objektien havaitsemiseen, segmentointiin, luokitteluun jne.
Arkkitehtuuri ja mallikuvat
Alla olevassa kuvassa näkyy Kubricin luoma kohtaus yhdessä joidenkin automaattisesti luotujen huomautusten kanssa.
(Kuvan lähde)
Internetissä on saatavilla monia synteettisiä tietojoukkoja, kuten ScanNet, SYNTHIA jne, mutta ne eivät sisällä kaikkia mahdollisia merkintöjä kaikille kuvatehtäville (instanssi ja semanttiset segmentointimaskit, optinen virtaus), mutta Kubric luo kuvat kommenteilla ja tukee erilaisia katselukulmia. ja valaistusolosuhteet. Synteettisten tietojoukkojen luomiseen on saatavilla myös putkia, kuten Blender ja Unity3D, jotka täyttävät valaistus- ja eri katselukulmarajoitukset, mutta lisämerkintöjen luomiseen tarvitaan perusteellista tietoa taustalla olevasta renderöintimoottorista.
Kubricin arkkitehtuuri on esitetty alla.
Kubric on korkean tason python-kirjasto, joka yhdistää PyBulletin ja Blenderin toiminnallisuuden. Näemme sinisen laatikon nimeltä Työntekijä, Kubricin pääkomponentti, joka vastaa synteettisten tietojen luomisesta. Kuten verkkokaappauksessa koodia, joka poimii tietoja verkkosivustolta, kutsumme sitä indeksoijaksi tai hämähäkkiksi, samalla tavalla koodia, joka vastaa synteettisen tiedon luomisesta, kutsumme sitä nimellä Työntekijä.
Nyt, Kuvassa resurssit ladataan ulkoisesta lähteestä, jotta työntekijä voi luoda kohtauksen, PyBullet luo fysiikan simulaation, Blender renderöi kehykset ja lopuksi viedään kuvat, merkintätasot ja muut metatiedot.
Kubric-työnkulku
Kubric-työnkulku on hyvin yksinkertainen, kirjoita vain työskentelyohjelma, joka luo yhden kohtauksen. Jotta voit luoda täyden tietojoukon, sinun on suoritettava työskentelyohjelma monta kertaa. Kerää tämän jälkeen luotu tietojoukko.
Miksi tarvitsemme tätä kehystä?
Tärkein kysymys on, miksi tarvitsemme tätä datageneraattorikehystä. Kuten tiedämme koneoppimisen ja tekoälyn, kuinka paljon me luotamme dataan. Kuten tutkimuspaperissa mainitaan:
“Data on koneoppimisen liikkeellepaneva voima”
Dataa tarvitaan, mutta entä hyvä data?. Hyvä data on avain koneoppimisjärjestelmän suorituskykyyn kuin mallien anatomia ja koulutusyksityiskohdat. Mutta todellisen tiedon kerääminen, merkitseminen ja puhdistaminen suuressa mittakaavassa on työlästä ja kallista työtä, ja se herättää usein yksityisyyttä, oikeudenmukaisuutta ja oikeudellisia ongelmia. Näiden huolenaiheiden käsittelemiseksi Google esittelee Kubricin. Tällä työkalulla voimme tuottaa dataa erittäin halvalla, automatisoida totuuden merkinnät, antaa täyden hallinnan tiedoille ja vähentää harhaa, yksityisyyttä ja lisensointiongelmia.
Työntekijän työskentely
A Työntekijä on Kubricin pääkomponentti kuten edellä keskustelimme. Joten jokainen työntekijä perustaa a Näkymä objekti, joka pitää kirjaa globaaleista asetuksista, kuten resoluutio, renderoitavien kehysten määrä, painovoima, a Kamera, ja kaikkia esineitä, mukaan lukien valot, materiaalit, animaatiot jne. kutsutaan Omaisuus. Kun laitamme Assetin kohtaukseen, se luo vastaavia objekteja eri näkymistä, kuten edellä kerroimme, PyBullet luo fysiikan simulaation ja bpy-moduulin Blender-toimintojen käyttöä varten, Blender on tehokas 3D-grafiikkapiirtäjä. Kuvan alla on tulos Työntekijä. Yksinkertainen ympäristö, jossa on lattia, osoitinvalo, perspektiivikamera ja 8 KuBasic-esinettä lattialle nopeudella. Se on animaatiovideo, mutta laitamme still-kuvan.
(Kuvan lähde)
| Kohteen äärettömät satunnaiset vaihtelut voidaan generoida eri arvoilla satunnainen siemen (rng), ja lopputulos on nähtävissä Blenderissä avaamalla .Tehosekoitin tiedosto. Viety kuva sisältää huomautuksia, kuten segmentointi, syvyys, virtaus, normaalit. |
Viimeiset sanat
Tässä artikkelissa opimme Kubricista sen määritelmästä sen arkkitehtuuriin ja opimme, miksi tämä kehys on tarpeen. Voisimme myös ymmärtää, kuinka se käsittelee todellisen tietojoukon luomisen ongelmia ja kuinka helposti Kubric ratkaisee nämä ongelmat.
