Seuraava artikkeli auttaa sinua: TensorLayerin opas tehokkaaseen syväoppimisen kehittämiseen
Toimivan syväoppimisjärjestelmän luominen on aikaa vievä ja vaikea tehtävä. Se sisältää aikaa vieviä tehtäviä, kuten kehittyneiden hermoverkkojen rakentamista, monien verkkomallien koordinointia, tietojenkäsittelyä, tiiviin työnkulun luomista ja huomattavan määrän koulutukseen liittyvää dataa. Tällä hetkellä käytettävissä on työkaluja, jotka auttavat tätä kehitysprosessia, kuten Keras ja TFLearn, jotka tarjoavat joustavuutta ja abstraktiota useille yhdistetyille modaliteeteille. Tässä viestissä tarkastelemme TensorLayeria, Python-pohjaista koneoppimistyökalua. Alla on lueteltu tärkeimmät kohdat, joista keskustellaan tässä viestissä.
Sisällysluettelo
- Kirjaston tarpeen ymmärtäminen
- Mikä on TensorLayer?
- Tekniset yksityiskohdat
- Toteutus TensorLayerilla
Ymmärrämme ensin tämän työkalun tarpeen.
Kirjaston tarpeen ymmärtäminen
Lisääntyvä vuorovaikutus haastaa syväoppimisen kehittymisen. Kehittäjät joutuvat käyttämään monia syklejä integroimalla komponentteja hermoverkkojen kokeilemiseen, välivaiheiden käsittelyyn, koulutukseen liittyvän datan järjestämiseen ja hyperparametrien säätämisen mahdollistamiseen reaktiona erilaisiin tapahtumiin.
Tarvittavien syklien määrän vähentämiseksi käytetään integroivaa kehitysmenetelmää, jossa monimutkaiset operaatiot neuroverkoissa, tiloissa, datassa ja hyperparametreissa abstraktoidaan ja annetaan täydentävissä moduuleissa. Tämä johtaa yhteen ympäristöön, jossa kehittäjät voivat tehokkaasti tutkia konsepteja korkean tason moduulitoimintojen avulla ja tehdä muutoksia moduuleihin vain tarvittaessa.
Tämän strategian tarkoituksena ei ole luoda moduulin lukitusta. Moduulit on sen sijaan mallinnettu yksinkertaisiksi yksitoimilohkoiksi, jotka jakavat vuorovaikutusliittymän, mikä mahdollistaa helpon käyttäjän määrittämien moduulien liittämisen.
Mikä on TensorLayer?
TensorLayer on yhteistyöyritys tämän tavoitteen toteuttamiseksi. Se on modulaarinen Python-työkalusarja, joka tarjoaa yksinkertaisia moduuleja, jotka auttavat tutkijoita ja insinöörejä rakentamaan monimutkaisia syväoppimisjärjestelmiä. TensorLayer-toteutus on suunniteltu nopeaksi ja skaalautuvaksi. TensorFlow’ta käytetään hajautettuna koulutus- ja päättelymoottorina.
TensorFlow’hun delegointiin liittyvät yleiskustannukset ovat pienet. TensorLayer käyttää myös MongoDB:tä tallennustaustana. Rajoittamattoman harjoitusdatan hallintaa varten tätä taustajärjestelmää on täydennetty tehokkaalla stream-ohjaimella. Tämä ohjain voi koota tuloksia tietojoukkokyselystä ja tuottaa eräopetustehtäviä tarpeen mukaan automaation tukemiseksi.
TensorLayer käyttää GridFS:ää blob-taustaohjelmana ja MongoDB:tä esimerkkiindeksoijana valtavien tietokohteiden, kuten videoiden, tehokkaaseen käsittelyyn. Lopuksi TensorLayer käyttää agenttipub-sub-arkkitehtuuria asynkronisen koulutustyönkulun saavuttamiseksi. Agentit voidaan asentaa useille laitteille ja tilata erilliset tehtäväjonot. Nämä jonot säilytetään luotettavassa tallennustilassa, jotta epäonnistuneet tehtävät voidaan toistaa automaattisesti uudelleen.
TensorLayer, toisin kuin muut TensorFlow-pohjaiset työkalut, kuten Keras ja TFLearn, mahdollistaa yksinkertaisen matalan tason hallinnan tasojen ja hermoverkkojen suorittamisessa. Se sisältää myös ylimääräisiä tietojoukko- ja työnkulkumoduuleja, jotka vapauttavat käyttäjät aikaa vievistä tietojen esi-, jälkikäsittely-, moduulipalvelu- ja tiedonhallintatehtävistä. Sen ei-invasiivinen yhtenäinen moduulivuorovaikutusliittymä hyväksyy Kerasista ja TFLearnistä tuodut kerrokset ja verkot.
Tekniset yksityiskohdat
Aputoimintoihin kuuluu kerrostoteutusten tarjoaminen ja tuonti, hermoverkkojen perustaminen, mallien elinkaareen liittyvien tilojen käsittely, online- tai offline-tietosarjojen tuottaminen ja rinnakkaisen koulutussuunnitelman kehittäminen. Taso, malli, tietojoukko ja työnkulku ovat neljä moduulia, jotka sisältävät nämä toiminnot. Nämä moduulit kuvataan vuorotellen seuraavissa osioissa. Käymme ne läpi yksitellen.
Kerrosmoduuli
TensorLayer sisältää kerrosmoduulin, jossa on viitetoteutuksia useille tasoille, mukaan lukien CNN, RNN, dropout, eränormalisointi ja monet muut. Kuten laajalti käytetty lasagne, kerrokset rakennetaan muodostamaan neuroverkko deklaratiivisella tavalla. Parametrien jakamisen helpottamiseksi jokaiselle tasolle annetaan oma avain. TensorFlow vastaa verkoista. TensorLayer on hybridi ja hajautettu alusta, joka perii TensorFlow’n.
Malli moduuli
Mallit ovat loogisia esityksiä itsenäisistä toiminnallisista yksiköistä, joita voidaan kouluttaa, arvioida ja ottaa käyttöön kentällä. Jokaisella mallilla on oma verkkorakenne. Mallin eri versioita tai tiloja voi olla harjoittelun aikana (eli painoja). Pysyvät, välimuistissa olevat ja uudelleen ladatut tilat ovat kaikki mahdollisia.
Käyttäjän määrittelemät mallitapahtumat voidaan tallentaa TensorLayerilla. Harjoitteluvaiheet, oppimisnopeus ja tarkkuus näkyvät kaikki perinteisissä kilpailuissa. Niitä käytetään usein harjoitusprosessin diagnosoimiseen esimerkiksi mallien versioinnin ja interaktiivisen oppimisen mahdollistamiseksi.
Tietojoukkomoduuli
Tietojoukkomoduuli on paikka, jossa voit seurata harjoitusnäytteitäsi ja ennusteitasi. Ne on tallennettu MongoDB:hen asiakirjoina. Jokaisessa asiakirjassa on ainutlaatuinen avain, näyte, tarra ja käyttäjän määrittämät tunnisteet.
Tietojoukkojen määrittämiseen käytetään deklaratiivisia kyselyitä, jotka sisältävät vaatimuksia tunnistekentille. Kyselyt luovat näkymiä taustalla olevista tiedoista eivätkä vaadi lisätallennustilaa.
Yleisiä suoratoistodatajoukkoja käytetään tietojen mallintamiseen. Kullekin tietojoukolle on määritetty virranohjain, joka tarkkailee jatkuvasti näytteiden ja ennusteiden saatavuutta ja käynnistää tämän jälkeen asianmukaiset koulutustoiminnot kyseiselle tietojoukolle.
Työnkulkumoduuli
Työnkulkumoduuli helpottaa asynkronisia palautesilmukoita käyttävien malliryhmätoimintojen ja oppimisjärjestelmien rakentamista. Se on myös tehokas monimutkaisille kognitiivisille järjestelmille, joissa on koulutusta vaativia komponentteja. Esimerkiksi kuvien tekstitysjärjestelmän luoja [28] koulutti CNN:n ymmärtämään kuvien kontekstin ennen kuin koulutettiin RNN-dekooderi luomaan kuvauksia havaitun kontekstin perusteella. Tämä esimerkki rakentaa kaksivaiheisen asynkronisen harjoitussuunnitelman, jota TensorLayer voi tukea.
Toteutus TensorLayerilla
Tässä osiossa suoritamme kuvien luokittelun siirtooppimisen avulla. Tässä käytetty malli on VGG16. Tämän luokituksen suorittamiseksi meidän tarvitsee vain asentaa tensorikerrosten paketti ja paketti hallitsee loput asiat.
Asennetaan ja tuodaan nyt nopeasti riippuvuuksia.
! pip install tensorlayer # keskinäisiä riippuvuuksia tarvitaan kuvan esikäsittelyyn ! pip install scipy==1.2.1 import numpy as np tuonti tensorflow as tf tuonti tensorlayer as tl from tensorlayer.models.imagenet_classes tuonti luokan_nimet
Nyt ensimmäinen asia, malli voidaan tuoda tensorlayer.model-paketista. Mallin lataamisen jälkeen koodi tulostaa mallin yhteenvedon.
# hanki koko malli vgg = tl.models.vgg16(pretrained=True)
Tässä on tiivistelmä mallista.
Seuraavaksi meidän on ladattava ja esikäsiteltävä kuva, koska malli toimii ennalta määritetyillä kuva-asetuksilla.
#kuvan lataus, esikäsittely img = tl.vis.read_image(‘/content/steam-train-rides-1570200690.jpg’) img = tl.prepro.imresize(img, (224, 224)).astype(np .float32) / 255
Tässä on kuva, jota ruokimme.
Nyt käsittelemme kuvaa ennustamista varten.
#käsittele kuva malliksi ja hanki probas output = vgg(img, is_train=False) probs = tf.nn.softmax(output)[0].numpy()
Tulokset saadaan kuvassa tunnistettujen luokkien todennäköisyyksien muodossa, jotka on järjestetty laskevaan järjestykseen.
# tulostustulos preds = (np.argsort(probs)[::-1])[0:5]
q:lle predsissä: print(class_names[q]ongelmia[q])
Viimeiset sanat
Tämän artikkelin kautta olemme keskustelleet TensorLayerista, python-pohjaisesta kirjastosta, joka toimii siltana. TensorLayer tarjoaa muiden kirjastojen tapaan korkean tason kerroksen abstraktion, mutta myös päästä päähän -työnkulun, joka sisältää monipuolisen tiedon esikäsittelyn, koulutuksen, jälkikäsittelyn, käyttömoduulit ja tietokannan hallinnan, jolloin kehittäjät voivat rakentaa täydellisen oppimisjärjestelmä kokeiluvaiheesta lopputuotteeseen.
