Seuraava artikkeli auttaa sinua: Applen Vision Pro saattaa olla maailman ensimmäinen Brain Chip Interface (BCI)
Apple valloitti maailman, kun se julkisti kaikkien aikojen ensimmäisen “tilatietokoneensa”, jossa on Vision Pro. Vaikka useimmat ihmettelivät laitteen teknisiä tietoja ja sulavaa suunnittelua, yksi keskeinen näkökohta jäi huomaamatta: laitteen ohjausliittymä.
Tuotteen demon aikana monet sen käyttäjät ohjasivat laitetta pelkillä käsillään, kiitos laitteen pohjaan asennettujen syvyysantureiden. Apple kuitenkin paljasti sitten, että ensisijainen tapa liittyä laitteeseen olisi silmien kautta.
Kuulokkeiden sisäpuolelle asennettu sisäinen kameraryhmä pystyisi mittaamaan tarkasti, mitä tuloa käyttäjä haluaa havaita hänen silmiensä liikkeet. Apple kuitenkin käytti koneoppimistaikaa saadakseen järjestelmän toimimaan johdonmukaisesti ja tarkasti. Nämä algoritmit voivat luoda perustan tuleville aivotietokonerajapinnoille (BCI) ja tehdä Apple Vision Prosta proto-BCI:n.
5000 patenttia syystä
Aivotietokonerajapinnat ovat olleet pitkään sci-fi-unelma, joista tunnetuin esimerkki on Elon Muskin Neuralink. Tämän BCI:n tarkoituksena on työskennellä kirurgisesti istuttamalla siru ihmisen aivoihin, jolloin se voi muuntaa ajatukset ohjelmistokäskyiksi. Nyt näyttää kuitenkin siltä, että Apple on löytänyt tavan ei-invasiivisesti havaita ihmisen ajattelua yhdistämällä neuroteknologisia ratkaisuja koneoppimisalgoritmeihin.
Tarkasteltaessa Applen Vision Pro -kuulokemikrofonille hakemia patentteja voimme nähdä, että yritys on jättänyt patentin nimeltä “eye-gaze based biofeedback”. Tämän Euroopassa jätetyn patentin tarkoituksena on määrittää käyttäjän tarkkaavaisuus, kun hän katselee tietyntyyppistä sisältöä. Apple on ilmoittanut, että tätä voidaan käyttää XR-kokemusten käyttäjien biopalautteen seurantaan, mikä puolestaan voi tehdä kokemuksista rikkaampia.
Patentissa esitetty esimerkki osoittaa, että käyttäjien tarvitsema vuorovaikutus on mahdollista ennustaa heidän pupillien laajentumisen perusteella. Myös käyttöliittymäelementin väri voi muuttua sen mukaan, mikä väri laukaisee paremman pupillivasteen, mikä varmistaa järjestelmän paremman onnistumisen. Samoin on haettu patentteja myös järjestelmälle, joka voi määrittää käyttäjän tilan havaitsemalla valomuutosten vaikutuksen käyttäjän pupilliin. Tämän avulla järjestelmä voi määrittää, onko käyttäjä välinpitämätön, ja jos on, lisätä tietyn käyttöliittymäelementin tai sisällön osan luminanssia käyttäjän huomion säilyttämiseksi.
Oppilaat ovat vain yksi Applen tutkijoiden tapa määrittää käyttäjien mielentila. Patentti haettiin myös “äänipohjaiselle tarkkaavaisen tilan arvioinnille”, jolla voidaan arvioida käyttäjien reaktiota ääneen henkisen tilan määrittämiseksi. Anturit voivat myös käyttää muita mittauksia, kuten sydämenlyöntejä, lihastoimintaa, verenpainetta ja aivojen sähköistä toimintaa, saadakseen lisätietoja.
Patenttien kautta maalatun hajanaisen kuvan avulla voimme arvioida Vision Pron käyttöliittymän muotoa. Esimerkiksi nämä biopalautteen arviointijärjestelmät voisivat toimia rinnakkain ja välittää tietoa käyttäjän mielentilasta takaisin kuulokkeisiin rinnakkain. Näin tietokone voi muodostaa kattavamman kuvan siitä, mitä käyttäjä “ajattelee” tai “tuntuu”, jolloin se voi säätää sisältöä vastaavasti.
Näiden patenttien johtava keksijä on Sterling Crispin, Apple Vision Pron neuroteknologian parissa työskentelevä ohjelmistoinsinööri. Twiitissä hän syventyi tähän käyttöliittymään ja totesi,
“Muihin temppuihin kognitiivisen tilan päättelemiseksi sisältyi visuaalien tai äänien nopea vilkkuminen käyttäjälle tavoilla, joita hän ei ehkä havaitse, ja sitten hänen reaktion mittaaminen siihen… Se on karkea aivotietokoneliittymä silmien kautta, mutta erittäin siistiä.”
BCI:n tie eteenpäin?
Kuten Crispin totesi, tämä on suositeltava tapa olla yhteydessä tietokoneisiin invasiivisen aivoleikkauksen sijaan. Itse asiassa ongelmat, joita Musk on kohdannut Neuralinkin kanssa, kuten suuri määrä tapettuja eläimiä ja vaikeudet päästä ihmiskokeisiin, osoittavat vain, kuinka paljon työtä on vielä tehtävä todellisen BCI:n eteen.
Vision Pron ratkaisu ei ole vain selkeästi Applen ratkaisu, vaan se on myös edelläkävijä siinä, miten tulemme olemaan vuorovaikutuksessa tietokoneiden kanssa tulevaisuudessa. Tekoäly ja ML ovat suurin tekijä orgaanisten aivojen ja epäorgaanisten prosessorien välisen kuilun kuromisessa.
Otetaan esimerkiksi äänitulot. Aiemmin vaikea ratkaistava ongelma, joka vaati useita tehokkaita laskentaresursseja, on nyt mahdollista jopa huippuluokan laitteissa, kuten matkapuhelimissa, niiden laitteiden prosessointiominaisuuksien ansiosta. Tämä edistys oli mahdollista myös kevyiden puheen tekstiksi -algoritmien ansiosta, jotka paranevat ajan myötä.
Yhdistämällä koneoppimisalgoritmit erittäin kehittyneisiin antureisiin ja skannereihin, Vision Pro pystyy lukemaan käyttäjien mielentilan ja luokittelemaan sen aivotietokoneen käyttöliittymäksi. Samalla tavalla kuin STT-algoritmit mullistavat äänirajapintoja, näyttää siltä, että Crispinin ja Applen tutkimuksella on potentiaalia mullistaa visuaalisia käyttöliittymiä. Lisäksi tämän tekniikan tulevaisuudesta voi tulla paras tapa olla vuorovaikutuksessa tietokoneiden kanssa, jolloin näppäimistöt ja hiiret jäävät pölyyn.
