Ni kineski više neće biti problem - slušalice s mini kamerama čitaju, prevode i korisniku ‘govore‘ što vidi

Naočale s umjetnom inteligencijom i mini kamerama poput Ray-Ban Meta (predstavljene lani), RayNeo X3 Pro ili Xreal One Pro korisnicima služe kao pametni asistenti s raznim mogućnostima. Primarna namjena je ipak prepoznavanje objekata ispred sebe i brzo dobivanje informacija o njemu. Primjerice, AI u njima može reći o kojoj se biljci radi, tko je autor spomenika na nekog trgu, te uz pomoć OCR tehnologije čitati i prevoditi tekstove sa stranih jezika.

Ujedno predstavljaju revolucionarno pomagalo za osobe koje lošije vide pa koriste tehnologiju kako bi korisniku opisale svijet ispred njega, prepoznavali ključeve, novčanice i lica članova obitelji, ili naprosto uz pomoć mini zvučnika naglas pročitali naziv i sitnim brojkama ispisanu cijenu nekog proizvoda u trgovini. Cijene takvih naočala su relativno prihvatljive jer za Ray-Ban Meta s multimodalnim AI-jem treba u Europi platiti oko 470 eura, s time da inačice Display s ugrađenim ekranom koštaju 900 eura.

Problemi u praksi

Međutim, u praksi su se pojavila dva problema. Prvi je to što neki ljudi iz svekolikih razloga ne vole nositi naočale (žuljaju, smetaju na nosu, stakla se magle...) ako im baš nisu nužne. S druge strane se pokazalo da ljudi u okolini ponekad negativno reagiraju, smatrajući da ih ovi s naočalama snimaju ili fotografiraju bez njihova znanja i pristanka. Posebno se ugroženima osjećaju žene, strahujući da mogu postati meta čudaka i voajera. S tim u svezi neki kritičari ovakve uređaje nazivaju "perverznim naočalama" i traže uvođenje određenih pravila.

Prepoznavajući takve možebitne negativne strane uporabe pametnih naočala, skupina inovatora sa sveučilišta Washington pod vodstvom profesora Shyama Gollakote, našla je drukčije rješenje nazvano VueBuds. Oni su, naime, kamere veličine zrna riže integrirali u standardne bežične Sony WF-1000XM3 slušalice. Usto su im ugradili vizualno-jezični model VLM, što je izraz za vrstu umjetne inteligencije koja može istovremeno razumjeti te obrađivati slike i tekst. Na taj način korisnici slušalica mogu verbalno postavljati pitanja i dobivati odgovore o onome što vide.

Velika točnost odgovora

Gollakota je predstavnicima medija kazao da su VueBuds slušalice vrlo brze i za rad troše samo 5 milivata (mW). Nažalost, opremljene su crno-bijelim kamerama niske rezolucije. Istaknuo je da su još uvijek u fazi razvoja, ali su na opsežnim testiranjima pokazale zavidnu točnost. Preciznije rečeno, u testovima sa 16 sudionika, VueBuds je bio točan u oko 83 posto slučajeva tijekom identifikacije objekata i prevođenja, te čak 93 posto prilikom identificiranja naslova knjiga i autora.

– To znači da ćemo svi vrlo brzo čitati i prevoditi napise s kineskog ili nekih drugih jezika, a uređaj predstavlja uvjerljivu platformu za vizualnu inteligenciju s naprednim VLM mogućnostima na slušalicama, uređajima koje svi na svijetu nose - kazao je Gollakota.

Logično pitanje tiče se njihove pozicije na oba uha, ali inovatori iz sveučilišta kažu da zahvaljujući stereoskopskom vidu umjetna inteligencija VueBudsa spaja dvije odvojene slike kamere u jednu. Iskreno rečeno, njihova inovacija ipak ima ograničenja. Upotreba monokromatskih kamera znači da VueBuds ne može odgovoriti ni na jedno pitanje o bojama i zato se radi na implementaciji snažnijih kamera visoke rezolucije. Osim toga, sadašnja baterija ne može podnijeti kontinuirano strujanje velikih količina podataka s kamera za fotografije.

VueBuds slušalice koje odgovaraju na glasovna pitanja o onome što vidite, čitaju tekstove i prevode ih, trenutno se nalaze u fazi znanstvenog prototipa i na tržištu se očekuju tek 2027. godine.