Polje umjetne inteligencije (AI) brzo napreduje, a Apple je na čelu sa svojim najnovijim istraživačkim radom koji otkriva Ferret-UI, revolucionaran multimodalni jezični model. Ovaj model ide dalje od tradicionalne tekstualne razumijevanja i pokazuje razumijevanje multimodalnih elemenata poput slika i zvuka. Ferret-UI je posebno dizajniran da razumije i interpretira korisničke mobilne sućelja (UI) ekrane, uključujući ikone aplikacija i male tekstove.
Jedan od ključnih izazova u razvoju multimodalnog jezičnog modela je točno identificiranje malih elemenata na UI ekranu. Istraživači iz Applea prevladali su taj izazov integriranjem mogućnosti “bilo koje rezolucije” u Ferret-UI, što mu omogućuje da učinkovito poveća detalje ekrana. Ova nadogradnja značajno poboljšava vizualne prepoznatljivosti Ferret-UI modela.
Ferret-UI također se ponosi naprednim značajkama poput referiranja, utemeljenja i sposobnosti zaključivanja. Ove značajke omogućuju modelu potpuno razumijevanje UI ekrana i obavljanje zadataka na temelju njihovog sadržaja. U benchmark testovima, Ferret-UI nadmašio je GPT-4V, multimodalni jezični model tvrtke OpenAI, u raznim osnovnim zadacima poput prepoznavanja ikona, OCR-a, klasifikacije widgeta, pronalaska ikona i pronalaska widgeta, i na iPhone i Android platformama. GPT-4V imao je blagu prednost u utemeljenju razgovora o pronalasku UI rezultata, ali Ferret-UI-jeva jedinstvena upotreba sirovih koordinata umjesto predefiniranih okvira pozicionira ga kao održivu alternativu.
Iako Apple nije izričito spomenuo specifične primjene za Ferret-UI, istraživači ističu njegov potencijal za pozitivan utjecaj na zadatke povezane s UI-jem i poboljšanje glasovnih asistenata poput Sirija. S dubokim razumijevanjem korisnikovog app ekrana i sposobnošću obavljanja zadataka temeljem te informacije, Ferret-UI bi mogao omogućiti Siriju da obavlja kompleksne upute bez eksplicitnih koraka. Ovaj napredak usklađen je s mijenjajućim pejzažem AI asistenata, gdje korisnici sve više traže asistente koji mogu autonomno obavljati zadatke. Apple-ov Ferret-UI bi mogao značajno doprinijeti razvoju kapacitetnijih i neovisnijih glasovnih asistenata, revolucionirajući način interakcije korisnika s AI tehnologijom.
Dok Ferret-UI nastavlja napredovati, nosi veliko obećanje za budućnost aplikacija povezanih s UI-jem i glasovnih asistenata. Apple-ov napredak u AI tehnologiji pozicionira tvrtku kao lidera u industriji, poticajući inovacije i gurajući granice. Pojava multimodalnih jezičnih modela poput Ferret-UI-ja pokazuje potencijal AI za duboko utjecanje na različite sektore i poboljšanje ukupnog korisničkog iskustva.
Za više informacija o Appleovim istraživanjima u AI-ju i njihovim proizvodima, posjetite Apple web stranicu.
Često Postavljana Pitanja (FAQ)
The source of the article is from the blog krama.net