Apple er på forkant med kunstig intelligens (AI) og har netop offentliggjort en banebrydende multimodal sprogmodel kaldet Løven-UI. Denne model går ud over traditionelle tekstforståelsesmodeller og demonstrerer en forståelse for multimodale elementer såsom billeder og lyd.
Løven-UI er specifikt designet til at forstå og fortolke mobile brugergrænsefladeskærme, herunder app-ikoner og små tekstelementer. En af de udfordringer, man står over for i udviklingen af en multimodal sprogmodel, er at identificere små elementer præcist på en brugergrænsefladeskærm. Apple’s forskere har overvundet denne udfordring ved at integrere “enhver opløsning”-funktioner i Løven-UI, hvilket gør det muligt at forstørre skærmdetaljer effektivt.
Udover dets forbedrede visuelle genkendelsesevner praler Apple’s Løven-UI med henvisnings-, forankrings- og resoneringsevner. Disse avancerede funktioner muliggør, at modellen fuldt ud forstår brugergrænsefladeskærme og udfører opgaver baseret på deres indhold. I benchmarktests overgik Løven-UI GPT-4V, OpenAI’s multimodale sprogmodel, i forskellige grundlæggende opgaver såsom ikonerkendelse, OCR, widgetklassificering, find ikon og find widget på både iPhone og Android-platforme.
Selvom Apple ikke eksplicit har nævnt de specifikke applikationer til Løven-UI, fremhæver forskerne dens potentiale til at påvirke UI-relaterede opgaver positivt og forbedre stemmeassistenter som Siri. Med sin dybe forståelse for en brugers app-skærm og evnen til at udføre opgaver baseret på denne viden, kunne Løven-UI muliggøre, at Siri udfører komplekse instruktioner uden eksplicit trin-for-trin vejledning.
Mens Løven-UI fortsætter med at udvikle sig, rummer den store løfter for fremtiden for UI-relaterede applikationer og stemmeassistenter. Apples fremskridt inden for AI-teknologi positionerer virksomheden som en leder i branchen, der driver innovation og udfordrer grænserne. Fremkomsten af multimodale sprogmodeller som Løven-UI demonstrerer AI’s potentiale til at påvirke forskellige sektorer dybtgående og forbedre den generelle brugeroplevelse.
For mere information om Apples forskning inden for AI og deres produkter, besøg Apple’s hjemmeside.
The source of the article is from the blog radardovalemg.com