Введення Ferret-UI, багатомодельної великої мовної моделі (MLLM) від Apple, може перевернути уявлення про розуміння та навігацію мобільними інтерфейсами. Ця новаторська технологія розуміє унікальні елементи дисплеїв смартфонів, такі як різні формати відображення та компактні значки та кнопки, що дозволяє отримати більш спроможний та інтуїтивний досвід користувача з Siri.
Ferret-UI пройшов обширне навчання на широкому спектрі завдань інтерфейсу користувача, включаючи впізнавання значків, ідентифікацію тексту та класифікацію віджетів. Це комплексне навчання дозволяє Ferret-UI не лише розуміти візуальний контент на екрані смартфона, а й навігувати з його допомогою за вказівками користувача.
Застосування цієї першовідкривальної технології різноманітні. Розробники додатків можуть скористатися Ferret-UI для тестування можливостей використання своїх творінь перед доступністю для загальної громадськості. Крім того, високорозвинені функції читання екрану цього штучного інтелекту можуть значно покращити функціональні можливості доступності, дозволяючи йому інтерпретувати вміст екрану та виконувати дії, відповідні індивідуальним потребам користувачів.
Однією з найцікавіших можливостей, які пропонує Ferret-UI, є перспектива високорозвиненого Siri, яка зможе без зусиль навігуватися через додатки та виконувати складні завдання за голосовими командами. Користувачі можуть попросити Siri забронювати авіаквиток, замовити їжу або запланувати зустрічі, не витрачаючи час на ручне навігування через різні додатки.
Плани Apple з впровадження Ferret-UI залишаються невідомими. Однак компанія продовжує активно працювати в галузі досліджень штучного інтелекту. Генеральний директор Тім Кук намекнув на можливість поділитися більш детальною інформацією про роботу Apple в області ШІ пізніше цього року, що спричинило спекуляції про те, що на майбутньій Конференції світових розробників у червні можуть бути зроблені значні анонси, пов’язані із штучним інтелектом.
Для отримання додаткової інформації про досягнення Apple в галузі ШІ та інші пов’язані теми відвідайте офіційний веб-сайт компанії.
The source of the article is from the blog lisboatv.pt