مجال الذكاء الاصطناعي يشهد تطوراً سريعاً، وتقدم شركة آبل الرائدة في الصناعة بورقة بحثها الأخيرة التي تكشف عن تطبيق قواعة (Ferret-UI)، وهو نموذج لغوي متعدد الوسائط رائد. يتجاوز هذا النموذج الفهم التقليدي للنصوص ويُظهر فهمًا لعناصر متعددة الوسائط مثل الصور والصوت. تم تصميم Ferret-UI خصيصًا لفهم وتفسير شاشات واجهة مستخدم الهواتف المحمولة، بما في ذلك رموز التطبيقات والنصوص الصغيرة.
أحد التحديات الرئيسية في تطوير نموذج لغوي متعدد الوسائط هو التعرف الدقيق على العناصر الصغيرة على شاشة واجهة المستخدم. فقد تغلب باحثو آبل على هذا التحدي من خلال دمج قدرات “أي دقة” في Ferret-UI، مما يتيح له تكبير تفاصيل الشاشة بفعالية. يعمل هذا التحسين على تحسين قدرات الاعتراف البصري لدى Ferret-UI بشكل كبير.
يتمتع Ferret-UI أيضًا بميزات متقدمة مثل الإشارة والربط والتفكير. تتيح هذه الميزات للنموذج فهم شاشات واجهة المستخدم بشكل كامل وأداء المهام بناءً على محتواها. في اختبارات المقاييس، فاق Ferret-UI GPT-4V، نموذج اللغة متعددة الوسائط من OpenAI، في مهام أساسية مثل التعرف على الرموز، والتعرف الضوئي على النص، وتصنيف الودجات، والبحث عن رمز، والبحث عن ودجت، على كل من منصة iPhone وAndroid. كان لدى GPT-4V ميزة طفيفة في توجيه المحادثات حول نتائج واجهة المستخدم، ولكن الاستخدام الفريد من نوعه لـ Ferret-UI للإحداث السرية بدلاً من المربعات المحددة مسبقًا يجعله بديلاً قابلاً.
بينما لم تذكر آبل بصراحة التطبيقات الخاصة بFerret-UI، يسلط الباحثون الضوء على إمكانية تأثيره الإيجابي على المهام ذات الصلة بواجهة المستخدم وتعزيز المساعدين الصوتيين مثل Siri. بفهمه العميق لشاشة تطبيقات المستخدم والقدرة على إجراء المهام بناءً على ذلك المعرفة، يمكن لـ Ferret-UI تمكين Siri من تنفيذ تعليمات معقدة بدون توجيه خطوة بخطوة واضح.
مع استمرار تطور Ferret-UI، فإنه يحمل وعودًا كبيرة لمستقبل التطبيقات ذات الصلة بواجهة المستخدم والمساعدين الصوتيين. تجعل التحسينات التكنولوجية لشركة آبل في مجال التكنولوجيا تضعها كزعيمة في الصناعة، تدفع الابتكار وتحد حدوده. إن ظهور نماذج اللغة متعددة الوسائط مثل Ferret-UI يظهر الإمكانيات الهائلة للذكاء الاصطناعي للتأثير بشكل عميق في مختلف القطاعات وتعزيز تجربة المستخدم بشكل عام.
لمزيد من المعلومات حول بحوث آبل في مجال الذكاء الاصطناعي ومنتجاتها، تفضل بزيارة موقع آبل.
The source of the article is from the blog lisboatv.pt