Az Apple-kutatók nemrégiben jelentős áttörést értek el az mesterséges intelligencia (AI) területén azzal, hogy olyan rendszert fejlesztettek ki, amely teljes körűen képes megérteni és érzékelni a képernyőkörnyezetet. A ReALM (Reference Resolution As Language Modeling) néven ismert rendszer erőteljes nyelvi modelleket használ fel a referencia felbontás komplex feladatának megoldására, átalakítva azt egy tiszta nyelvi modellezési problémává. Ezáltal a ReALM lehetővé teszi az AI számára, hogy egyértelműen felismerje azoknak a képernyőn látható lényeknek a hivatkozásait, valamint a beszélgetésekből származó kontextusjelzéseket és háttérinformációkat, ami természetesebb interakciókat tesz lehetővé a hangfelismerőkkel.
Az összefüggés megértése, ideértve a hivatkozásokat is, alapvető fontosságú a konverzációs asszisztensek optimális működéséhez. Ennek a technológiai áttörésnek köszönhetően a felhasználók képesek arra, hogy bármiről kérdezzenek, amit a képernyőjükön látnak, valós „kézmentes” élményt biztosítva a hangfelismerők segítségével. A ReALM jelentős teljesítménynövekedést mutatott az egyéb módszerekhez képest, sőt még az általános feladatokban is felülmúlta a GPT-4-et.
A ReALM egyik jelentős újítása abban rejlik, hogy azonnal újraépíti a képernyő elrendezését az elemzett képernyőn látható entitások és azok helyzeteik felhasználásával, így egy szöveges reprezentációt hoz létre, amely pontosan rögzíti a vizuális elrendezést. Az elemzett nyelvi modellek finomhangolásával kifejezetten a referencia felbontásra összpontosítva a kutatók sikeresen demonstrálták a ReALM hatékonyságát a képernyőalapú hivatkozások kezelésében.
Bár az kutatási eredmények nagy ígéreteket hordoznak, fontos felismerni annak a korlátait, hogy kizárólag az automatizált képernyőelemzésre támaszkodunk. Az összetettebb vizuális hivatkozások kezelése, például több kép megkülönböztetése valószínűleg szükségessé teszi a számítógépes látás és a multimodális technikák bevezetését.
Az Apple AI kutatásában elért előrelépések jelentős szereppel bírnak, annak ellenére, hogy a vállalat lemarad a tech riválisok mögött az AI táján. Az Apple kutatólabjai jelentős lépéseket tettek multimodális modellek, AI által hajtott animációs eszközök és szakértői AI kifejlesztési területeken. Ezek a fejlesztések világosan illusztrálják az Apple elkötelezettségét abban, hogy javítsa a Siri és egyéb termékeket, hogy azok beszédesebbek legyenek és jobban értsék a kontextust.
Az Apple viszont erős versenyben áll olyan tech óriásokkal, mint a Google, Microsoft, Amazon és OpenAI, akik agresszívan felhasználták a generatív AI-t különböző területeken. Habár az Apple későn lépett be az AI piacra, jelentős pénzügyi forrásai, erős márkahűsége, kiváló mérnöki képességei és szorosan integrált termékportfóliója lehetőséget teremt számára arra, hogy behozza a lemaradást.
A júniusi Worldwide Developers Conference (WWDC) alkalmával az Apple arra számít, hogy bemutat egy új nagyméretű nyelvi modell keretrendszert, amelyet egy „Apple GPT” csevegőrobot kísér majd, bemutatva az AI által hajtott funkciókat az általuk fejlesztett ökoszisztéma részeként. Az Apple CEO-ja, Tim Cook, utalt a cégben folyó jelentős AI erőfeszítésekre, megerősítve az Apple elkötelezettségét a területen való fejlesztések iránt.
Ahogy az AI dominanciaért folyó verseny fokozódik, az Apple arra törekszik, hogy jelentős befolyással legyen az általánosan elterjedt, valóban intelligens számítástechnika hajnalának formálásában. Az AI kutatásban elért haladás, különösen a képernyőkörnyezet megértésében, közelebb hozza az Apple-t ennek a célnak a eléréséhez.
Gyakran Ismételt Kérdések (FAQ)
The source of the article is from the blog queerfeed.com.br