Peisajul aplicațiilor de inteligență artificială se schimbă de la cloud către mediile desktop. Această schimbare anunță o nouă generație de sisteme de IA care rulează direct pe mașinile locale, oferind o serie de beneficii.
O cost eficacitate reprezintă un avantaj prominent al implementării IA locale. În timp ce computația IA bazată pe cloud este puternică, este cunoscută și pentru costurile ridicate de operare. Execuția locală a soluțiilor de IA generativă (GenAI) a devenit astfel un focus strategic pentru implementările eficiente din punct de vedere al costurilor la nivelul întreprinderii.
Mai multe alte provocări asociate cu IA cloud sunt abordate, de asemenea, de această schimbare. Timpurile de răspuns îmbunătățite, utilizarea redusă a rețelei și protecția datelor îmbunătățită sunt principalele avantaje ale acesteia. Așa cum este evidențiat într-un studiu de cercetare Forrester, rularea modelelor de limbaj mari pe un calculator personal elimină necesitatea de a trimite date sensibile peste internet sau către furnizorii de servicii terțe.
Recunoscând acest potențial, giganții din domeniul tehnologiei au început să-și adapteze ofertele. Companii precum Microsoft și Intel, spre exemplu, s-au angajat să-și mute sistemul Copilot de la cloud la PC. James Howell, Directorul General al Windows de la Microsoft, consideră aceasta ca fiind un moment crucial pentru IT-ul întreprinderilor.
Clienți importanți precum Atlassian, Air India și Bayer sunt pe cale să personalizeze și să integreze Copilot în instrumentele lor de afaceri, indicând o receptivitate solidă pe piață.
În afara Copilot-ului, o dezvoltare interesantă în arhitectura calculatoarelor personale promite să faciliteze o gamă largă de aplicații de IA. În centrul acestei inovații se află Unitatea de Procesare Neurală (NPU), un component specializat în accelerarea încărcăturilor de lucru AI, fundamental diferit de CPU-uri și GPU-uri.
NPUs sunt proiectate pentru a fi extrem de eficiente energetic în timp ce execută înmulțiri de matrice, o operațiune esențială în rețelele neuronale, la viteze ridicate și pe o scară masiv paralelă. Integrarea lor în sisteme reprezintă o soluție la cerințele ridicate de putere ale GPU-urilor care sunt tradițional folosite pentru astfel de sarcini.
Intel a integrat un NPU alături de CPU și GPU în puternicul lor procesor Core Ultra, capabil să realizeze 34 de trilioane de operații pe secundă (TOPS). Această triadă formează arhitectura hibridă de performanță 3D, oferind o multitudine de funcții îmbunătățite cu IA adaptate pentru noua platformă Intel.
Eforturi sunt în desfășurare pentru optimizarea a peste 500 de modele de IA pentru noile procesoare Core Ultra, facilitată de platforme populare precum OpenVINO, Hugging Face, ONNX Model Zoo și PyTorch. Acest lucru va îmbunătăți capacitățile locale de inferență AI în diverse domenii standard, inclusiv procesarea limbajului, viziunea computerizată și altele.
Intel a actualizat mare parte din software-ul său pentru PC-uri cu IA, realizând progrese semnificative în platforma vPro. vPro® Enterprise for Windows a fost reimaginat pentru a exploata potențialul procesoarelor Core Ultra, oferind beneficii puternice în securitate, gestionarea și stabilitatea flotei de PC-uri.
Cu o mare cerere de pe piață prognozată de IDC, PC-urile cu IA sunt proiectate să reprezinte 60% din toate livrările de PC-uri până în 2027. Consolidată de progresele în curs, cum ar fi noul procesor „Lunar Lake” al Intel așteptat să depășească 100 TOPS, cu NPU-ul contribuind cu 45 TOPS, era IA locală nu este doar la orizont – a început deja.
Tema inteligenței artificiale la nivel de dispozitiv sau de mașină locală este un domeniu în evoluție care aduce capacitatea de calcul înapoi la margine – fie că este vorba de un smartphone, PC, dispozitiv IoT sau chiar un vehicul autonom. Iată câteva puncte care extind conținutul articolului și care ar putea fi relevante:
– Avantaje:
– Confidențialitatea datelor: IA localizată îmbunătățește semnificativ confidențialitatea, deoarece procesarea datelor se realizează direct pe dispozitiv, minimizând expunerea informațiilor sensibile.
– Procesare în timp real: IA la nivel de dispozitiv poate funcționa cu o latență minimă, făcându-l potrivit pentru aplicațiile care necesită luarea deciziilor în timp real.
– Disponibilitate constantă: Sistemele AI la nivel de dispozitiv pot funcționa chiar și fără conexiune la internet, spre deosebire de serviciile bazate pe cloud care necesită o conexiune constantă la internet.
– Eficiență energetică: NPUs și alte componente hardware specializate pot realiza sarcini AI mai eficient decât procesoarele generale, ducând la economii de energie.
– Provocări Cheie:
– Limitările hardware-ului: IA la nivel de dispozitiv trebuie să se confrunte cu constrângerile de performanță ale hardware-ului local, care s-ar putea să nu se potrivească cu capacitățile centrului de date cloud.
– Optimizarea software-ului: Optimizarea modelelor AI pentru diferite dispozitive și arhitecturi hardware poate fi complexă și consumatoare de timp.
– Compatibilitate: Asigurarea compatibilității noilor aplicații AI pe o varietate largă de dispozitive care ar putea să le utilizeze reprezintă o provocare semnificativă.
– Controverse:
– Există preocupări legate de „diviziunea digitală,” deoarece accesul la capacități de AI avansate ar putea depinde de deținerea de dispozitive mai noi sau mai scumpe echipate cu hardware-ul necesar cum ar fi NPUs.
– Problemele etice legate de luarea deciziilor de AI și de prejudecăți ar putea fi exacerbate pe măsură ce mai multe sisteme AI operează independent pe dispozitive locale fără supervizare centralizată.
– Dezavantaje:
– Scalabilitate: Scalarea aplicațiilor la nivel de dispozitiv poate fi mai dificilă decât în cloud, deoarece implică actualizări hardware fizice în loc de actualizări software.
– Mentenanță: Fiecare dispozitiv activat cu AI poate necesita actualizări și mentenanță individuale, ceea ce poate fi mai complex decât gestionarea unei soluții centralizate bazate pe cloud.
În ceea ce privește resursele relevante, vizitatorii interesați de AI la nivel de dispozitiv ar putea dori să viziteze paginile principale ale liderilor din industrie și ale organizațiilor de cercetare. În timp ce nu pot verifica URL-urile în prezent, acestea ar include în mod obișnuit linkuri către principalele site-uri web ale companiilor precum Intel (Intel), Microsoft (Microsoft), precum și instituții de cercetare și comunități cum ar fi OpenAI (OpenAI) și Asociația pentru Avansarea Inteligenței Artificiale (AAAI). Aceste organizații sunt adesea în fruntea cercetării în domeniul AI și al dezvoltării aplicațiilor comerciale.
The source of the article is from the blog smartphonemagazine.nl