Il paesaggio delle applicazioni di intelligenza artificiale sta spostandosi dal cloud verso gli ambienti desktop. Questa transizione segna l’inizio di una nuova generazione di sistemi di intelligenza artificiale che vengono eseguiti direttamente sulle macchine locali, offrendo una serie di vantaggi.
La convenienza è uno dei principali vantaggi della distribuzione di AI locale. Mentre il calcolo basato sul cloud è potent, è anche noto per gli alti costi operativi. L’esecuzione locale delle soluzioni AI generative (GenAI) è quindi diventata un’area strategica per una distribuzione aziendale efficiente dal punto di vista dei costi.
Diversi altri problemi associati all’AI basata su cloud sono affrontati da questo spostamento. Tempi di risposta migliorati, riduzione dello stress sulla rete e miglioramento della privacy dei dati sono tra i principali. Come evidenziato in uno studio di ricerca di Forrester, l’esecuzione di modelli di linguaggio complessi su un computer personale elimina la necessità di inviare dati sensibili su Internet o a fornitori di servizi di terze parti.
Riconoscendo questo potenziale, i colossi tecnologici hanno iniziato ad adattare le loro offerte. Microsoft e Intel, ad esempio, si sono impegnati a trasferire il loro sistema Copilot dal cloud al PC. James Howell, General Manager di Windows di Microsoft, percepisce questo come un momento cruciale per l’IT aziendale.
Grandi clienti come Atlassian, Air India e Bayer si stanno preparando a personalizzare e integrare Copilot nei loro strumenti aziendali, indicando un forte interesse di mercato.
Oltre a Copilot, uno sviluppo eccitante nell’architettura del personal computing promette di facilitare una vasta gamma di applicazioni di AI. Al centro di questa innovazione si trova l’Unità di Elaborazione Neurale (NPU), un componente progettato appositamente per accelerare i carichi di lavoro AI, fondamentalmente diverso dalle CPU e dalle GPU.
Le NPU sono progettate per essere incredibilmente efficienti dal punto di vista energetico mentre eseguono moltiplicazioni di matrici, un’operazione fondamentale nelle reti neurali, a elevate velocità e su una scala estremamente parallela. La loro introduzione nei sistemi rappresenta una soluzione alle elevate richieste energetiche delle GPU tradizionalmente utilizzate per compiti del genere.
Intel ha integrato un’NPU insieme a CPU e GPU nel loro robusto processore Core Ultra, in grado di eseguire 34 trilioni di operazioni al secondo (TOPS). Questo trio forma l’architettura ibrida 3D-Performance-Hybrid, che potenzia una moltitudine di funzioni potenziate da AI adattate alla nuova piattaforma Intel.
Sono in corso sforzi per ottimizzare oltre 500 modelli di AI per i nuovi processori Core Ultra, facilitati da piattaforme popolari come OpenVINO, Hugging Face, ONNX Model Zoo e PyTorch. Ciò migliorerà le capacità di inferenza di AI locali in vari settori standard, inclusi l’elaborazione del linguaggio e la visione artificiale.
Intel ha aggiornato gran parte del suo software per i PC AI, con profondi miglioramenti nella sua piattaforma vPro. vPro® Enterprise for Windows è stato riavviato per sfruttare il potenziale dei processori Core Ultra, offrendo vantaggi significativi in termini di sicurezza, gestibilità e stabilità della flotta di PC.
Con una vasta domanda di mercato prevista da IDC, si prevede che i PC AI costituiranno il 60% di tutte le spedizioni di PC entro il 2027. Supportato dai continui sviluppi, come il prossimo processore “Lunar Lake” di Intel destinato a superare 100 TOPS, con l’NPU che contribuisce 45 TOPS, l’era dell’AI localizzata non è solo all’orizzonte, ma è già iniziata.
Il tema dell’AI on-device o dell’intelligenza artificiale localizzata è un campo in evoluzione che riporta la capacità di calcolo al di fuori del data center, sia che si tratti di uno smartphone, di un PC, di un dispositivo IoT o persino di un veicolo autonomo. Ecco alcuni punti che ampliano i contenuti dell’articolo e che potrebbero essere rilevanti:
– Vantaggi:
– Privacy dei dati: L’AI localizzata migliora notevolmente la privacy poiché l’elaborazione dei dati avviene direttamente sul dispositivo, riducendo al minimo l’esposizione delle informazioni sensibili.
– Elaborazione in tempo reale: L’AI on-device può operare con una latenza minima, rendendola adatta per applicazioni che richiedono decisioni in tempo reale.
– Disponibilità costante: I sistemi AI on-device possono funzionare anche offline, a differenza dei servizi basati su cloud che richiedono una connessione Internet costante.
– Efficienza energetica: Le NPU e altre componenti hardware specializzate possono eseguire compiti AI in modo più efficiente rispetto ai processori generici, portando a un risparmio energetico.
– Principali sfide:
– Limitazioni hardware: L’AI on-device deve affrontare i vincoli prestazionali dell’hardware locale che potrebbero non corrispondere alle capacità dei data center basati su cloud.
– OTTimizzazione del software: Ottimizzare i modelli AI per i diversi dispositivi e le diverse architetture hardware può essere complesso e richiedere molto tempo.
– Compatibilità: Assicurare che le nuove applicazioni AI siano compatibili con la vasta gamma di dispositivi che potrebbero utilizzarle è una sfida significativa.
– Controversie:
– Ci sono preoccupazioni riguardanti il “digital divide”, poiché l’accesso a capacità avanzate di AI potrebbe dipendere dal possesso di dispositivi più recenti o costosi dotati dell’hardware necessario come le NPU.
– Le questioni etiche legate alla presa di decisioni da parte dell’AI e ai pregiudizi potrebbero essere esacerbate dal momento che sempre più sistemi di AI operano in modo indipendente su dispositivi locali senza supervisione centralizzata.
– Svantaggi:
– Scalabilità: Scalare le applicazioni on-device può essere più difficile che nel cloud poiché coinvolge aggiornamenti hardware fisici anziché aggiornamenti software.
– Manutenzione: Ogni dispositivo abilitato all’AI potrebbe richiedere aggiornamenti e manutenzione individuali, che possono essere più complessi rispetto alla gestione di una soluzione centralizzata basata su cloud.
Per quanto riguarda le risorse correlate, i visitatori interessati all’AI on-device potrebbero visitare le home page dei leader del settore e delle organizzazioni di ricerca. Anche se al momento non posso verificare gli URL, di solito questi includono link ai principali siti web di aziende come Intel (Intel), Microsoft (Microsoft), nonché istituti di ricerca e comunità come OpenAI (OpenAI) e l’Associazione per lo Sviluppo dell’Intelligenza Artificiale (AAAI). Queste organizzazioni sono spesso all’avanguardia della ricerca sull’AI e dello sviluppo di applicazioni commerciali.
The source of the article is from the blog macholevante.com