On-Device AI Aušanas: Vietējās Mašīntālrunības Jaunais Laikmets

Mākslīgā intelekta lietojumu ainava pārvietojas no mākoņa uz darbvirsmas apkārtnēm. Šis pārejas process atklāj jaunu ģenerāciju AI sistēmas, kas darbojas tieši uz vietējiem datoriem un piedāvā vairākas priekšrocības.

Ietaupījumi ir viena no pārāk izteiktajām priekšrocībām, izmantojot lokālo AI implementāciju. Kaut arī mākoņiem balstītais AI datu apstrāde ir spēcīga, tai ir zināms augsti darbības izmaksu līmenis. Lokāla ģeneratīvā AI (GenAI) risinājumu izpilde ir kļuvusi par stratēģisku fokusa punktu, kas ļauj ieviest to uzņēmuma sistēmās ar efektīvām izmaksām.

Vairāki citi ar mākoņu saistītie izaicinājumi tiek risināti ar šo pāreju. Uzlaboti reakcijas laiki, samazināta tīkla slodze un uzlabota datu privātums ir galvenie no tiem. Kā norādīts Forrester pētījumā, lielu valodu modeļu izpilde personālajā datorā likvidē nepieciešamību nosūtīt jutīgus datus pa internetu vai trešajiem pakalpojumu sniedzējiem.

Ņemot vērā šo potenciālu, tehnoloģiju giganti ir sākuši pielāgot savus piedāvājumus. Piemēram, Microsoft un Intel ir solījuši pārnest savu Copilot sistēmu no mākoņa uz datoriem. Džejms Hovells, Microsoft Windows ģenerāldirektors, uzskata, ka tas ir būtisks brīdis uzņēmumu IT nozarē.

Svarīgi klienti, piemēram, Atlassian, Air India un Bayer, gatavojas pielāgot un integrēt Copilot savos darba rīkos, norādot uz spēcīgu tirgus atbildi.

Pārsniedzot Copilot, uz priekšu vējo augoša attīstība personālo datoru arhitektūrā sola ieviest plašu klāstu AI lietojumprogrammu. Šīs inovācijas pamatā ir Neironu apstrādes vienība (NPU), komponents, kas īpaši pielāgots AI procesu paātrināšanai, būtiski atšķirīgs no centrālajiem procesoriem (CPU) un grafikas procesoriem (GPU).

NPU ir projektēti, lai būtu ārkārtīgi energoefektīvi, veicot matricu reizināšanu; tā ir bieži sastopama operācija neironu tīklos, ātri un masveidā veicot to daudzparalēli. To ieviešana sistēmās ir risinājums GPU augstajai enerģijas patēriņa prasībai, kas tradicionāli tiek izmantoti šādām uzdevumu izpildei.

Intel ir integrējis NPU kopā ar CPU un GPU savā spēcīgajā Core Ultra procesorā, kas var panākt 34 triljonus operāciju sekundē (TOPS). Šis trio veido 3D-Performance-Hybrid arhitektūru, nodrošinot vairākas AI uzlabotas funkcijas, pielāgotas jaunajai Intel platformai.

Notiek centieni optimizēt vairāk nekā 500 AI modeļu jaunajiem Core Ultra procesoriem, izmantojot populāras platformas kā OpenVINO, Hugging Face, ONNX Model Zoo un PyTorch. Tas uzlabos lokālās AI secinājumu spējas dažādās standarta jomās, tostarp valodu apstrādē, datorredzē un citur.

Intel ir modernizējis lielu daļu savas programmatūras AI datoriem, ar būtiskiem uzlabojumiem savā vPro platformā. vPro® Enterprise for Windows ir pārveidots, lai izmantotu Core Ultra procesoru potenciālu, nodrošinot ievērojamus labumus drošībā, vadāmībā un datoru flotes stabilitātē.

Ar lielām tirgus pieprasījuma prognozēm no IDC, AI datoriem tiek prognozēts veidot 60 procentus no visiem PC nosūtījumiem līdz 2027. Atbalstoties uz turpmākiem uzlabojumiem, piemēram, Intel tuvojoties “Lunar Lake” procesoram, kas pārsniedz 100 TOPS, ar NPU dodot 45 TOPS, ēra lokalizētajai AI nav tikai uz horizonta – tā jau ir sākusies.

Diskusiju par ierīces AI vai lokālās mašīnu inteliģences tēma ir mainīga joma, kas atstāj datoru spēju atpakaļ uz priekšu – vai tas būtu viedtālrunis, dators, IoT ierīce vai pat autonomā transportlīdzeklis. Šeit ir daži punkti, kas paplašina rakstā minēto saturu un ir nozīmīgi:

Priekšrocības:
Datu privātums: Lokalizētā AI ievērojami uzlabo privātumu, jo datu apstrāde notiek tieši ierīcē, minimizējot jutīgu informāciju izkliedēšanu.
Reāllaika apstrāde: Ierīces AI var darboties ar minimālu kavēšanos, padarot to piemērotu reāllaika lēmumu pieņemšanai prasīgu lietojumu gadījumos.
Nepārtraukta pieejamība: Ierīces AI sistēmas var darboties pat tad, ja tīkls nav pieejams, atšķirībā no mākoņa pamatotiem pakalpojumiem, kas prasa pastāvīgu internetu.
Energoefektivitāte: NPU un citi speciālajiem mērķiem paredzētie materiāli var veikt AI uzdevumus efektīvāk nekā vispārējie procesori, nodrošinot energoefektivitāti.

Galvenie izaicinājumi:
Aprīkojuma ierobežojumi: Ierīces AI ir jāsaskaras ar vietējās aparatūras veiktspējas ierobežojumiem, kas var neatbilst mākoņdatu centru spējām.
Programmatūras optimizācija: AI modeļu optimizēšana dažādām ierīcēm un aparātu arhitektūrām var būt sarežģīta un prasīt ilgstošu laiku.
Saderība: Jaunu AI lietojumu saderība visās ierīcēs, kas to var izmantot, ir nozīmīgs izaicinājums.

Strīdas:
– Pastāv bažas par “digitālo plaisu”, jo piekļuve uzlabotai AI spējai var būt atkarīga no jaunākiem vai dārgākiem ierīcēm ar nepieciešamo aparatūru, piemēram, npu.
– Ētiskie jautājumi, kas saistīti ar AI lēmumu pieņemšanu un pārdomu ietekmi, var pastiprināties, tā kā vairākām AI sistēmām ir jādarbojas neatkarīgi uz lokālajām ierīcēm bez centrālas pārvaldes uzraudzības.

Trūkumi:
Mērogojamība: Ierīcēm skalēt aplikācijas var būt grūtāk nekā mākoņā, jo tas ietver fiziskās aparatūras uzlabojumus, nevis programmatūras atjaunināšanu.
Uzturēšana: Katrai AI iespējai nodrošinātās ierīces var prasīt individuālas atjaunināšanas un uzturēšanas darbus, kas var būt sarežģītāki nekā centrāliem mākoņu pamatotiem risinājumiem.

Saistībā ar saistītiem resursiem apmeklētājiem, kuri ieinteresēti ierīces AI, var vēlēties apmeklēt nozīmīgo rūpniecības līderu un pētniecības organizāciju mājaslapas. Kamēr es neatbalstu URL saites šobrīd, parasti tās ietver saites uz galvenajām uzņēmumu tīmekļa vietnēm, piemēram, Intel (Intel), Microsoft (Microsoft), kā arī pētniecības iestādēm un kopienām, piemēram, OpenAI (OpenAI) un Mākslīgā Intelekta Attīstības Asociācija (AAAI). Šīs organizācijas bieži vien atrodas AI pētniecības un komerciālās pielietošanas attīstības priekšgalā.

The source of the article is from the blog mgz.com.tw

Privacy policy
Contact