Krajobraz zastosowań sztucznej inteligencji przesuwa się z chmury w kierunku środowisk desktopowych. Ten przełom zapowiada nową generację systemów SI, które działają bezpośrednio na maszynach lokalnych, oferując szereg korzyści.
Opłacalność to jedna z głównych zalet lokalnego wdrożenia SI. Chociaż obliczenia SI w chmurze są potężne, słyną również z wysokich kosztów operacyjnych. Lokalne wykonanie rozwiązań Generative AI (GenAI) stało się zatem strategicznym celem dla opłacalnego wprowadzenia SI na szeroką skalę w przedsiębiorstwach.
Ten przejście rozwiązuje kilka innych wyzwań związanych z SI w chmurze. Poprawa czasów odpowiedzi, ograniczenie obciążenia sieci i zwiększona prywatność danych są głównymi z nich. Jak podaje raport badawczy Forrester, uruchamianie dużych modeli językowych na komputerze osobistym eliminuje konieczność przesyłania wrażliwych danych poza internetem lub do dostawców usług zewnętrznych.
Biorąc pod uwagę ten potencjał, giganci technologiczni zaczęli adaptować swoje oferty. Microsoft i Intel zobowiązały się na przykład przenieść swój system Copilot z chmury na komputer PC. James Howell, dyrektor generalny Windows w firmie Microsoft, postrzega to jako punkt zwrotny dla IT przedsiębiorstw.
Główni klienci, tacy jak Atlassian, Air India i Bayer, szykują się do dostosowania i zintegrowania Copilot do swoich narzędzi biznesowych, co wskazuje na silne przyjęcie na rynku.
Poza Copilot, ekscytujący rozwój architektury komputerów osobistych obiecuje ułatwienie szerokiej gamy zastosowań SI. Na sercu tej innowacji leży Procesor Przetwarzania Neuronowego (NPU), komponent specjalnie zaprojektowany do przyspieszania obciążeń SI, fundamentalnie inny od CPU i GPU.
NPU są zaprojektowane, aby być niesamowicie energooszczędne podczas wykonywania mnożeń macierzowych, operacji podstawowej w sieciach neuronowych, na dużych prędkościach i w skali masowo równoległej. Ich wprowadzenie w systemy jest rozwiązaniem dla wysokich wymagań energetycznych GPU, które tradycyjnie są używane do takich zadań.
Intel zintegrował NPU obok CPU i GPU w swoim wydajnym procesorze Core Ultra, zdolnym do osiągnięcia 34 trylionów operacji na sekundę (TOPS). Ten trójka tworzy architekturę 3D-Performance-Hybrid, umożliwiającą wielość funkcji zwiększonych SI dostosowanych do nowej platformy Intela.
Trwają prace nad zoptymalizowaniem ponad 500 modeli SI dla nowych procesorów Core Ultra, ułatwiane przez popularne platformy jak OpenVINO, Hugging Face, ONNX Model Zoo i PyTorch. To zwiększy zdolności wnioskowania SI na lokalnych maszynach w różnych standardowych dziedzinach, w tym przetwarzaniu języka, przetwarzaniu wizyjnym i innych.
Intel zaktualizował znaczną część swojego oprogramowania dla komputerów z SI, wprowadzając przełomowe udoskonalenia w platformie vPro. vPro® Enterprise for Windows został przemeblowany, aby wykorzystać potencjał procesorów Core Ultra, zapewniając znaczące korzyści w zakresie bezpieczeństwa, zarządzania i stabilności floty komputerów osobistych.
Według prognoz IDC, komputery PC z SI mają stanowić 60 procent wszystkich przesyłek PC do 2027 roku. Wzmacniane ciągłymi postępami, takimi jak nadchodzący procesor „Lunar Lake” Intela, którego wydajność ma przekroczyć 100 TOPS, z NPU przynoszącym 45 TOPS, era zlokalizowanej SI nie jest tylko na horyzoncie — już nastała.
Temat SI na urządzeniach lub zlokalizowanej inteligencji maszynowej to rozwijające się pole, które przywraca zdolność obliczeniową do brzegu — czy to smartfona, komputera PC, urządzenia IoT, czy nawet pojazdu autonomicznego. Oto kilka punktów rozszerzających treść artykułu, które mogą być istotne:
– Zalety:
– Prywatność danych: Lokalna SI znacząco poprawia prywatność, ponieważ przetwarzanie danych odbywa się bezpośrednio na urządzeniu, minimalizując narażenie wrażliwych informacji.
– Przetwarzanie w czasie rzeczywistym: SI na urządzeniu może działać z minimalnym opóźnieniem, co sprawia, że jest odpowiednie do zastosowań wymagających podejmowania decyzji w czasie rzeczywistym.
– Stała dostępność: Systemy SI na urządzeniach mogą działać nawet w trybie offline, w przeciwieństwie do usług opartych o chmurę, które wymagają stałego połączenia z internetem.
– Efektywność energetyczna: NPU i inne specjalizowane podzespoły mogą wykonywać zadania SI efektywniej niż ogólne procesory, prowadząc do oszczędności energii.
– Główne wyzwania:
– Ograniczenia sprzętowe: SI na urządzeniach musi zmierzyć się z ograniczeniami wydajności lokalnego sprzętu, które mogą nie odpowiadać możliwościom centrów danych w chmurze.
– Optymalizacja oprogramowania: Optymalizacja modeli SI dla różnych urządzeń i architektur sprzętowych może być złożona i czasochłonna.
– Kompatybilność: Zapewnienie kompatybilności nowych aplikacji SI z szerokim zakresem urządzeń, na których mogą być używane, stanowi znaczne wyzwanie.
– Kontrowersje:
– Istnieją obawy związane z „podziałem cyfrowym,” gdyż dostęp do zaawansowanych możliwości SI może zależeć od posiadania nowszych lub droższych urządzeń wyposażonych w odpowiedni sprzęt, takich jak NPU.
– Kwestie etyczne dotyczące podejmowania decyzji przez SI i uprzedzeń mogą ulec zaostrzeniu, ponieważ coraz więcej systemów SI działa niezależnie na lokalnych urządzeniach bez scentralizowanego nadzoru.
– Wady:
– Elastyczność: Skalowanie aplikacji na urządzeniach może być trudniejsze niż w chmurze, ponieważ wymaga aktualizacji sprzętu, a nie tylko oprogramowania.
– Utrzymanie: Każde urządzenie z SI może wymagać oddzielnych aktualizacji i konserwacji, co może być bardziej skomplikowane niż zarządzanie centralnym rozwiązaniem opartym o chmurę.
Jeśli chodzi o powiązane zasoby, odwiedzający zainteresowani lokalną SI mogą chcieć odwiedzić strony główne liderów branżowych i instytucji badawczych. Chociaż nie jestem w stanie zweryfikować adresów URL, zwykle znajdziesz tam linki do głównych stron internetowych firm takich jak Intel (Intel), Microsoft (Microsoft), a także instytucji badawczych i społeczności takich jak OpenAI (OpenAI) oraz Stowarzyszenia na Rzecz Postępu Sztucznej Inteligencji (AAAI). Te organizacje często znajdują się na czele badań nad SI i rozwoju zastosowań komercyjnych.
The source of the article is from the blog be3.sk