Nvidia har alliert seg med Microsoft for å frigi kraften til AI-drevne applikasjoner direkte på Nvidias RTX-grafikkort. På Computex 2024 avslørte selskapene sitt samarbeid om et Application Programming Interface (API) som lar utviklere utnytte forskjellige Small Language Models (SLMer)—som er viktige for Copilot+ runtime—på brukernes GPU-er i stedet for bare på en Neural Processing Unit (NPU).
SLMer brukt som grunnlag for funksjoner som Recall og Live Captions kan nå dra nytte av GPU-er med høyere generell AI-kapasitet. Denne utviklingen bryter med eksklusiviteten til AI-applikasjoner bundet til Copilot+ miljøet, og utvider rekkevidden til PC-er som ikke har den nødvendige NPU-en.
Tidligere krevde Copilot+-personlige datamaskiner en NPU som var i stand til å utføre minst 40 billioner operasjoner per sekund (TOPS). Inntil nå kunne bare Snapdragon X Elite-brikken oppfylle disse kravene. Imidlertid overstiger GPU-er disse kapasitetene, der selv lavere modeller når opptil 100 TOPS og høyere modeller langt overstiger dette.
Det nye API-et bringer Enhanced Retrieval Generation (ERG) kapasiteter til Copilot-runtime, som tillater AI-modeller å få tilgang til spesifikk lokal informasjon, og gir mer relevante løsninger, demonstrert tidligere i Nvidias Chat with RTX.
Utover API-et annonserte Nvidia RTX AI-verktøykassen på Computex. Satt til lansering i juni, kombinerer denne verktøykassen en rekke utviklerverktøy og Software Development Kits (SDK-er), som muliggjør fint-tunede AI-modeller for spesifikke applikasjoner. Ifølge Nvidia tillater RTX AI-verktøykassen opprettelse av modeller opptil fire ganger raskere og tre ganger mindre sammenlignet med åpne alternativer.
Den økende mengden utviklerverktøy fremmer skapelsen av brukerspesifikke AI-applikasjoner. Selv om noen funksjoner har blitt sett i Copilot+-PC-er, forventes mer sofistikerte AI-applikasjoner i det kommende året. Med riktig maskinvare på plass, trenger utviklere bare programmering for å utnytte hele potensialet til disse applikasjonene.
Viktige spørsmål og svar:
1. Hva ønsker partnerskapet mellom Nvidia og Microsoft å oppnå med det nylig kunngjorte API-et?
Partnerskapet har som mål å muliggjøre at utviklere kan kjøre Small Language Models (SLMer) på Nvidias RTX GPU-er i stedet for å begrense dem til Neural Processing Units (NPUs), som utvider mulighetene for AI-drevne funksjoner som Recall og Live Captions til enheter uten NPU-funksjoner.
2. Hvordan kommer dette samarbeidet til nytte for PC-er som ikke har NPUs?
Dette samarbeidet gjør det mulig for PC-er uten dedikert NPU-maskinvare, spesielt designet for AI-oppgaver, å bruke sine eksisterende Nvidia RTX GPU-er til å kjøre SLMer for AI-applikasjoner, noe som gjør teknologien mer tilgjengelig.
3. Hva er de potensielle implikasjonene for utvikling av AI-applikasjoner?
Med Nvidias nye RTX AI-verktøykasse vil utviklere få tilgang til avanserte verktøy og SDK-er, som vil forbedre deres evne til å lage effektive og kraftfulle AI-modeller betydelig. Ved å øke hastigheten på opprettelsesprosessen og redusere modellstørrelsen, forventes det å oppmuntre til bredere spekter av innovative og høyst tilpassede AI-applikasjoner.
Nøkkelutfordringer og kontroverser:
Personvern og sikkerhet: Med AI som stadig blir integrert i flere enheter og applikasjoner, er det bekymring for hvordan data brukes og beskyttes. Bruken av SLMer på lokale GPU-er kan potensielt føre til sårbarheter hvis passende tiltak ikke er på plass for å sikre data.
Tilgjengelighet og rettferdighet: AI-utviklingen bør ikke bare være forbeholdt de med high-end maskinvare. Det må gjøres innsats for å sikre at et bredere publikum kan dra nytte av disse utviklingene, ellers er det en risiko for en utvidelse av teknologi tilgangsgapet.
Fordeler:
– Bredere tilgang: Utviklere kan dra nytte av den regnekraften tilgjengelig på RTX GPU-er for å opprette AI-drevne applikasjoner.
– Ytelse: Nvidia RTX GPU-er tilbyr høy TOPS-kapasitet, noe som gjør det mulig for mer robuste AI-applikasjoner.
– Utviklingshastighet: RTX AI-verktøykassen lover raskere og mer effektiv opprettelse av AI-modeller.
Ulemper:
– Maskinvareavhengighet: Mens dette partnerskapet utvider tilgangen, er det fortsatt avhengig av å ha en Nvidia RTX GPU, noe som kan være et hinder for noen brukere.
– Kompleksitet: Utvikling av avanserte AI-applikasjoner krever betydelig teknisk ekspertise, noe som potensielt begrenser hvem som kan bruke disse nye verktøyene.
For å utforske flere detaljer om Nvidias og Microsofts områder, kan du besøke:
– Nvidia
– Microsoft