In het tijdperk van kunstmatige intelligentie komt de term “AI-pc” vaak naar voren, wat velen in verwarring achterlaat over de ware betekenis en mogelijkheden. Terwijl er pogingen zijn geweest om het te definiëren, gaat het concept van een AI-pc verder dan de marketinghype en nieuwe functies die geassocieerd worden met de nieuwste hardware.
Op zijn kern moet een AI-pc in staat zijn om snel en effectief inferenties uit te voeren. Inferencing is het proces waarbij een gegeven prompt wordt getransformeerd in een zinvolle reactie. Het vereist aanzienlijke rekencapaciteit om enorme hoeveelheden gegevens te verwerken en complexe matrixvermenigvuldigingen uit te voeren.
In tegenstelling tot de overtuiging dat inferencing exclusief is voor kolossale datacenters, blijkt dat veel bestaande pc’s deze taak adequaat aankunnen. Met voldoende RAM en een mid-range GPU kan iedereen een “goede genoeg” chatbot op zijn pc laten draaien. Een GPU met minimaal 8 GB VRAM is essentieel, terwijl 32 GB RAM te prefereren is boven 16 GB. De M-series SoCs van Apple, te vinden in hun nieuwere Macs met 16 GB of meer RAM, hebben zich onverwachts geschikt getoond voor AI-taken.
Interessant genoeg kunnen zelfs pc’s die enkele jaren geleden zijn aangeschaft voldoen aan de eisen voor AI-inferencing. Zo kan bijvoorbeeld een acht jaar oude high-end pc met een Intel 6700K CPU en Nvidia GTX 980 Ti GPU nog steeds soepel een chatbot draaien. Recentere pc’s kunnen presteren op een snelheid vergelijkbaar met OpenAI’s GPT-3.5-Turbo, waarbij aanzienlijke vooruitgang op het gebied van AI-capaciteiten wordt getoond.
Om deze systemen te testen, werd een complexe prompt aan hen gevoerd, waarbij een “agent” werd gesimuleerd die problemen oplost door JSON-bestanden te genereren voor daaropvolgende programma’s. De resultaten waren indrukwekkend en bewijzen dat AI-pc’s al aanwezig zijn in ons leven, zelfs zonder dat we het beseffen. Bovendien zijn er een veelvoud aan AI-pc’s in omloop, die in de tientallen miljoenen lopen, waarmee hun wijdverspreide beschikbaarheid wordt benadrukt.
De waarde van AI-pc’s wordt nog duidelijker wanneer men rekening houdt met gevoelige documenten die niet kunnen worden gedeeld of geüpload naar externe servers. Medische informatie, geclassificeerde documenten en juridische documenten vallen allemaal in deze categorie. Zo zou bijvoorbeeld het recent uitgebrachte legale taalmodel SaulML een onschatbaar instrument kunnen zijn voor advocaten en juridisch medewerkers als het wordt uitgevoerd op een lokale AI-pc. Het zou hen in staat stellen documenten te analyseren, nauwkeurige lezingen te genereren en nieuwe contractvoorwaarden voor te stellen zonder de vertrouwelijkheid in gevaar te brengen.
Hoewel sommigen mogelijk beweren dat vertrouwen op cloudgebaseerde diensten de toekomst is, is de realiteit dat er beperkingen en risico’s verbonden zijn aan het delen van gevoelige informatie op externe platforms. Het hebben van AI-capaciteiten op lokale pc’s biedt een veilige en handige oplossing, met name voor sectoren waar vertrouwelijkheid van het grootste belang is.
Het is belangrijk op te merken dat hardwareleveranciers mogelijk niet openlijk de AI-capaciteiten erkennen die veel bestaande pc’s bezitten. Ze kunnen consumenten onder druk zetten om hun machines te upgraden, maar de waarheid is dat individuen mogelijk al perfect capabele AI-pc’s tot hun beschikking hebben, alleen niet degene die de leveranciers willen dat ze kopen.
In conclusie ligt de kracht van AI-pc’s in hun vermogen om het potentieel van kunstmatige intelligentie rechtstreeks binnen handbereik te ontketenen. Of het nu gaat om het draaien van chatbots, het analyseren van gevoelige documenten of het aanpakken van complexe taken, pc’s met voldoende hardwarebronnen kunnen voldoen aan de eisen van inferencing. Het omarmen van de AI-mogelijkheden die al binnen onze pc’s bestaan opent nieuwe kansen en mogelijkheden, waardoor individuen en organisaties worden versterkt. Dus, als je je afvraagt of je een AI-pc hebt, is het antwoord waarschijnlijk een volmondig ja!
Veelgestelde vragen
The source of the article is from the blog radardovalemg.com