NVIDIA, kendt for sine bemærkelsesværdige fremskridt inden for AI-teknologi, har primært været forbundet med spilindustrien. Dog sigter virksomheden nu mod at bygge bro mellem AI og gaming med sit nyeste tilbud: Chat with RTX. Denne AI-chatbot kører på din pc og udnytter kraften fra Tensor-RT-cores, der findes i NVIDIAs gaming GPU’er. Den mest spændende funktion ved denne software er dens evne til at give værdifulde indsigter i dine egne data ved hjælp af store sprogmodeller (LLM).
I modsætning til andre chatbots fungerer Chat with RTX udelukkende på din pc, hvilket sikrer, at ingen af dine data transmitteres til en cloud-server. Du skal blot indtaste det relevante datasæt, og chatbot’en vil give svar baseret på den tilgængelige information. Derudover tilbyder softwaren en unik funktion – evnen til at fortolke indholdet i YouTube-videoer og besvare spørgsmål baseret på undertekster. Dette er en spilskifter inden for udvinding af information fra videokilder.
For at komme i gang kan du downloade Chat with RTX gratis, selvom installationsprogrammet kræver 35 GB plads. Der er dog visse forudsætninger, der er nødvendige: Et RTX 30 eller 40-seriekort med mindst 8 GB VRAM og en maskine med mindst 16 GB RAM. Selvom Windows 11 anbefales, kører softwaren også problemfrit på Windows 10. Desværre er Chat with RTX i øjeblikket kun tilgængelig til Windows uden nogen nævnt udgivelsesdato for Linux.
Installationen kan tage op til en time at fuldføre, da to sprogmodeller, Mistral 7B og LLaMA 2, installeres og optager ca. 70 GB plads. Når det er installeret, vises et kommandopromptvindue med en aktiv session, der giver dig mulighed for at stille spørgsmål via et browserbaseret interface.
Chat with RTX er god til at opsummere detaljer og fungerer exceptionelt godt med målrettede spørgsmål. Dog har den nogle mindre problemer som f.eks. lejlighedsvise forkerte links. Ikke desto mindre viser den som en betaversion et enormt potentiale.
Uanset om du er en gamingentusiast eller en AI-entusiast, åbner NVIDIAs Chat with RTX nye muligheder. Evnen til at køre en AI-chatbot lokalt er en betydelig udvikling, der giver brugerne et kraftfuldt værktøj til udvinding af information fra deres egne data. Så hvis du er klar til at udløse kraften i gaming og AI, hvorfor så ikke prøve Chat with RTX? Selvom den måske ikke er lige så kraftfuld som sine konkurrenter, adskiller den sig ved evnen til at udnytte personlige datasæt.
FAQ-sektion: Chat with RTX
The source of the article is from the blog maestropasta.cz