NVIDIA, kjent for sine bemerkelsesverdige fremskritt innen AI-teknologi, har i hovedsak vært assosiert med spillindustrien. Imidlertid har selskapet nå som mål å bygge bro mellom AI og gaming med sitt nyeste tilbud: Chat med RTX. Denne AI chatboten kjører på din PC og utnytter kraften til Tensor-RT-kjerner som finnes i NVIDIAs gaming-GPUer. Det mest spennende med denne programvaren er evnen til å gi verdifulle innsikter i dine egne data ved hjelp av store språkmodeller (LLM).
I motsetning til andre chatbots, opererer Chat med RTX utelukkende på din PC, og sikrer at ingen av dataene dine blir sendt til en skyserver. Bare legg inn den relevante datamengden, og chatboten vil gi svar basert på informasjonen som er tilgjengelig. I tillegg tilbyr programvaren en unik funksjon – evnen til å tolke innholdet i YouTube-videoer og svare på spørsmål basert på undertekster. Dette er revolusjonerende for å hente informasjon fra videokilder.
For å komme i gang kan du laste ned Chat med RTX gratis, selv om installasjonsprogrammet krever 35 GB plass. Imidlertid kreves det noen forutsetninger: et RTX 30- eller 40-seriekort med minimum 8 GB VRAM og en maskin med minst 16 GB RAM. Mens Windows 11 anbefales, kjører programvaren også jevnt på Windows 10. Dessverre er Chat med RTX for øyeblikket bare tilgjengelig på Windows, uten nevnte datoen for Linux-utgivelsen.
Installasjonen kan ta opptil en time å fullføre ettersom to språkmodeller, Mistral 7B og LLaMA 2, installeres og tar opp omtrent 70 GB plass. Når alt er installert, vises et ledetekstvindu med en aktiv økt, som lar deg stille spørsmål via et nettleserbasert grensesnitt.
Chat med RTX utmerker seg ved å oppsummere detaljer og presterer eksepsjonelt godt med målrettede spørsmål. Det har imidlertid noen mindre problemer, som av og til å gi feilaktige lenker. Likevel viser den som en betaversjon et enormt potensial.
Enten du er en spillentusiast eller en AI-entusiast, åpner NVIDIA’s Chat med RTX for nye muligheter. Evnen til å kjøre en AI chatbot lokalt er en betydelig utvikling som gir brukerne et kraftig verktøy for å hente informasjon fra deres egne data. Så hvis du er klar til å frigjøre kraften i gaming og AI, hvorfor ikke gi Chat med RTX en prøve? Selv om den kanskje ikke er like kraftig som sine konkurrenter, er dens evne til å bruke personlige datasett det som skiller den fra konkurransen.
Vanlige spørsmål: Chat med RTX
The source of the article is from the blog bitperfect.pe