Zavirite u Um AI: Kreatori iza sofisticiranih tehnologija AI chatbotova poput ChatGPT-a podijelili su uvide u svoje postupke obuke i osnovne mehanizme na djelu. Međutim, potpuno razumijevanje kako njihova stvaranja obrađuju podatke na kojima su obučeni i dalje ostaje nedostupno. Adresiranje ovog pitanja ključno je jer se developeri često nalaze i zadivljeni i zbunjeni sposobnostima i ograničenjima svojih AI. Primjerice, tim Udio razvio je glazbeni model AI, samo da bi otkrili da isti može izrađivati i izvoditi stand-up komediju.
Iza Površinskog Učenja: Čak i vodeći industrijski stručnjaci bore se shvatiti točno kako Veliki Jezikni Modeli (VJM-ovi) i druge napredne modele koriste informacije. Međutim, čini se da OpenAI napreduje u dekodiranju ovog mozgalice. Iako puno toga ostaje nepoznato, istraživači OpenAI-a identificirali su 16 milijuna značajki u GPT-4 za koje vjeruju da prikazuju o čemu model ‘razmišlja’.
Koristeći tehnologiju rijetkog autoenkodera, koja identificira ‘važnije’ značajke, proces emulira kako ljudi možda ne bi razgovarali o receptima za kuhanje kad raspravljaju o automobilima. OpenAI sugerira da ovi rijetki autoenkoderi otkrivaju smanjeni skup značajki ili koncepata bitnih za generiranje odgovora na upit, slično tome kako se osoba oslanja na manji skup koncepata u bilo kojoj raspravi.
Fokus na Funkcionalne Značajke: Iako rijetki autoenkoderi mogu označiti značajke unutar modela, tumačenje kako model koristi te značajke zahtijeva daljnji rad. OpenAI vjeruje da razumijevanje funkcija modela ključno je za poboljšanje sigurnosti. Ovaj pristup pomaže u postizanju napretka u razumijevanju neuronske aktivnosti jezičnih modela. Poboljšali su skaliranje rijetkih autoenkodera, time rascjepivši unutarnje prikaze GPT-4 u 16 milijuna značajki – uglavnom u skladu s razumljivim konceptima.
Još jedan izazov je obuka rijetkih autoenkodera, koja zahtijeva povećanu računalnu snagu kako bi se nosila s potrebnim ograničenjima i izbjegla pretjerano podešavanje. Međutim, OpenAI tvrdi da je razvio nove metodologije koje omogućuju proširenje rijetkih autoenkodera na deset puta veći broj značajki u modelima AI koji pomiču granice.
Uske Senzacije Fokusiranosti AI: Kako bi testirali razumljivost takvih značajki, OpenAI je detaljno opisao segmente dokumenata u kojima su te značajke bile aktivne, uključujući izraze povezane s povećanjima cijena i retoričkim pitanjima.
Unatoč tomu, OpenAI priznaje brojne ograničenja, uključujući poteškoće u tumačenju mnogih otkrivenih značajki koje se često aktiviraju nepredvidivo. Također, i dalje postoji nedostatak pouzdanih metoda za provjeru tumačenja.
U kratkoročnoj perspektivi, OpenAI se nada da će otkrivene značajke pomoći u praćenju i usmjeravanju ponašanja jezičnih modela. Na duge staze, OpenAI teži tumačenjima koji pružaju nove načine racionalizacije sigurnosti i otpornosti modela. Razumijevanje kako i zašto AI model djeluje na način na koji djeluje pomoći će ljudima da mu vjeruju prilikom donošenja ključnih odluka.
Važna Pitanja:
1. Kako rijetki autoenkoderi doprinose razumijevanju misaonih procesa AI?
2. Koje su poteškoće povezane s obukom rijetkih autoenkodera?
3. Zašto je tumačenje značajki AI važno za sigurnost i pouzdanost modela?
4. Kako bi bolje razumijevanje ‘misli’ AI-ja moglo utjecati na povjerenje korisnika u situacijama donošenja ključnih odluka?
Odgovori:
1. Rijetki autoenkoderi pomažu identificirati i fokusirati se na ‘važne’ značajke unutar modela, koje su ključne za generiranje odgovora na upit. To je usporedivo s time kako ljudi fokusiraju ograničeni niz koncepata pri raspravljanju o temi.
2. Obuka rijetkih autoenkodera zahtijeva značajnu računalnu snagu i postavlja izazov izbjegavanja pretjeranog podešavanja uz poštivanje potrebnih ograničenja. OpenAI je razvio nove metodologije koje dopuštaju proširenje tih enkodera kako bi rukovali više značajki.
3. Tumačenje je ključno za sigurnost i pouzdanost modela jer može otkriti kako model generira izlazne podatke i o kojim konceptima ovisi. To može obavijestiti developere o potencijalnim pristranostima, obrascima pogrešaka i neočekivanom ponašanju, što dovodi do boljeg praćenja i usmjeravanja ponašanja AI-ja.
4. Jasno razumijevanje razmišljanja AI-a može poboljšati povjerenje među korisnicima, budući da će bolje razumjeti kako AI dolazi do svojih zaključaka i, stoga, vjerojatnije će se osloniti na njega prilikom ključnih odluka gdje su ulozi visoki.
Ključni Izazovi i Kontroverze:
– Razumljivost AI-ja je veliki izazov; mnoge značajke koje AI koristi za donošenje odluka još nisu dovoljno shvaćene.
– Postoji potencijalni nedostatak transparentnosti u vezi s time zašto AI donosi određene odluke, što dovodi do pitanja odgovornosti.
– Rizik od zloporabe AI-ja također je zabrinutost, posebice ako korisnici stavljaju slijepo povjerenje u odlučivanje AI-a bez potpunog razumijevanja njegovih ograničenja i mogućih pristranosti.
– Osiguravanje etičke uporabe i sprječavanje diskriminacije u izlazima AI-a zahtijeva razumijevanje i umanjenje ugrađenih pristranosti u podacima za obuku i značajkama modela.
Prednosti:
– Napredak u razumljivosti AI-ja može dovesti do čvršćih i sigurnijih AI sustava koji su manje podložni pogreškama i neočekivanom ponašanju.
– Veće razumijevanje također može unaprijediti razvoj propisa za AI i donošenje politika, informirane dubljim poznavanjem mehanizama AI-a.
Mane:
– Postoji kontinuirano trkanje u računalnoj snazi AI-ja, što može dovesti do problema s okolišem i nejednakosti resursa.
– Tumačenje AI-ja također može postati sigurnosni problem, budući da otkrivanje procesa odlučivanja može dovesti do ranjivosti ili iskorištavanja.
Za one koji su zainteresirani za istraživanje daljnjih razvoja i istraživanja iz OpenAI-a, posjetite njihovu službenu web stranicu na OpenAI.
The source of the article is from the blog combopop.com.br