Nove Tehnike Zaboravljanja Predstavljaju Složene Izazove za AI Modele
Istraživači su otkrili da najnovije tehnike zaboravljanja uzrokuju probleme za napredne AI modele poput GPT-4o i Llama 3.1 405B, kako je izvješteno u suradničkoj studiji među institucijama poput Sveučilišta Washington, Princetona, Sveučilišta u Chicagu, USC-a i Googlea. Studija pokazuje da trenutne tehnike zaboravljanja još uvijek nisu učinkovite u brisanju specifičnih podataka bez oštećenja cjelokupne funkcionalnosti modela.
Proces Učenja AI Modela
Generativni AI modeli funkcioniraju na temelju uzoraka koje su naučili iz velikih količina podataka. Na primjer, kada im se daju e-mail podaci koji se završavaju s “Radujem se…”, značajka automatskog dovršavanja predviđa frazu “…na odgovor.” Ti modeli nedostaju namjeru i oslanjaju se isključivo na statističku analizu kako bi predložili odgovore.
Autorska Zagonetka i Porast Tehnika Zaboravljanja
Neovlašteno prikupljanje podataka od strane razvijatelja AI modela s javnih izvora dovelo je do sporova u vezi autorskih prava s pojedincima i organizacijama poput autora, izdavača i diskografskih kuća. Tehnike zaboravljanja privukle su značajnu pozornost kao odgovor na ovaj problem, s Googleom koji je pokrenuo natjecanja kako bi potaknuo razvoj učinkovitih metoda ispravaka modela.
Izazovi u Implementaciji Zaboravljanja
Tehnike zaboravljanja pokušavaju usmjeriti modele dalje od određenih obrazaca podataka kako bi poboljšale privatnost podataka. Međutim, utjecaj na predviđanja modela može rezultirati smanjenjem performansi pri odgovaranju na pitanja. Shi i njezin tim predstavili su benchmarking Machine Unlearning Six-way Evaluation (MUSE) kako bi analizirali utjecaj zaboravljanja na zadržavanje informacija u modelu.
Budući Izgledi i Nastavak Istraživanja
Studija ističe složenost tehnika zaboravljanja i ističe potrebu za daljnjim istraživanjem u ovom području. Iako zaboravljanje može nositi obećanje za buduće upravljanje podacima AI, trenutni izazovi sugeriraju da je daljnje istraživanje ključno za prevladavanje ograničenja koja postoje s postojećim metodama.
The source of the article is from the blog myshopsguide.com