Lidia PerskaNove Tehnike Odpravljanja Naučenega Predstavljajo Zapletene Izzive za Modeli AI
Raziskovalci so odkrili, da najnovejše tehnike odpravljanja povzročajo težave za napredne modele AI, kot sta GPT-4o in Llama 3.1 405B, kot poroča sodelovalna študija med institucijami, kot so Univerza v Washingtonu, Princeton, Univerza v Chicagu, USC in Google. Študija kaže, da sedanje metode odpravljanja še niso učinkovite pri brisanju določenih podatkov, ne da bi prizadele splošno funkcionalnost modela.
Učni Proces Modelov AI
Generativni modeli AI delujejo na podlagi vzorcev, ki so se jih naučili iz obsežnih količin podatkov. Na primer, ko dobijo podatke iz e-pošte, ki se končajo z “Veselim se…”, funkcija samodejnega dokončanja napove frazo “…odziva.” Ti modeli nimajo namena in se zanašajo le na statistično analizo za predlaganje odgovorov.
Avtorska Uganka in Vzpon Tehnik Odpravljanja Naučenega
Neupravičeno pobiranje podatkov s strani razvijalcev modelov AI iz javnih virov je privedlo do avtorskih sporov z posamezniki in organizacijami, kot so avtorji, založniki in glasbene založbe. Tehnike odpravljanja so pritegnile veliko pozornosti kot odgovor na to težavo, pri čemer je Google sprožil tekmovanja, da spodbudi razvoj učinkovitih metod za popravljanje modelov.
Izzivi pri Implementaciji Odpravljanja
Strategije odpravljanja poskušajo usmeriti modele stran od določenih vzorcev podatkov za izboljšanje zasebnosti podatkov. Vendar pa lahko vplivanje na napovedi modela privede do zmanjšane uspešnosti pri odgovarjanju na vprašanja. Shi in njen tim sta predstavila MUSK – Oceno odpravljanja modelov (MUSE) za analizo vpliva odpravljanja na zadržanje informacij modela.
Prihodnje Izkaznice in Nadaljnje Raziskave
Študija poudarja kompleksnost tehnik odpravljanja in poudarja potrebo po nadaljnjem raziskovanju na tem področju. Čeprav bi lahko odpravljanje obetalo za prihodnost upravljanja podatkov AI, trenutni izzivi kažejo, da je pred več raziskavami bistveno premagati omejitve, ki jih prinašajo obstoječe metode.
…
