Inovativan pristup strojnom učenju razvio je tim informatičara, omogućavajući agilnije i fleksibilnije modele putem periodičnog poticanja modela da zaboravi ono što je naučio. To možda neće u potpunosti zamijeniti kolosalne modele korištene u velikim aplikacijama, no ima potencijala osvijetliti kako takvi programi razumiju jezik.
Korejski inženjer umjetne inteligencije Jae Kwon iz Instituta za osnovna istraživanja objašnjava da je postignut značajan napredak u području ovim istraživanjem. Tradicionalni AI jezični sustavi koriste umjetne neuronske mreže, gdje neuroni šalju signale putem funkcija kroz više slojeva, usavršavajući tijek informacija kako uče iz obimnih skupova podataka.
Prilikom konstrukcije bilingvalnog modela, velike količine teksta na oba ciljna jezika pomažu prilagoditi neuronske veze. Te veze omogućuju da tekst na jednom jeziku uskladi s odgovarajućim pojmovima na drugom. Međutim, obuka zahtijeva značajnu računalnu snagu, a prilagodljivost predstavlja izazov.
Mikel Artetxe, koautor studije i osnivač AI startupa Reka, objašnjava teškoće modela koji se bave više jezika istovremeno, te nezgodu ponovne izgradnje od nule ako je važan jezik odsutan.
Godinama su Artetxe i kolege trenirali neuronsku mrežu na jednom jeziku, a zatim izbrisali „oznake” – gradivne blokove riječi pronađene u ugrađenom sloju mreže – ne mijenjajući preostale slojeve. Prilikom ponovnog treniranja na drugom jeziku, model je uspješno naučio i obrađivao novi jezik unatoč sadržanju proturječnih informacija.
Tim je pretpostavio da dok se specifične riječi prikupljaju u ugrađenom sloju, dublji slojevi mreže prikupljaju apstraktnije znanje o ljudskom jeziku, što olakšava učenje na drugom jeziku.
Strategija podsjeća na ljudsku spoznaju, gdje se detalji ne pohranjuju precizno, već se srž iskustava apstrahira i iskorištava za buduću upotrebu. To se odražava u razvoju fleksibilnijih AI modela, koji bi uskoro mogli imati sposobnost učenja više jezika učinkovitije, s ciljem donošenja inovativnih AI sposobnosti na širi jezični spektar.
Razumijevanje selektivnog zaboravljanja u AI modelima:
Inovativni modeli strojnog učenja koji napreduju periodičnim zaboravljanjem informacija uvode paralelu s konceptom poznatim kao “prostor za ponavljanje” u ljudskom učenju. Ova tehnika uključuje ponovno posjećivanje informacija u sve većim intervalima radi poboljšanja zadržavanja pamćenja. Slično tome, model koji je predstavio tim Jae Kwon selektivno zaboravlja dijelove svoje obuke, koje se zatim mogu ponovno uvesti ili ažurirati, omogućavajući modelu da ostane prilagodljiv i aktualan uz manji računalni teret.
Ključna pitanja i odgovori:
P: Zašto je koncept strojnog učenja koji periodično zaboravlja važan?
A: Adresira izazove povezane sa statičnom prirodom tradicionalnih modela strojnog učenja koji nisu dizajnirani da se lako prilagode novim informacijama ili zaborave zastarjele informacije. Periodičnim zaboravanjem, modeli mogu ostati fleksibilni i suvremeni uz manje računalne resurse.
P: Kako se ovaj koncept periodičnog zaboravljanja razlikuje od načina kako se trenutni modeli strojnog učenja ažuriraju?
A: Trenutni modeli strojnog učenja često zahtijevaju ponovnu obuku s novim skupovima podataka radi ažuriranja njihove baze znanja, što može biti računalno skupo i vremenski zahtjevno. Periodično zaboravljanje omogućuje postizanje više inkrementalnih ažuriranja koja mogu zahtijevati manje resursa.
Sporni ili izazovi:
Primarni izazov za takve modele strojnog učenja uključuje kako odrediti koje informacije treba zaboraviti i kada. Postoji rizik od gubitka vrijednih informacija ako mehanizam zaboravljanja nije pravilno podešen. Dodatno, moguće su kontroverze oko ideje strojnog “zaboravljanja” u primjenama gdje je zadržavanje podataka ključno, kao u pravnim ili medicinskim područjima.
Prednosti:
– Prilagodljivost: Ovi modeli mogu brže i učinkovitije prilagoditi se novim informacijama.
– Manje traženih podataka: Pristup potencijalno može zahtijevati manje podataka za ažuriranje znanja modela.
– Manje računalnih resursa: Periodično zaboravljanje omogućava manje zahtjevne ažuriranje modela, čime se štedi računalna snaga i energija.
Mane:
– Rizik gubitka informacija: Postoji mogućnost gubitka važnih informacija ako proces zaboravljanja nije pažljivo vođen.
– Kompleksnost podešavanja: Utvrđivanje pravilne ravnoteže između pamćenja i zaboravljanja može biti složeno i zahtijevati pažljivo podešavanje i testiranje.
Preporučeni srodnih veza na ovu temu mogu uključivati odrediti web stranice o umjetnoj inteligenciji i strojnom učenju, kao što su:
– MIT
– Sveučilište Stanford
– Nature Research
– DeepLearning.AI
– Američko udruženje za umjetnu inteligenciju (AAAI)
Saževši članak, predstavlja uzbudljivu razvoj u području strojnog učenja koji izaziva konvencionalne norme zadržavanja podataka u AI sustavima. Mogućnost da strojevi uče i zaboravljaju oponaša ljudske kognitivne obrasce i otvara niz mogućnosti za stvaranje učinkovitijih i prilagodljivijih modela učenja koji bi mogli biti transformirajući u različitim industrijama i aplikacijama.