Een baanbrekende aanpak van machine learning is ontwikkeld door een team van informatici, waarmee meer flexibele en wendbare modellen mogelijk worden gemaakt door het model periodiek te laten vergeten wat het heeft geleerd. Dit vervangt mogelijk niet volledig de kolossale modellen die worden gebruikt in belangrijke apps, maar het heeft het potentieel om te verduidelijken hoe dergelijke programma’s taal begrijpen.
Koreaanse AI-ingenieur Jae Kwon van het Institute for Basic Science legt uit dat een aanzienlijke vooruitgang in het vakgebied is geboekt met dit nieuwe onderzoek. Traditionele AI-taal-engines maken gebruik van kunstmatige neurale netwerken, waarbij neuronen signalen door functies sturen over meerdere lagen, waardoor de informatiestroom wordt verfijnd terwijl ze leren van uitgebreide datasets.
Tijdens de constructie van het tweetalige model helpen grote hoeveelheden tekst in beide doeltalen bij het aanpassen van neuronale verbindingen. Deze verbindingen maken het mogelijk dat tekst in de ene taal overeenkomt met overeenkomstige termen in de andere taal. Het trainen vereist echter aanzienlijke rekenkracht en aanpassingsvermogen vormt een uitdaging.
Mikel Artetxe, medeauteur van de studie en oprichter van AI-startup Reka, legt uit hoe moeilijk het is voor modellen om meerdere talen tegelijk aan te pakken en hoe onhandig het is om vanaf nul te herbouwen als een essentiële taal ontbreekt.
Jaren geleden trainden Artetxe en collega’s een neuraal netwerk in één taal en verwijderden vervolgens de ’tokens’ – de bouwstenen van woorden die te vinden zijn in de embedding-laag van het netwerk – zonder de rest van de lagen te wijzigen. Toen ze opnieuw werden getraind in een tweede taal, leerde het model met succes de nieuwe taal ondanks tegenstrijdige informatie.
Het team speculeerde dat terwijl specifieke woordinformatie wordt verzameld in de embedding-laag, diepere netwerkniveaus meer abstracte kennis over menselijke taal verzamelen, waardoor het leren in een tweede taal wordt vergemakkelijkt.
De strategie weerspiegelt de menselijke cognitie, waarbij uitgebreide details niet nauwkeurig worden opgeslagen, maar de kern van ervaringen wordt geabstraheerd en hergebruikt voor toekomstig gebruik. Dit wordt weerspiegeld in de ontwikkeling van meer flexibele AI-modellen, die binnenkort naar verwachting efficiënter veel talen kunnen leren, met als doel baanbrekende AI-capaciteiten naar een breder taalkundig spectrum te brengen.
Begrip van selectief vergeten in AI-modellen:
Innovatieve machine learning-modellen die gedijen door periodiek informatie te vergeten, introduceren een parallel met een concept dat bekend staat als “gespreide herhaling” bij menselijk leren. Deze techniek omvat het herzien van informatie met toenemende tussenpozen om het geheugenretentie te verbeteren. Op vergelijkbare wijze vergeet het model dat door het team van Jae Kwon is geïntroduceerd selectief delen van zijn training, die dan opnieuw kunnen worden geïntroduceerd of bijgewerkt, waardoor het model flexibel en actueel kan blijven met minder computationele last.
Belangrijke vragen en antwoorden:
V: Waarom is het concept van een machine learning-model dat periodiek belangrijke informatie vergeet belangrijk?
A: Het adresseert de uitdagingen die gepaard gaan met de statische aard van traditionele machine learning-modellen die niet zijn ontworpen om gemakkelijk aan te passen aan nieuwe informatie of verouderde informatie te vergeten. Door periodiek te vergeten kunnen modellen flexibel blijven en actueel blijven met minder computationele middelen.
V: Hoe verschilt dit concept van periodiek vergeten van de manier waarop huidige machine learning-modellen worden bijgewerkt?
A: Huidige machine learning-modellen vereisen vaak opnieuw training met nieuwe datasets om hun kennisbasis bij te werken, wat rekenkundig duur en tijdrovend kan zijn. Door periodiek te vergeten kunnen meer incrementele updates plaatsvinden die mogelijk minder middelen vereisen.
Controverses of uitdagingen:
De belangrijkste uitdaging voor dergelijke machine learning-modellen omvat hoe te bepalen welke informatie moet worden vergeten en wanneer. Er bestaat een risico op het verliezen van waardevolle informatie als het vergeetmechanisme niet goed is afgestemd. Bovendien kunnen er controverses ontstaan rond het idee van machine “vergeten” in toepassingen waar gegevensretentie van cruciaal belang is, zoals in juridische of medische sectoren.
Voordelen:
– Aanpasbaarheid: Deze modellen kunnen zich sneller en efficiënter aanpassen aan nieuwe informatie.
– Minder gegevens vereist: De aanpak kan mogelijk minder gegevens nodig hebben om de kennis van het model bij te werken.
– Verminderde rekenkundige middelen: Periodiek vergeten zorgt voor meer lichte modelupdates, waardoor rekenkracht en energie worden bespaard.
Nadelen:
– Risico op verlies van informatie: Er bestaat een mogelijkheid om belangrijke informatie te verliezen als het vergeetproces niet zorgvuldig wordt beheerd.
– Complexiteit van afstemming: Het bepalen van de juiste balans tussen onthouden en vergeten kan complex zijn en vereist mogelijk zorgvuldige afstemming en testen.