Onderzoekers die manieren onderzoeken om de architectuur en het gedrag van de menselijke hersenen na te bootsen, suggereren dat het bouwen van AI-systemen die slapen en dromen hun prestaties en betrouwbaarheid kan verbeteren. Het doel is om een veelvoorkomende uitdaging in AI, bekend als “catastrofaal vergeten,” aan te pakken, waarbij modellen die getraind zijn op nieuwe taken hun vermogen verliezen om eerder beheerste taken uit te voeren.
Onderzoekers aan de Universiteit van Catania hebben een trainingsmethode ontwikkeld genaamd wake-sleep consolidated learning (WSCL), die het proces van herinneringen consolideren tijdens de slaap van de menselijke hersenen nabootst. Op een vergelijkbare manier als hoe mensen kortetermijnherinneringen omzetten in langetermijnherinneringen, hebben AI-modellen die getraind zijn met WSCL “slaap” periodes waarin ze een mix van recente en oudere gegevens doornemen. Dit stelt de modellen in staat om verbindingen en patronen te herkennen en nieuwe informatie te integreren zonder bestaande kennis te vergeten.
Tijdens de slaapperiode worden AI-modellen die WSCL gebruiken niet alleen blootgesteld aan afbeeldingen van vissen, maar ook aan andere dieren zoals vogels, leeuwen en olifanten uit eerdere lessen. Daarnaast omvat WSCL ook een “droomfase” waarin de modellen volledig nieuwe gegevens krijgen door eerdere concepten te combineren, zoals abstracte afbeeldingen van giraffen gekruist met vissen of leeuwen gekruist met olifanten. Deze droomfase helpt de modellen om digitale “neuronen” uit het verleden te combineren en patronen te creëren die het leren van nieuwe taken effectiever bevorderen.
In experimenten ontdekten de onderzoekers dat AI-modellen getraind met WSCL een aanzienlijke verbetering in nauwkeurigheid lieten zien in vergelijking met traditionele trainingsmethoden, met een toename van 2 tot 12 procent in het correct identificeren van de inhoud van afbeeldingen. De WSCL-modellen vertoonden ook een betere “voorwaartse overdracht”, wat betekent dat ze eerder verworven kennis beter behielden bij het leren van nieuwe taken.
Hoewel deze resultaten veelbelovend zijn, geloven niet alle experts dat het repliceren van de menselijke hersenen de meest effectieve benadering is om de prestaties van AI te verbeteren. Andrew Rogoyski van de Universiteit van Surrey suggereert bijvoorbeeld dat AI-onderzoek nog in de beginfase is en dat volledig het menselijk brein nabootsen misschien niet nodig is. In plaats daarvan stelt hij voor om inspiratie te halen uit andere biologische systemen, zoals dolfijnen, die kunnen “slapen” met een deel van hun hersenen terwijl ze alert blijven met een ander deel.
Samenvattend biedt het verkennen van het concept van slapen en dromen in AI-training een intrigerend perspectief. Hoewel sommigen zich verzetten tegen strikte replicatie van de menselijke hersenen, groeit het bewijs dat het incorporeren van mechanismen zoals slaap in AI-modellen kan leiden tot verbeterde prestaties en behoud van kennis. Naarmate AI-onderzoek evolueert, kan het nuttig zijn om alternatieve biologische inspiraties te verkennen om de capaciteiten van AI verder te verbeteren.
Veelgestelde vragen over slapen en dromen in AI-systemen
V: Wat is het doel van het verkennen van slapen en dromen in AI-systemen?
A: Het doel is om “catastrofaal vergeten” aan te pakken, waarbij AI-modellen hun vermogen verliezen om eerder beheerste taken uit te voeren wanneer ze worden getraind op nieuwe taken.
V: Welke trainingsmethode is ontwikkeld door onderzoekers aan de Universiteit van Catania?
A: De onderzoekers hebben een trainingsmethode ontwikkeld genaamd wake-sleep consolidated learning (WSCL).
V: Hoe bootst WSCL het consolideren van herinneringen tijdens de slaap van de menselijke hersenen na?
A: AI-modellen getraind met WSCL hebben “slaap” periodes waarin ze een mix van recente en oudere gegevens doornemen, vergelijkbaar met hoe mensen kortetermijnherinneringen omzetten in langetermijnherinneringen tijdens de slaap.
V: Wat gebeurt er tijdens de slaap- en droomfasen in WSCL?
A: Tijdens de slaapperiode worden WSCL-modellen blootgesteld aan een mix van recente en oudere gegevens, terwijl ze tijdens de droomfase volledig nieuwe gegevens krijgen die eerdere concepten combineren.
V: Wat zijn de voordelen van WSCL-getrainde AI-modellen?
A: WSCL-getrainde AI-modellen toonden een verbetering in nauwkeurigheid in vergelijking met traditionele trainingsmethoden, met een toename van 2 tot 12 procent in het correct identificeren van de inhoud van afbeeldingen. Ze behielden ook eerder verworven kennis beter bij het leren van nieuwe taken.
V: Wat wordt bedoeld met “voorwaartse overdracht” in de context van AI-modellen?
A: “Voorwaartse overdracht” verwijst naar het behoud van eerder verworven kennis bij het leren van nieuwe taken.
V: Welke perspectief hebben sommige experts met betrekking tot het repliceren van de menselijke hersenen in AI-systemen?
A: Sommige experts, zoals Andrew Rogoyski van de Universiteit van Surrey, suggereren dat volledig het menselijk brein nabootsen misschien niet nodig is en stellen voor om inspiratie te halen uit andere biologische systemen, zoals dolfijnen.
Definities:
– Catastrofaal vergeten: Een veelvoorkomende uitdaging in AI waarbij modellen hun vermogen verliezen om eerder beheerste taken uit te voeren wanneer ze worden getraind op nieuwe taken.
– Wake-sleep consolidated learning (WSCL): Een trainingsmethode ontwikkeld door onderzoekers van de Universiteit van Catania, die het proces van herinneringen consolideren tijdens de slaap van de menselijke hersenen nabootst.
Aanbevolen gerelateerde links:
– Universiteit van Catania
– Universiteit van Surrey
The source of the article is from the blog qhubo.com.ni