Een team van onderzoekers van de Zhejiang University, de National University of Singapore, de University of California, Ant Group en Alibaba Group heeft een studie uitgevoerd gericht op kennisbewerking voor Grote Taalmodellen (GTM’s). GTM’s hebben recentelijk hun indrukwekkende capaciteit aangetoond om uitgebreide hoeveelheden informatie te verwerken en te onthouden, waarbij ze de menselijke capaciteit overtreffen.
Om de rechtvaardigheid en veiligheid van Artificial Intelligence (AI)-systemen te waarborgen, is het cruciaal om te begrijpen hoe GTM’s informatie weergeven en verwerken. Deze studie heeft als doel om de geschiedenis en de huidige stand van zaken van kennisbewerkingstechnieken voor GTM’s te onderzoeken. De onderzoekers geven een overzicht van het ontwerp van GTM’s, hoe kennis wordt opgeslagen en gerelateerde benaderingen zoals parameter-efficiënte fine-tuning, kennisvermeerdering, voortdurend leren en machine-vergeten.
De onderzoekers classificeren kennisbewerkingsstrategieën voor GTM’s in drie categorieën: interne kennisbewerkingsmethoden bewerken, kennis samenvoegen in het model en gebruikmaken van externe kennis. Deze strategieën halen inspiratie uit cognitieve processen van mensen, zoals herkenning, associatie en beheersingsfases van leren.
De studie omvat experimenten die zijn uitgevoerd op twaalf datasets voor natuurlijke taalverwerking, waarbij zorgvuldig gekeken wordt naar prestaties, bruikbaarheid, onderliggende mechanismen en andere factoren. De onderzoekers creëren een benchmark genaamd KnowEdit om informatietoevoeging, -wijziging en -verwijdering te evalueren met behulp van geavanceerde kennisbewerkingstechnieken voor GTM’s.
De bevindingen tonen aan hoe kennisbewerking van invloed is op algemene taken en kennisbewerking voor meerdere taken, waarbij wordt aangetoond dat het succesvol feiten bijwerkt zonder de cognitieve vaardigheden en aanpassingsvermogen van het model in verschillende kennisdomeinen aanzienlijk te beïnvloeden. Daarnaast onderzoeken de onderzoekers de beperkingen en mogelijke gevolgen van kennisbewerking voor GTM’s.
Bovendien bespreekt de studie het brede scala aan toepassingen voor kennisbewerking, waaronder betrouwbare AI, efficiënt machine learning, door AI gegenereerde inhoud en gepersonaliseerde agenten in mens-computerinteractie. De onderzoekers hopen dat dit onderzoek verder onderzoek naar GTM’s zal inspireren, met nadruk op zowel efficiëntie als creativiteit.
De onderzoekers hebben al hun bronnen, inclusief codes, gegevenssplitsingen en getrainde model checkpoints, openbaar beschikbaar gesteld om meer onderzoek op dit gebied aan te moedigen.
The source of the article is from the blog toumai.es