Een baanbrekende studie, uitgevoerd door de Universiteit van Wetenschap en Technologie van China, het Staats Key Laboratory of Cognitive Intelligence, de City University of Hong Kong en het Jarvis Research Center, richt zich op een nieuw benadering voor generatieve informatie-extractie (IE) met behulp van grote taalmodellen (LLM’s). In plaats van te vertrouwen op traditionele methoden van gestructureerde kennisextractie uit ongestructureerde tekst, maakt deze nieuwe benadering gebruik van LLM’s om structurele informatie te genereren, waarbij de potentie ervan in real-world toepassingen wordt getoond.
De onderzoekers maken gebruik van twee taxonomieën om huidige representatieve methoden in generatieve IE te classificeren: een die zich richt op leerparadigma’s en een die zich richt op IE-subtaken. Met behulp van deze taxonomieën rangschikt de studie LLM’s voor IE op basis van hun prestaties in specifieke gebieden. De evaluatie biedt ook inzicht in de beperkingen en toekomstige mogelijkheden voor het gebruik van LLM’s in generatieve IE.
De studie introduceert vier redeneerstrategieën voor Named Entity Recognition (NER) die de mogelijkheden van ChatGPT repliceren in NER zonder voorbeelden. Hoewel LLM’s veelbelovend zijn in Relation Extraction (RE), is verder onderzoek nodig om hun prestaties in Event Extraction (EE) taken te verbeteren vanwege de complexiteit van instructies en het gebrek aan veerkracht. Bovendien evalueert de studie verschillende IE-subtaken en onthult dat LLM’s uitblinken in bepaalde omgevingen, zoals OpenIE, maar onderpresteren in vergelijking met op BERT-gebaseerde modellen in normale IE-instellingen.
Waar eerdere generatieve IE-benaderingen gespecialiseerd waren in domeinen of taken, biedt de integratie van LLM’s mogelijkheden voor meer verenigde technieken. Er blijven echter uitdagingen bestaan, zoals het afstemmen van de invoer van uitgebreide context en gestructureerde output. De onderzoekers raden verder onderzoek aan naar leren in context met behulp van LLM’s, waarbij de nadruk wordt gelegd op het belang van voorbeeldselectie en de ontwikkeling van universele IE-kaders die aanpasbaar zijn aan verschillende domeinen en activiteiten.
De studie benadrukt ook het belang van het verbeteren van prompts om het begrip en redeneervermogen van LLM’s te vergroten. Dit omvat het aandringen op LLM’s om logische conclusies te trekken en verklaarbare output te genereren. Interactieve promptontwerp, waarbij meerlagige vraag-antwoordopstellingen worden opgenomen, is een andere mogelijkheid voor academisch onderzoek.
Samenvattend toont deze baanbrekende studie het potentieel van generatieve IE met behulp van LLM’s, en biedt waardevolle inzichten in hun prestaties, beperkingen en toekomstige richtingen. Verdere ontwikkelingen in op LLM gebaseerde IE kunnen aanzienlijk bijdragen aan het vakgebied van natuurlijke taalverwerking.
The source of the article is from the blog radiohotmusic.it