Onderzoekers bij JPMorgan AI Research en Dartmouth College hebben een innovatief framework ontwikkeld genaamd ‘DocGraphLM’ dat het begrip van visueel rijke documenten aanzienlijk verbetert. Het nauwkeurig verwerken en interpreteren van gegevens uit verschillende documentformaten, vooral visueel rijke documenten zoals zakelijke formulieren, bonnetjes en facturen, is een urgent probleem gebleken.
Traditionele methoden hebben vertrouwd op op transformer-gebaseerde modellen en Graph Neural Networks (GNNs) voor documentinterpretatie. Deze methoden hebben echter moeite om de ruimtelijke relaties tussen elementen, zoals tabelcellen en hun koppen, of tekst over regelafbrekingen, vast te leggen.
DocGraphLM biedt een nieuwe aanpak door de kracht van taalmodellen te combineren met inzichten in de structuur die GNNs bieden. Deze unieke integratie maakt een robuustere documentrepresentatie mogelijk, waardoor de accurate modellering van complexe relaties en structuren in visueel rijke documenten mogelijk is.
DocGraphLM introduceert een gezamenlijke encoder-architectuur voor documentrepresentatie en een innovatieve aanpak voor het voorspellen van links om documentgrafieken te reconstrueren. Het opvallende kenmerk van het model is het vermogen om de richting en afstand tussen knooppunten in een documentgrafiek te voorspellen. Door een logaritmische transformatie toe te passen om afstanden te normaliseren, legt het model effectief de complexe lay-outs van visueel rijke documenten vast.
Wat prestaties betreft, presteerde DocGraphLM beter dan bestaande modellen bij informatiewinning en vraag-antwoordingstaken op standaard datasets. De integratie van grafische kenmerken verbeterde de nauwkeurigheid van het model en versnelde het leerproces tijdens training, wat resulteerde in snellere en nauwkeurigere informatiewinning.
De ontwikkeling van DocGraphLM vertegenwoordigt een grote vooruitgang op het gebied van documentbegrip. Dit innovatieve framework biedt verbeterde nauwkeurigheid en efficiëntie bij het extraheren van informatie uit visueel rijke documenten. Deze vooruitgang opent nieuwe mogelijkheden voor efficiënte gegevensextractie en analyse in het digitale tijdperk van vandaag.
The source of the article is from the blog j6simracing.com.br