Didelių kalbų modeliai (LLM) revoliucionizavo įvairias pramonės šakas nuo sveikatos prie pramogų, dėka jų išskirtinių galimybių natūralios kalbos apdorojime (NLP) ir natūralios kalbos generavime (NLG). Vis dėlto šių modelių funkcionalumo išplėtimas už mokymosi duomenų ribų sukėlė reikšmingą iššūkį kalbų modelių tyrimų srityje.
Norėdami išspręsti šią problemą, „Microsoft Research“ sukūrė inovatyvų sprendimą, vadinamą „GraphRAG“. „GraphRAG“ naudoja LLM sukurtus žinių grafus, kad pagerintų atkūrimo ir kūrimo sistemų veikimą. Skirtingai nuo tradicinių atkūrimo ir kūrimo metodų, kuriems reikalinga vektorių panašumo paieška, „GraphRAG“ įveda LLM sukurtus žinių grafus analizuoti sudėtingą informaciją dokumentuose, padedant pagerinti veikimą.
Tradiciški atkūrimo ir kūrimo pagrindų sistemos dažnai kenčia iš sutankintų semantinių sąvokų supratimo ir nepanašių duomenų ryšių nustatymo. Priešingai, „GraphRAG“ siūlo sudėtingesnį požiūrį, kaip matome iš išsamios analizės.
„Microsoft Research“ atliko išsamų tyrimą, naudodami Sprogusios įvykių informacijos iš naujienų straipsnių (VIINA) duomenų rinkinį, norėdami parodyti „GraphRAG“ potencialą. Rezultatai parodė, kad „GraphRAG“ veikimas yra pranašesnis nei pagrindinis atkūrimo ir kūrimo, ypač situacijose, kuriose reikia išsamiai suprasti semantines sąvokas ir nustatyti ryšius.
Be to, komanda pagerino savo LLM pagrįstą atkūrimą sukurdami privačų duomenų rinkinį. Jie išvertė tūkstančius naujienų istorijų iš rusų ir ukrainiečių šaltinių į anglų kalbą, tokiu būdu toliau patobulindami savo „GraphRAG“ sistemą. Lyginant su pagrindiniu atkūrimo ir kūrimo, „GraphRAG“ pasižymėjo išskirtinėmis galimybėmis tvarkant užklausas, reikalaujančias duomenų agregavimo iš kelių duomenų rinkinių.
„GraphRAG“ lenkė pagrindinį atkūrimo ir kūrimo grupuodamas privačių duomenų rinkinį į atitinkamas semantine klasteriu naudodamas struktūrizuotą žinių grafą. Šis požiūris padėjo „GraphRAG“ suteikti išsamias peržiūras temų ir sąvokų, reikšmingai pagerindamas atkūrimo dalį atkūrimo ir kūrimo sistemoje.
Išvada: „Microsoft Research“ „GraphRAG“ siūlo revoliucingą vystymąsi kalbų modelių srityje, pasinaudojant LLM kurtų žinių grafų galia. Ši unikali metodologija atveria naujas galimybes duomenų tyrinėjimui ir užtikrina, kad „GraphRAG“ taptų galingu įrankiu, kuris padidina atkūrimo ir kūrimo galimybes. Su „GraphRAG“ LLM yra gebami spręsti sudėtingus uždavinius privačiuose duomenų rinkiniuose, revoliucionizuojant kalbų modelių tyrimų sritį.
The source of the article is from the blog dk1250.com