Un grup de cercetători de la Universitatea Zhejiang, Universitatea Națională din Singapore, Universitatea din California, Grupul Ant și Grupul Alibaba au realizat un studiu axat pe editarea cunoștințelor pentru Modelele de Limbaj Mari (LLM). LLM-urile și-au demonstrat recent capacitatea impresionantă de a procesa și memoriza o cantitate extinsă de informații, depășind capacitatea umană.
Pentru a asigura corectitudinea și siguranța sistemelor de Inteligență Artificială (IA), este crucial să se înțeleagă modul în care LLM-urile afișează și procesează informațiile. Acest studiu își propune să investigheze istoria și starea actuală a tehnicilor de editare a cunoștințelor pentru LLM-uri. Cercetătorii oferă o prezentare generală a designului LLM-urilor, modul în care sunt stocate cunoștințele și abordările asociate, cum ar fi ajustarea fină eficientă a parametrilor, augmentarea cunoștințelor, învățarea continuă și dezvățarea mașinii.
Cercetătorii împart strategiile de editare a cunoștințelor pentru LLM-uri în trei categorii: metode de editare a cunoștințelor interne, îmbinarea cunoștințelor în model și resortirea la cunoștințe externe. Aceste strategii se inspiră din procesele cognitive umane, cum ar fi fazele de recunoaștere, asociere și stăpânire a învățării.
Studiul include experimente realizate pe douăsprezece seturi de date de procesare a limbajului natural, având în vedere performanța, utilizabilitatea, mecanismele subiacente și alți factori. Cercetătorii creează un benchmark numit KnowEdit pentru a evalua inserarea, modificarea și ștergerea informațiilor folosind tehnici de editare a cunoștințelor bazate pe LLM-uri de ultimă generație.
Concluziile demonstrează cum editarea cunoștințelor afectează sarcinile generale și editarea cunoștințelor multitask, arătând că se actualizează cu succes faptele fără a impacta semnificativ abilitățile cognitive și capacitatea de adaptare a modelului în diferite domenii de cunoștințe. În plus, cercetătorii explorează limitele și repercusiunile potențiale ale editării cunoștințelor pentru LLM-uri.
Mai mult, studiul dezbaterea o gamă largă de aplicații pentru editarea cunoștințelor, inclusiv IA de încredere, învățarea automată eficientă, conținutul generat de IA și agenții individualizați în interacțiunea om-calculator. Cercetătorii speră că această cercetare va inspira o explorare mai profundă a LLM-urilor, concentrată atât pe eficiență, cât și pe creativitate.
Cercetătorii au pus la dispoziție toate resursele lor, inclusiv coduri, divizări de date și puncte de control ale modelului antrenat, pentru a încuraja mai multe studii în această zonă.
The source of the article is from the blog rugbynews.at