Lidia PerskaNové techniky zabudovania prinášajú zložité výzvy pre modely umelej inteligencie
Výskumníci zistili, že najnovšie techniky zabudovania spôsobujú problémy pre pokročilé modely umelej inteligencie ako GPT-4o a Llama 3.1 405B, ako uviedla spoločná štúdia medzi inštitúciami ako je Univerzita v Washingtonu, Princeton, Univerzita v Chicagu, USC a Google. Štúdia naznačuje, že súčasné metódy zabudovania ešte nie sú účinné pri vymazávaní konkrétnych údajov bez poškodenia celkovej funkčnosti modelu.
Učiaci proces modelov umelej inteligencie
Generatívne modely umelej inteligencie fungujú na základe vzorov, ktoré sa naučili z rozsiahlych množstiev údajov. Napríklad, keď je im podaný údaj z e-mailu končiaci sa na „Tešíme sa…“, funkcia automatického dokončovania predpovedá frázu „… na odpoveď.“ Tieto modely chýbajú zámer a spoľahnutie iba na štatistickú analýzu na navrhovanie odpovedí.
Konundrum autorských práv a nástup techník zabudovania
Nepovolené získavanie údajov pomocou modelov umelej inteligencie od verejných zdrojov spôsobilo autorské spory s jednotlivcami a organizáciami, ako sú autori, vydavatelia a hudobné vydavateľstvá. Techniky zabudovania pritiahli významnú pozornosť ako reakcia na túto problematiku, pričom Google inicioval súťaže na podporu rozvoja efektívnych metód pre opravu modelu.
Výzvy pri implementácii techník zabudovania
Stratégie zabudovania sa snažia spriemerovať modely od určitých vzorov údajov na zvýšenie ochrany údajov. Avšak ovplyvňovanie predpovedí modelu môže viesť k zníženiu výkonu pri odpovedaní na otázky. Shi a jej tím predstavili test MUSE (Machine Unlearning Six-way Evaluation), aby analyzovali vplyv zabudovania na zachovanie informácií modelom.
Budúce vyhliadky a pokračujúci výskum
Štúdia podčiarkuje zložitosť techník zabudovania a zdôrazňuje potrebu ďalšieho preskúmania v tejto oblasti. Aj keď zabudovanie môže ponúkať nádej pre budúce riadenie údajov umelej inteligencie, súčasné výzvy naznačujú, že je potrebný ďalší výskum na prekonanie obmedzení existujúcich metód.
