Egy nemrégiben végzett kutatás, melyet a Southern Methodist University végezett, betekintést nyújt azokba a kihívásokba, amelyekkel az AI modellek szembesülnek, amikor saját tartalmaikat próbálják önellenőrizni. A tanulmány a minden egyes AI modell tréning adatának egyediségét és a mögöttes transzformátor technológia által generált műveleteket vizsgálja. A kutatók arra jutottak, hogy míg néhány AI modell, mint például a Bard és a ChatGPT sikeresen azonosította saját tartalmát, mások, mint például a Claude, nehezen észlelték saját generált tartalmukat. Ez a különbség az önellenőrzésben azonosítható műveletek jelenlétével magyarázható a Bard és a ChatGPT tartalmában, míg Claude kimenetében kevesebb azonosítható művelet volt jelen.
A kutatók eredetileg azt tűzték ki célul, hogy megalapozzanak egy önellenőrző megközelítést, amit „self-detection” néven neveztek el. Ebben a módszerben egy AI modell saját műveleteit használja fel, hogy megkülönböztesse generált szövegét emberi írású szövegtől. Ez a módszer megszünteti az összes generatív AI modell számára szükséges detektor eszközök létrehozásának szükségét, jelentős előnyt nyújtva az új modellek állandóan változó táján.
Hipotézisük tesztelése érdekében a kutatók kísérleteket végeztek három AI modellen: az OpenAI ChatGPT-3.5, a Google Bard és az Anthropic Claude modelleken. Azonos indító mondatokat használva mindegyik modell ötven különböző témában készített esszéket. Az AI modelleknek azt is megparafrázolták saját tartalmukat, hogy megfigyeljék az önellenőrzés során az átdolgozott szöveg azonosítását.
Az eredmények azt mutatták, hogy Bard és ChatGPT általában sikeresen önellenőrizték saját tartalmukat. Azonban az AI detektáló eszköz, a ZeroGPT különböző modellek által generált tartalmak detektálásában változó pontosságot mutatott. Kifejezetten a Claude által generált tartalom észlelése jelentett nehézséget a ZeroGPT számára, ami szintén nehezen találta meg saját tartalmát. A kevesebb érzékelhető művelet jelenléte a Claude kimenetében magyarázza, hogy miért volt korlátozott a siker mind Claude, mind ZeroGPT részéről a Claude által készített esszék észlelésében.
Érdekes módon a tanulmány rámutatott, hogy a Bard látszólag több érzékelhető műveletet generált, ami könnyebbé tette az azonosítást, míg a Claude sokkal kevesebb műveletet hozott létre. Ezek az eredmények arra utalnak, hogy a tartalom önellenőrzésének képessége függ az egyes AI modellek által generált műveletek jelenlététől és érzékelhetőségétől.
Összefoglalva, ez a kutatás betekintést nyújt az AI modellek önellenőrzésével kapcsolatos kihívásokba. Az egyes AI modellek által generált műveletek egyediségének megértése értékes betekintést nyújthat a tartalom észlelésének fejlesztéséhez és a jövőbeni pontosabb detektor eszközök fejlesztéséhez.
The source of the article is from the blog krama.net