Nedávný výzkum provedený Southern Methodist University se zabývá výzvami, kterým čelí AI modely při vlastním detekování svého obsahu. Studie zkoumá jedinečnost výcvikových dat každého AI modelu a artefakty generované podkladovou transformační technologií. Výzkumníci zjistili, že zatímco některé AI modely, jako Bard a ChatGPT, dokázaly úspěšně identifikovat svůj vlastní obsah, jiné, jako Claude, měly potíže s detekováním svého vlastního generovaného obsahu. Tato rozporuplnost ve vlastním detekování lze přičítat přítomnosti detekovatelných artefaktů v obsahu modelů Bard a ChatGPT, zatímco výstup Claudia vykazoval méně identifikovatelných artefaktů.
Výzkumníci původně směřovali k vývoji přístupu vlastního detekování nazvaného „self-detection“, kdy AI model používá vlastní artefakty k rozlišení svého generovaného textu od textu psaného lidmi. Tato metoda eliminuje potřebu vytvářet detekční nástroje pro všechny generativní AI modely, poskytující významnou výhodu v neustále se vyvíjejícím prostředí nových modelů.
Pro otestování své hypotézy provedli výzkumníci experimenty s třemi AI modely: ChatGPT-3.5 od společnosti OpenAI, Bard od Googlu a Claude od společnosti Anthropic. S použitím stejných podnětů vygeneroval každý model eseje na padesát různých témat. AI modely byly také vyzvány k parafrázování svého vlastního obsahu, aby bylo pozorováno vlastní detekování přepsaného textu.
Výsledky ukázaly, že Bard a ChatGPT byly obecně úspěšné ve vlastním detekování svého vlastního obsahu. Detekční nástroj AI ZeroGPT však měl různou míru přesnosti při detekci obsahu generovaného různými modely. Zejména ZeroGPT měl potíže s detekováním obsahu generovaného Claudem, který měl také problémy s vlastním detekováním svého obsahu. Menší počet detekovatelných artefaktů výstupu Claudia vysvětluje, proč Claudovy eseje měly omezený úspěch při detekci jak Claudem, tak ZeroGPT.
Zajímavě studie také odhalila, že Bard se zdá generovat více detekovatelných artefaktů, což jej činí snadněji detekovatelným, zatímco Claude generoval významně méně artefaktů. Tyto zjištění naznačují, že schopnost detekovat vlastní obsah je ovlivněna přítomností a možností detekování artefaktů generovaných každým AI modelem.
Závěrem tato výzkumná práce přináší náhled na výzvy, kterým AI modely čelí ve vlastním detekování svého generovaného obsahu. Porozumění jedinečnosti artefaktů každého AI modelu může poskytnout cenné poznatky pro zlepšení detekce obsahu a posunutí vývoje přesnějších nástrojů pro detekci v budoucnosti.
The source of the article is from the blog krama.net