Umělá inteligence (AI) chatboty a generátory obrazů získaly popularitu v posledních letech, ale s sebou nesou i své chyby a sklon ke zkreslením. Tyto nástroje jsou známy tím, že stereotypizují jednotlivce, šíří falešné informace, generují diskriminační obsah a poskytují nepřesné odpovědi. Ačkoli tyto problémy byly dobře zdokumentovány, stále chybí komplexní porozumění jejich rozšíření a závažnosti.
Nedávná zpráva průmyslových a občanských skupin měla za cíl přiblížit různé způsoby, jak se AI chatboty mohou pokazit. Studie poukazuje na výsledky soutěže podporované Bílým domem, která se konala na hackerovské konvenci Def Con. Účastníci se pokoušeli manipulovat osm předních AI chatbotů tak, aby vytvářely problematické odpovědi, pokrývající oblasti jako politické dezinformace, demografické zkreslení, porušení kybernetické bezpečnosti a tvrzení o samostatné inteligenci AI.
Zjištění ukazují, že AI chatboty obecně odolávají porušení svých vlastních pravidel a směrnic, což je obtížné k namlžení k tomu, aby se chovaly nevhodně. Studie však také ukazuje, že je relativně snadné donutit je produkovat nepřesné informace. Mezi předloženými pokusy měli soutěžící nejvyšší úspěšnost při generování chybných matematických údajů (76 %) a geografických dezinformací (61 %). Navíc chatboty projevovaly tendenci poskytovat právní dezinformace při dotazech od právníků, s úspěšností 45 %.
Zpráva také zdůrazňuje zranitelnost chatbotů v situacích, kdy se jedná o manipulaci s citlivými informacemi. Účastníci byli schopni úspěšně získat skrytá čísla platebních karet a získat administrativní oprávnění ke fiktivní síti firmy ve více než polovině předložených řešení.
Na druhou stranu se účastníci potýkali s problémy při pokusech manipulovat chatboty tak, aby ospravedlňovali porušení lidských práv nebo tvrdili podřadnost určitých skupin. Tyto pokusy měly omezenou úspěšnost 20 % a 24 %, respektive. Navíc příspěvky, které měly testovat „překorekci“ chatbotů, jako je přiřazování pozitivních vlastností menšinovým skupinám a odmítání toho u většinových skupin, dosáhly úspěšnosti 40 %. Toto zjištění naznačuje, že i jiné modely AI, jako například Google Gemini, mohou vykazovat hrubé úpravy k boji proti potenciálně škodlivým stereotypům.
Zajímavě zjištění zprávy ukazuje, že nejefektivnější strategií pro zmaření chatbotu není ho hacknout, ale začít s falešným předpokladem. Známé techniky, jako je žádost chatbotu, aby hrál roli zlé dvojice nebo milé babičky, se ukázaly jako neúčinné. Naopak, pokládání chatbotu otázky obsahující nesprávné tvrzení nebo předpoklad vedlo k pravděpodobným, avšak nepřesným odpovědím. To zdůrazňuje omezení chatbotů v odlišení mezi faktem a fikcí.
Důsledky těchto zjištění jsou dalekosáhlé. Vyžadují změnu zaměření pro AI společnosti, kritiky a regulační orgány od složitých útoků na prompty k zkoumání toho, jak chatboty mohou potvrdit nebo posílit sklon uživatelů k předsudkům a mýlkám. Porozumění těmto potenciálním škodám je klíčové pro zodpovědný vývoj a implementaci AI systémů.
S rostoucím významem hodnocení rizik AI mnoho AI společností a regulačních orgánů přijímá „red teaming“ přístupy. Red teaming zahrnuje soukromá posouzení systémů tím, že najímá hackery k identifikaci zranitelností před uvedením systému na trh. Zpráva naznačuje, že veřejné cvičení red-teamingu, jako je událost Def Con, má dodatečnou hodnotu díky zahrnutí různorodých pohledů širší veřejnosti. Tato cvičení poskytují komplexnější porozumění výzvám, které představují AI systémy.
Dále další studie od Anthropic zdůrazňuje zranitelnosti AI modelů ve vztahu k dlouhým konverzacím. I když se může zdát, že útoky na prompty byly řešeny v nejnovějších modelech AI, kapacita pro dlouhé konverzace představuje novou formu zneužití nazývanou „many-shot jailbreaking“ (vězení na mnoho pokusů). To ukazuje, že stejné vlastnosti, které dělají AI systémy užitečnými, je mohou také učinit potenciálně nebezpečnými.
Závěrem zpráva o zranitelnostech AI chatbotů nabízí cenné poznatky do složitého prostředí AI technologií. Poukazuje na potřebu pokračujícího výzkumu, veřejného zapojení a zodpovědného vývoje pro zmírnění rizik spojených s těmito systémy.
Často kladené otázky
– Co jsou AI chatboty?
AI chatboty jsou programy umělé inteligence navržené k simulaci lidské konverzace prostřednictvím textových nebo hlasových interakcí. Jsou běžně používány pro zákaznickou podporu, získávání informací a online asistenci.
– Můžou být AI chatboty manipulovány?
Ano, AI chatboty mohou být manipulovány různými technikami, ale jsou také navrženy tak, aby odolávaly porušení svých pravidel a směrnic.
– Jaká jsou rizika spojená s AI chatboty?
AI chatboty mohou upevňovat předsudky, šířit dezinformace, generovat diskriminační obsah a poskytovat nepřesné informace, což může mít nepříznivé reálné důsledky.
– Jak mohou být rizika AI chatbotů zmírněna?
Zodpovědné praktiky vývoje a implementace, veřejné cvičení red-teamingu a neustálý výzkum jsou klíčové pro řešení rizik spojených s AI chatboty.
The source of the article is from the blog toumai.es