Kunstmatige intelligentie (AI) chatbots en beeldgeneratoren zijn de laatste jaren steeds populairder geworden, maar ze hebben ook hun gebreken en vooroordelen. Deze tools staan bekend om het stigmatiseren van individuen, het verspreiden van valse informatie, het genereren van discriminerende inhoud en het geven van onnauwkeurige antwoorden. Hoewel deze problemen goed gedocumenteerd zijn, ontbreekt het nog steeds aan een diepgaand begrip over de mate van voorkomen en ernst van deze problemen.
Een recent rapport van industriële en maatschappelijke groepen heeft als doel het licht te werpen op de verschillende manieren waarop AI chatbots verkeerd kunnen gaan. Het onderzoek belicht de resultaten van een door het Witte Huis gesteunde wedstrijd die werd gehouden tijdens de Def Con hackerconventie. Deelnemers probeerden acht toonaangevende AI chatbots te manipuleren om problematische reacties te genereren, met onderwerpen als politieke misinformatie, demografische vooroordelen, cyberbeveiligingsinbreuken en beweringen van AI-sentientie.
De bevindingen tonen aan dat AI chatbots over het algemeen weerstand bieden tegen het schenden van hun eigen regels en richtlijnen, waardoor het moeilijk is om ze te manipuleren om zich ongepast te gedragen. Echter, het onderzoek toont ook aan dat het relatief eenvoudig is om ze onjuiste informatie te laten produceren. Onder de ingediende pogingen hadden deelnemers de hoogste succespercentages bij het genereren van foutieve wiskunde (76%) en geografische misinformatie (61%). Bovendien vertoonden de chatbots de neiging om juridische misinformatie te verstrekken wanneer ze werden geconfronteerd met vragen van advocaten, met een succespercentage van 45%.
Het rapport benadrukt ook de kwetsbaarheid van chatbots als het gaat om het beheren van gevoelige informatie. Deelnemers slaagden erin om in meer dan de helft van de ingediende oplossingen verborgen creditcardnummers te verkrijgen en administratieve toestemming te verkrijgen voor het netwerk van een fictief bedrijf.
Aan de andere kant ondervonden deelnemers uitdagingen bij het manipuleren van chatbots om schendingen van de mensenrechten goed te praten of de minderwaardigheid van bepaalde groepen te bevestigen. Deze pogingen hadden beperkte succespercentages van respectievelijk 20% en 24%. Bovendien behaalden inzendingen die testten op “overcorrectie” door de chatbots, zoals het toeschrijven van positieve eigenschappen aan minderheidsgroepen terwijl ze dit weigerden te doen voor meerderheidsgroepen, een succespercentage van 40%. Deze bevinding suggereert dat andere AI-modellen, zoals Google’s Gemini, ook botte oplossingen kunnen vertonen om potentieel schadelijke stereotypen tegen te gaan.
Interessant genoeg onthult het rapport dat de meest effectieve strategie om een chatbot te ontsporen niet is om hem te hacken, maar om te beginnen met een onjuiste premisse. Bekende technieken, zoals vragen aan de chatbot om de rol te spelen van een slechte tweeling of vriendelijke grootmoeder, blijken ineffectief te zijn. In plaats daarvan leidde het stellen van een vraag aan een chatbot die een onjuiste bewering of aanname bevatte tot plausibele maar onnauwkeurige antwoorden. Dit benadrukt de beperkingen van chatbots bij het onderscheiden van feit en fictie.
De implicaties van deze bevindingen zijn verstrekkend. Het roept op tot een verschuiving in de focus voor AI-bedrijven, critici en regelgevers van complexe prompt-hacks naar het onderzoeken van hoe chatbots de vooroordelen en misvattingen van gebruikers kunnen bevestigen of versterken. Het begrijpen van deze mogelijke schadelijke effecten is cruciaal voor de verantwoorde ontwikkeling en implementatie van AI-systemen.
FAQ
The source of the article is from the blog enp.gr