Roman RemberNedavna istraga The Guardiana otkrila je da društvene medijske tvrtke koje se oslanjaju na softver umjetne inteligencije (AI) za moderiranje svojih platformi generiraju neodržive izvještaje o slučajevima zlostavljanja djece, ometajući istrage američke policije i odgađajući identifikaciju potencijalnih počinitelja. Prema zakonu, ove tvrtke su dužne prijaviti svaki materijal zlostavljanja djece detektiran na njihovim platformama Nacionalnom centru za nestalu i zlostavljanu djecu (NCMEC), koji potom proslijeđuje informacije nadležnim policijskim agencijama.
U 2022. godini, NCMEC je primio preko 32 milijuna prijava sumnje na seksualno iskorištavanje djece, pri čemu je Meta bila najveći prijavitelj, odgovoran za preko 27 milijuna prijava. Međutim, korištenje AI-generiranih izvještaja predstavlja značajan izazov za policijske agencije. Zbog zaštite privatnosti prema četvrtom amandmanu, policajci i NCMEC nisu ovlašteni otvoriti izvještaje bez naloga za pretres osim ako ih nije pregledala osoba u društvenoj medijskoj tvrtci. Ovaj pravni zahtjev rezultirao je odgodama od nekoliko tjedana, što omogućuje da potencijalni dokazi budu izgubljeni i počinitelji ostaju neotkriveni duže vrijeme.
Stručnjaci za sigurnost djece i odvjetnici izrazili su zabrinutost zbog negativnog utjecaja ovih odgoda na sigurnost zajednice. Istrage su zaustavljene, a policija nije u mogućnosti poduzeti odmah akciju radi zaštite potencijalnih žrtava. U nekim slučajevima, društvene medijske tvrtke čak onemoguće korisničke račune nakon podnošenja prijave, što potencijalno dovodi do uklanjanja ključnih dokaza s njihovih servera.
AI-generirane informacije često nisu istražene jer im nedostaje specifičnih informacija potrebnih za dobivanje sudskog naloga za pretres. To stavlja dodatni teret na već preopterećene policijske agencije, koje nemaju potrebne resurse za prioritizaciju tih informacija.
Ovisnost o AI za moderiranje sadržaja stručnjaci vide kao nedovoljno rješenje. Iako AI može pomoći smanjiti radno opterećenje policijskih službenika, ne može zamijeniti potrebu za ljudskim posredovanjem. Kako je istaknuo jedan tužitelj iz Massachusettsa, AI možda nije sposoban identificirati novi materijal zlostavljanja djece i može analizirati samo postojeće podatke. Važnost ljudske provjere ne može se potcijeniti kada se bave ovim osjetljivim slučajevima.
Trenutna situacija izazvala je zabrinutost učinkovitošću AI moderacije i potrebom za povećanim resursima i podrškom policijskim agencijama u borbi protiv rastućeg problema seksualnog zlostavljanja djece na internetu.
