Nedávne vyšetrovanie denníka The Guardian ukázalo, že spoločnosti prevádzkujúce sociálne médiá, ktoré sú závislé od softvéru na umelú inteligenciu (AI) na moderovanie svojich platform, generujú neudržateľné správy o prípadoch sexuálneho zneužívania detí, čo bráni vyšetrovateľom v USA a mešká identifikáciu potenciálnych páchateľov. Tieto spoločnosti sú zákonom povinné oznámiť akýkoľvek materiál, ktorý obsahuje sexuálne zneužívanie detí, zistený na ich platformách Národnému centru pre hľadanie zmiznutých a zneužívaných detí (NCMEC), ktoré potom túto informáciu posielajú príslušným orgánom činným v trestnom konaní.
V roku 2022 NCMEC obdržalo viac ako 32 miliónov hlásení o domnelom sexuálnom vykorisťovaní detí, pričom spoločnosť Meta (dnes Facebook) je najväčším hlásiteľom, zodpovedným za viac ako 27 miliónov správ. No používanie správ generovaných AI predstavuje značný problém pre právnu sféru. Kvôli ochrane súkromia podľa štvrtého dodatku ústavy sa policajti a NCMEC nesmú otvárať správy bez záruky, pokiaľ človek zo sociálnych médií nedokumentoval ich obsah. Táto právna požiadavka spôsobuje omeškanie o niekoľko týždňov, čo umožňuje stratiť potenciálne dôkazy a páchateľom zostať nepoznaným po dlhšiu dobu.
Odborníci na ochranu detí a právnici vyjadrili obavy o škodlivý vplyv týchto omeškaní na bezpečnosť komunity. Vyšetrovanie sa zdržuje, a polícia nie je schopná okamžite konať na ochranu možných obetí. V niektorých prípadoch dokonca sociálne médiá deaktivujú používateľské účty po podaní správy, čo môže viesť k odstráneniu kľúčových dôkazov zo svojich serverov.
Správy generované AI často nie sú vyšetrované, pretože im chýba konkrétna informácia potrebná pre získanie dôvodu pre domnienkový súhlas s prehladávacím príkazom. To ďalej zaťažuje už tak preťažené právne orgány, ktoré nemajú potrebné zdroje na hodnotenie týchto správ.
Spoľahnutie sa na AI pre moderovanie obsahu je podľa odborníkov nedostatočným riešením. Zatiaľ čo AI môže pomôcť uľahčiť prácu policajtov, nemôže nahradiť potrebu ľudskej intervencie. Ako upozornil prokurátor so sídlom v Massachusetts, AI nemusí byť schopná identifikovať nový materiál s sexuálnym zneužívaním detí a môže sa zamerať iba na analýzu existujúcich údajov. Dôležitosť ľudskej kontroly nemôže byť podceňovaná pri riešení týchto citlivých prípadov.
Súčasná situácia vyvolala obavy o účinnosť moderovania AI a potrebe zvýšených zdrojov a podpory pre právne orgány na riešenie narastajúceho problému sexuálneho zneužívania detí online.