Ein nyleg gransking av The Guardian har avdekka at sosiale medieselskap som stolar på kunstig intelligens (AI)-programvare for å moderere plattformane deira, genererer rapportar som er ueigna for å håndtere tilfelle av barnesexmisbruk. Dette hindrar politiet i USA frå å etterforske sakene og forsinkar identifiseringa av potensielle overgripere. ifølgje lov er selskapa forplikta til å melde frå om all barnesexmisbruksmateriale som blir oppdaga på plattformane deira, til National Center for Missing & Exploited Children (NCMEC), som då videresender opplysningane til relevante politimyndigheiter.
I løpet av 2022 fekk NCMEC over 32 millionar rapportar om mistenkt misbruk av barn, der Meta var den største rapportøren med over 27 millionar rapportar. Bruken av AI-genererte rapportar skaper imidlertid ein betydeleg utfordring for politiet. På grunn av personvernet som er verna av fjerde tilleggsartikkel i Grunnlova, har ikkje politiet eller NCMEC lov til å opne rapportane utan ein ransakingsordre, med mindre ein medarbeidar hjå det aktuelle sosiale medieselskapet har gjennomgått innhaldet. Dette rettskravet har ført til forsinkingar på fleire veker, noko som fører til at potensiell bevis kan gå tapt og overgriparar kan forbli uidentifiserte over lengre periodar.
Ekspertar på barnesikkerheit og advokatar har uttrykt bekymring for dei skadelege konsekvensane av desse forsinkingane for samfunnssikkerheit. Etterforskingane stansar opp, og politiet kan ikkje handle umiddelbart for å beskytte potensielle offer. I enkelte tilfelle deaktiverer sosiale medieselskap til og med brukarkontoar etter at ein rapport er sendt inn, noko som potensielt kan føre til fjerning av avgjerande bevis frå tenarane deira.
AI-genererte tips blir ofte ikkje etterforska fordi dei manglar spesifikk informasjon som trengs for å få ein ransakingsordre. Dette legg eit ekstra press på allereie overarbeida politimyndigheiter som ikkje har nok ressursar til å prioritere desse tipsa.
Ekspertar ser på avhengigheita av AI for moderering av innhald som ein utilstrekkeleg løysing. Medan AI kan bidra til å lette arbeidsmengda til politibetjentar, kan det ikkje erstatte behovet for menneskeleg inngriping. Som ein påtalemakar basert i Massachusetts påpeika, kan AI ikkje nødvendigvis identifisere nytt barnemisbruksmateriale og kan berre analysere eksisterande datapunkt. Betydninga av menneskeleg gjennomgang kan ikkje undervurderast når det gjeld desse sensitive sakene.
Den noverande situasjonen har ført til bekymringar rundt effektiviteten til AI-moderering og behovet for auka ressursar og støtte til politimyndigheiter for å takle den stadig veksande problematikken med barnesexmisbruk på nettet.