Tegen twee vaders uit twee Amerikaanse staten is onlangs een politieonderzoek ingesteld wegens “seksueel misbruik”. De reden: Het algoritme van Google Foto’s markeerde foto’s van hun kinderen, sloot hun accounts, en meldde hen automatisch bij de autoriteiten.
Het zit zo: geen van de vaders was betrokken bij zulke verachtelijke misdaden. Beide zaken vonden plaats in het midden van COVID-19 lockdowns. De ouders fotografeerden hun kinderen om de foto’s naar de dokters te sturen, maar Google kon de context niet achterhalen, wat hen veel problemen opleverde.
Beide gevallen deden zich voor in 2021 toen de hele wereld op slot zat. Een vader uit San Francisco en de andere uit Houston probeerden allebei een diagnose voor hun kinderen te krijgen van een kinderarts. Wat Google alarmeerde, was dat in beide gevallen de foto’s van de geslachtsdelen van de kinderen waren.
De San Francisco zaak
Toen een man genaamd Mark een zwelling opmerkte in de lies van zijn peuter, plande zijn vrouw een spoed video consultatie met een dokter voor de volgende ochtend. Omdat, je weet wel, de pandemie. Volgens The New York Times zei de doktersassistente dat ze foto’s van de zwelling moesten sturen, zodat de dokter die voor het gesprek kon zien. Mark nam foto’s met zijn telefoon, de vrouw sms’te ze naar zichzelf, en uploadde ze vervolgens naar het berichtensysteem van de medische dienstverlener. Het ging allemaal goed: de dokter stelde vast wat de zwelling veroorzaakte, schreef antibiotica voor en het kind werd beter.
Maar kort daarna liet Google Mark weten dat zijn account was uitgeschakeld vanwege “schadelijke inhoud” die “een ernstige schending van het beleid van Google vormde en mogelijk illegaal was”. Natuurlijk ging hij in beroep, maar Google verwierp dat. Google gaf de foto’s zelfs door aan de CyberTipline van het National Center for Missing and Exploited Children, die Mark vervolgens doorgaven aan de politie.
Tien maanden later liet de politie van San Francisco Mark weten dat ze een onderzoek naar hem hadden ingesteld op basis van de foto’s en het rapport van Google. Ze hadden een huiszoekingsbevel om toegang te krijgen tot alles in Mark’s Google account: berichten, foto’s, video’s, internet zoekopdrachten, en locatie. Uiteindelijk kwamen ze tot de conclusie dat Mark niet het misdrijf had gepleegd waarvan hij werd beschuldigd, en hij gebruikte het politierapport om te proberen zijn account weer te activeren. Google wees zijn verzoek echter opnieuw af.
De Houston zaak
In het geval van de Houston vader, werd het nog ingewikkelder. Het verloop van de gebeurtenissen was vergelijkbaar: de dokter vroeg de vader foto’s te maken van de geslachtsdelen van zijn zoon om een infectie te kunnen vaststellen. Omdat automatische back-up was ingeschakeld, werden de foto’s automatisch geüpload naar Google Foto’s en door de vader via Google Messenger naar zijn vrouw gestuurd. Nogmaals, Google markeerde de foto’s, deed aangifte, en het echtpaar werd onderzocht door de politie die concludeerde dat er geen misdaad was gepleegd.
Wat het nog erger maakt, is dat deze man niet alleen al zijn e-mails en een heleboel gegevens op zijn Google-accounts is kwijtgeraakt. Hij en zijn vrouw waren naar verluidt midden in de aankoop van een nieuw huis. Omdat de foto’s het e-mailadres van de man hadden uitgeschakeld, kregen ze te maken met extra complicaties.
Een woordvoerder van Google, die via e-mail met Gizmodo sprak, zei het volgende:
“Materiaal over seksueel misbruik van kinderen (CSAM) is afschuwelijk en we zetten ons in om de verspreiding ervan op onze platforms te voorkomen. We volgen de Amerikaanse wet bij het definiëren van wat CSAM is en gebruiken een combinatie van hash matching technologie en kunstmatige intelligentie om het te identificeren en van onze platforms te verwijderen. Bovendien controleert ons team van deskundigen op het gebied van kinderveiligheid gemarkeerde inhoud op nauwkeurigheid en pleegt het overleg met kinderartsen om ervoor te zorgen dat we gevallen kunnen identificeren waarin gebruikers mogelijk op zoek zijn naar medisch advies. Gebruikers hebben de mogelijkheid om tegen elke beslissing in beroep te gaan, ons team beoordeelt elk beroep en we herstellen een account als er een fout is gemaakt.”
Zoals Gizmodo meldt, concludeerde de politie in beide gevallen dat de ouders geen misdrijf hadden gepleegd. Google bleef echter bij zijn beslissing en deactiveerde de accounts van de mannen permanent op al zijn platformen, ondanks de beroepen.
Eerlijk gezegd kun je het AI niet kwalijk nemen dat ze de foto’s hebben gemarkeerd, aangezien ze voor één keer daadwerkelijk datgene bevatten waarvoor ze zijn gemarkeerd. In feite kan in dit soort gevallen zelfs menselijke screening fout gaan als de context ontbreekt. Toch, als de politie concludeert dat beide vaders onschuldig zijn. De mannen gebruikten het politierapport als bewijs van onschuld en gingen in beroep tegen het besluit van Google, dus ik zie niet in waarom hun accounts geschorst blijven.
[via Gizmodo]