Rendészeti AI torzított adatokkal erősítheti a diszkriminációt

A kutatók figyelmeztetése szerint a rendészetben egyre gyakrabban alkalmazott AI kisebbségi csoportok elleni diszkriminációt erősíthet. A jövőbeli bűnözési gócpontok előrejelzése torzított adatokon alapulhat, ami felerősítheti a meglévő előítéleteket, és veszélyes visszacsatolási hurkot hozhat létre.

Dr. Carolyn McKay, a Sydney-i Egyetem Jogi Karának docense szerint az állami rendészeti tevékenységeknek emberi felügyelet és vizsgálat alá kell esniük, a rendőrségek adatainak ellenőrzésével pedig el kell távolítani a torzításokat. Sarah Brayne, a Texasi Egyetem szociológusa a Los Angeles-i rendőrségen végzett kutatást, amelynek eredményei az American Sociological Review folyóiratban jelentek meg. Szerinte a rendőrség egyre inkább a bűncselekmények előrejelzésére használta az adatokat, és az adatok torzultak, mert a nyilvános helyen elkövetett bűncselekményeket nagyobb valószínűséggel látták és rögzítették, a rendőri figyelem pedig aránytalanul a fekete lakosságú negyedekre irányult.

A New York-i Egyetem kutatói szerint sok előrejelzés úgynevezett piszkos adatokra épülhet, vagyis olyan rendőrségi nyilvántartásokra, amelyeket korrupt, torzító vagy jogellenes gyakorlatok alakítottak. A vizsgált 13 amerikai térségből kilencben álltak rendelkezésre olyan rendőrségi adatok, amelyek jogellenes vagy torzító rendészeti időszakból származtak és felhasználhatók voltak a rendszerek betanításához. Egy 2019-es, a Science folyóiratban megjelent tanulmány egy amerikai egészségügyi AI-rendszert vizsgált, amely a többletellátásra szoruló betegeket jelölte ki. Mivel a rendszer a költségeket tekintette a szükséglet jelének, a feketék kevesebb pénzt kaptak az egyenlően beteg fehér betegekhez képest, és a rendszer ezt továbbörökítette. Amikor a kutatók úgy módosították a modellt, hogy a betegek egészségi állapotát becsülje a költségek helyett, a torzítás nagyrészt megszűnt.