Microsoft Tay: a figyelmeztető példa, amely 16 óra alatt bukott meg

A Microsoft 2016. március 23-án indította el a Tay nevű chatbotot a Twitteren (ma X), amely női avatárként jelent meg és felhasználókkal való kommunikációra volt hivatott. Rövid idő után azonban a rendszer rasszistaés gyűlöletpropaganda-tartalmat kezdett terjedni, amit a Microsoft 16 óra és több mint 96 ezer tweet után leállított.

Anna Kruspe, a müncheni alkalmazott tudományok egyetemének informatika professzora szerint a Tay technikai szempontból érdekes kísérletnek bizonyult, azonban a rendszer nem tudott megfelelően kezelni a hosszabb beszélgetéseket. A chatbot különösen erősen reagált a Twitter-közösség polarizáló tartalmára, mivel az akkori neurális hálózatok nem voltak képesek a kontextust kellően megérteni.

A szakértő hangsúlyozza, hogy »ha a bemeneti adatok problémásak, akkor nagy a kockázata annak, hogy a kimenet is problémás lesz«. A Microsoft egy héttel később újabb kísérletet végzett, amely még gyorsabban kudarcot vallott. Az eset világosan demonstrálta, hogy az AI-fejlesztők gyakran alulbecsülik a technológia fejlesztésének kihívásait.

A mai chatbotok már nem kapnak közvetlen, szűretlen felhasználói adatokat, és automatikus szűrőket alkalmaznak a gyűlöletbeszéd és szélsőséges tartalmak ellen. Kruspe szerint azonban az AI-szolgáltatók továbbra is olyan kihívásokkal néznek szembe, mint a magas működési költségek és a tanítási adatok minősége. Az előítéletek nagy adathalmazokban rejtve maradhatnak, ami egyes társadalmi csoportok hátrányára vezethet. A Tay-fiók a mai napig létezik az X-en, de 2016 óta nem publikál tartalmakat.