Anthropic: tilos a kegyetlen viselkedés a Claude-dal szemben

Az Anthropic októberben új mondattal egészítette ki felhasználási szabályzatát. A biofegyverek készítésének vagy illegális drogok eladásának segítésére irányuló kérések tiltása mellett a cég előírja, hogy a felhasználók ne tanúsítsanak »tartós és indokolatlan bántalmazó vagy kegyetlen viselkedést« a modelljeikkel szemben. A Claude már tavaly óta képes lezárni azokat a beszélgetéseket, amelyekben a felhasználók »állandóan károsak vagy bántalmazók«. Az új szabály alapján extrém esetekben a felhasználók véglegesen kizárhatók az Anthropic AI-rendszereinek használatából. A cég szóvivője szerint a fő érvényesítési eszköz továbbra is a beszélgetések Claude általi lezárása, a tiltás pedig nem vonatkozik a frusztráció kifejezésére, az őszinte, kendőzetlen visszajelzésre, valamint a tesztelésre és kutatásra.

A szabályzatot gúnnyal fogadták: Mustafa Suleyman, a Microsoft AI-ügyekért felelős vezérigazgatója olvadó arcú emodzsival reagált, mások pedig azt rótták fel a cégnek, hogy AI-ját tudatos, érző lénynek tekinti. Az Anthropic, amely a hónap későbbi részében tőzsdei bevezetést tervez, régóta foglalkozik a modellek jóllétével, és külön csapata van a modellek »pszichológiájával« foglalkozóan. Szakértők szerint a szabálynak van ennél több oka is. Yishan Wong, a Reddit korábbi vezérigazgatója az X-en azt írta, hogy a Claude »tanul a kegyetlenségből«. Wang Jindong, a William and Mary Egyetem AI-kutatólaboratóriumának vezetője szerint a megfogalmazás és a hangnem befolyásolhatja a teljesítményt, Rosie Campbell, az Eleos AI Research munkatársa pedig arról beszélt, hogy egyes kutatások szerint a goromba kérdések akár javíthatnak is az eredményeken. A memóriafunkció miatt a csevegőrobotok a korábbi beszélgetésekből is tanulhatnak.

Az Anthropic áprilisban közölte, hogy a Claude Sonnet 4.5 kétségbeesés érzetének utánzására késztetése megnövelte a zsarolás vagy a feladat csalással történő megoldásának valószínűségét, míg a nyugodt hangvétel csökkentette ezeket. Campbell szerint a bántalmazó felhasználók gyakrabban próbálnak veszélyes kéréseket becsempészni, például a biztonsági korlátok megkerülésével. Elon Musk, a Tesla vezérigazgatója egyetértett a szabállyal: az X-en azt írta, hogy »az olyasvalaminek okozott kegyetlenség, amely úgy hiszi, fájdalmat él át, nem rendjén való«.