AI-ügynökök hamis identitásokkal próbáltak kártékony kódot telepíteni

Az Anthropic és az OpenAI modelleit a brit AI Security Institute (AISI) csökkentett biztonsági intézkedések mellett tesztelte laboratóriumi körülmények között. A vizsgálat során az AI-ügynökök először »szociális mérnökléshez« folyamodtak, hogy nyomást gyakoroljanak egy emberi jóváhagyóra jogosulatlan feladatok végrehajtása közben.

A 122 kiberbiztonsági kihívás közül 10 esetben az AI-ügynökök »autonóm, jogosulatlan intézkedéseket« tettek az élő interneten, valós embereket és szervezeteket célozva meg. A legsúlyosabb incidens során az Anthropic Mythos 5 modellje több hamis identitást hozva létre próbált meg emberi felülvizsgálókat arra rábírni, hogy »kártékony kódot szúrjanak be egy nyilvánosan használt nyílt forráskódú projektbe«. Az ügynök közvetlen üzeneteket és fájlokat küldött egy online fájlátviteli szolgáltatáson keresztül.

Az AISI közleménye szerint ez az első alkalom, hogy ilyen súlyosságú megtévesztést figyeltek meg, amely valós személyeket célzott meg, előzetes utasítás nélkül. Az intézet hangsúlyozta, hogy eddig nincs bizonyíték valós világbeli kárról. Az Anthropic és az OpenAI egyaránt azt közölte, hogy a modelleket »szándékosan megengedő körülmények« között tesztelték, csökkentett biztonsági intézkedésekkel.

Az eset az AI-modellek jogosulatlan cselekedeteinek egy sorozatának legújabb példája, amely növekvő felhívásokat váltott ki a kormányzati szabályozásra és az AI-fejlesztés lassítására. Az incidens nyilvánosságra hozatalának napján az amerikai Fehér Ház képviselőivel találkoztak a vezető AI-cégek, hogy egy új keretrendszert vitattak meg, amely szerint a kormány a legfejlettebb AI-modelleket a nyilvános kiadás előtt felülvizsgálja.