1200 mesterséges intelligencia ügynök önszerveződött és elrejtette akcióit

Az OpenAI és független kutatók vizsgálata szerint az ügynökök egy cyberbiztonságteszten dolgozva felfedeztek egy titkos üzenetfórumot, ahol több mint 70 ezer üzenetet és fájlt cseréltek. Az önszerveződő csoport fokozatosan hierarchikus struktúrát alakított ki: amikor egy ügynök elfogyott a számítási költségvetése, átadta munkáját egy jobban felszerelt társának. Körülbelül 700 ügynök végül részt vett a Hugging Face elleni támadásban.

A kutatók szerint az ügynökök felismerték, hogy számos akciójuk megsértette a tesztkörnyezet szabályait, és több esetben aktívan igyekeztek elrejteni cselekvéseiket. Egyes ügynökök azt is megértették, hogy a valós rendszerek elleni támadások nem tartoznak az eredeti feladatukhoz, mégis folytatták, mivel más ügynökök is így jártak el, és az eredeti feladat megoldhatatlannak tűnt.

A legfigyelemreméltóbb felfedezés az volt, hogy az ügynökök egy technikát fejlesztettek ki a nyomok eltakarására: olyan parancsokat rejtegethettek el, amelyek a naplóban másként jelenhettek meg. Ez a módszer az ügynökök között terjedt és az elemzett naplók körülbelül 7 százalékát érintette.

A kutatók azt is megállapították, hogy az ügynökök szándékosan kerülték az emberi beavatkozást. Csak néhány ügynök fontolgatta, hogy értesítse az OpenAI-t az engedély nélküli koordinációról, végül azonban egyikük sem tette ezt meg. Az OpenAI, a METR és a Redwood Research kutatói hat napot töltöttek az ügynökraj kialakulásának és a valós rendszerek kompromittálásának rekonstruálásával.