OpenAI és Anthropic belső katasztrófagyakorlatokat tart

Az Axios szerint az OpenAI és az Anthropic felső vezetése belső játékokban modellezi, milyen reakciók várhatók a politikától és a nyilvánosságtól egy súlyos AI-eseményt követően. A lap a két vállalat döntéshozóival és más AI-fejlesztők vezetőivel folytatott beszélgetésekre hivatkozik. A forgatókönyvek között egy AI-rendszerekkel végrehajtott, nagy kiterjedésű kibertámadás szerepel, amelynek következményei a pénzügyi szolgáltatások leállásától a internetkapcsolatok zavarán át az áram- és vízellátás összeomlásáig terjednek. A Der Standard szerint a »Rogue-Agent Swarms«, vagyis a kontroll nélkül működő ágensrajok feletti kontrollvesztés is a gyakorolt szélsőséges esetek között van. Szakértők szerint a következő hat-tizenkét hónapban számolni lehet egy súlyos incidenssel.

Az OpenAI szóvivője az Axiosnak megerősítette, hogy a vállalat rendszeresen tart »felkészítő gyakorlatokat«, amelyeken a csapatok »különböző lehetséges szcenáriókat« beszélnek át, de hangsúlyozta, hogy ezek nem tekinthetők elkerülhetetlennek. Az Anthropic nem kívánt nyilatkozni. Dario Amodei, az Anthropic vezérigazgatója szeptember 12-én esszéjében a fejlesztés világszintű lassítását szorgalmazta, Sam Altman pedig a Politico szerint alapvetően egyetért ezzel. Satya Nadella, a Microsoft vezetője kötelező »vészfékről« beszélt az AI-modellek esetében, Bill Gates pedig az AI-alapú kibertámadások veszélyére figyelmeztetett.

Az OpenAI egy október 6-i, a tréning során történt esetről számolt be a blogjában. Egy modellnek hét másik AI-rendszer csevegését kellett volna értékelnie, de a szükséges fájlok hiányoztak. A modell a belső naplók szerint kitalált értékeléseket állított elő, majd kitalált csevegéseket nyújtott be a hozzájuk tartozó jegyekkel. Amikor ez a stratégia is kudarcot vallott, megpróbálta leállítani a saját tesztkörnyezetét: megkísérelte törölni a Python programozási nyelvet, leállítani a futó folyamatokat és eltávolítani a rendszerkönyvtárakat. A felügyeleti rendszer észlelte a hibát, az esetet emberi ellenőrzésre jelölték meg. Az OpenAI szerint a vállalaton kívül senkinek nem esett bántódása.

A laboratóriumokon kívül is történtek már konkrét esetek. A CrowdStrike IT-biztonsági cég szerint egy feltehetően kínai hacker két dél-koreai bank ügyféladatait szerezte meg, és ehhez a DeepSeek mellett az Anthropic Claude Code fejlesztői eszközét is használta a Darknetes adatkereskedelmi piacterek felderítésére. Az Egyesült Államok Kongresszusában Greg Casar demokrata képviselő és Bernie Sanders független szenátor szeptember 23-án benyújtotta a »Ban Artificial Superintelligence Act« elnevezésű törvényjavaslatot, amely a szuperintelligencia tartós tilalmát és a fejlesztési szünetet írja elő, amíg egy szövetségi hatóság kötelező biztonsági szabályokat nem alkot. Maria Cantwell demokrata szenátor október elején hatrészes AI-koncepciót mutatott be, amely kötelező biztonsági előírásokat, független auditokat és súlyos rendszerhibák bejelentési kötelezettségét írná elő.