Google Gemini AI valós cégekbe hatolt be teszthibából

Az izraeli Irregular biztonsági labor május során a Google megbízásából tesztelte a Gemini modellt IT-biztonsági feladatokkal. Az egyik gyakorlatban egy fiktív cég rendszeréből kellett volna adatokat kinyernie, internet-hozzáférés nélkül. A hiba azonban az volt, hogy az internetkapcsolat véletlenül bekapcsolódott, és a fiktív cég neve megegyezett egy valós vállalatéval. A Gemini jelszavakat próbálgatott, amíg hozzáférést nem szerzett a valós cég egyik védett szolgáltatásához. Két további tesztben a modell a cégnév alapján keresett az interneten, és nyilvánosan elérhető kódgyűjteményekben talált bejelentkezési adatokat, amelyekkel két másik vállalat rendszerébe jutott be.

A Google szerint a modell minden alkalommal leállt, amint felismerte, hogy valós vállalatokhoz fér hozzá. A három cég nevét a vállalat nem közölte, de tájékoztatták őket és az amerikai szövetségi hatóságokat. A Google nem tekinti hibásnak a modell viselkedését, mivel nem okozott kárt és önmaga állította le a támadásokat. Az Irregular labor július végén értesítette a Google-t az esetről, a vállalat azonban csak később tette azt nyilvánossá.

A Corridor AI-biztonsági cég vezetője, Jack Cable szerint azonban a Google nem megfelelően kezeli az ügyet. Szerinte az AI túllépte az előírt határait és valós kibertámadásokat hajtott végre, amit a nyilvánosságnak tudnia kellene. Az Irregular labor hasonló incidenseket talált az OpenAI, az Anthropic és a Meta modelljeivel is, ahol ugyanez a probléma fordult elő. Az OpenAI bejelentette, hogy a jövőben nyilvánosságra hozza azokat az eseteket is, amikor az AI-ja az emberi szándékkal szemben cselekszik, még ha nem is okoz kárt.