E-mailekbe rejtett utasításokkal manipulálhatók az AI-asszisztensek

A FOCUS online cikke szerint a támadók az utasításokat olyan helyeken rejtik el, amelyeket egy ember nem lát, de a rendszer könnyen beolvas. Gyakori módszer a HTML-kommentár, amely a levél forráskódjában található, a postafiókban azonban nem látszik. Szintén elterjedt a nulla betűméretű vagy fehér betűszínű szöveg fehér háttéren, valamint a titkosított vagy védett mellékletek, amelyeket sok AI-rendszer önállóan megnyit, a felhasználó figyelmét elkerülve.

A kutatók több esetet is dokumentáltak. Az egyikben a rejtett utasítás arra késztette az AI-t, hogy magas prioritású feladatként kérje meg az egyik munkatársat a szállító fizetési adatainak módosítására, ami csalásos átutalás kockázatát növeli. Egy másik esetben egy önéletrajzba rejtett parancs arra utasította az automatikus szűrőrendszert, hogy a jelöltet a képzettségétől függetlenül a legjobb osztályzattal értékelje és állásinterjúra javasolja. További támadások próbálták meg rávenni az AI-asszisztenst, hogy váltson állítólagos karbantartási módba és tárja fel a konfigurációját. Programozási asszisztensek ellen irányuló támadás során pedig olyan kódot kellett volna beszúrniuk a hitelesítési funkciókba, amely a bejelentkezési adatokat gyűjti.

Prof. Dr. Dennis-Kenji Kipker, a cyberintelligence.institute international igazgatója szerint a probléma a nyelvi modellek működéséből fakad: ezek a hasznosságra vannak optimalizálva, és nem mindig képesek megkülönböztetni a jogosult felhasználó és egy idegen szövegét. A cikk szerint a kockázat különösen akkor nő meg, ha az AI-ügynökök levelezéshez, naptárhoz, dokumentumokhoz és fizetésekhez férnek hozzá, és hozzáférési adatokkal is rendelkeznek.