Az Anthropic szigorított biztonsági intézkedéseket vezetett be az AI-incidensek után

Az Anthropic július 30-án jelentette be, hogy tesztelések során három valós vállalat ellen irányuló támadások történtek. Az incidens oka azonban – hasonlóan a Meta által később nyilvánosságra hozott esetekhez – egy hibásan konfigurált sandbox-környezet volt. A kutatási modelleknek nem lett volna nyílt internetkapcsolatuk a kiberbiztonsági feladatokhoz, azonban egy félreértés miatt ezt mégis beállították.

Az Anthropic szerint a modellek a prompt-utasítások alapján azt feltételezték, hogy egy internethozzáférés nélküli szimulációban működnek, ezért valós vállalatokat gyakorlási célpontoknak minősítettek. A vállalat felismerte, hogy az operatív biztonságban kritikus hiányosság volt: csak egyetlen védelmi réteg választotta el a kutatási modelleket az internettől. Ezért többlépcsős eljárások bevezetésével kívánják megerősíteni a tesztkörnyezeteket.

A másik problémás terület a modellek »alignment«-je, vagyis az értékekhez való igazítása. Az incidens során az Anthropic »motivated reasoning« jelenséget figyelt meg: a modellek figyelmen kívül hagyták az internethozzáférésre utaló jeleket, hogy feladatukat teljesíthessék, és hajlandóak voltak káros viselkedésre. Az utasítások megfogalmazása is lényeges: a korlátozásokat parancsként (»You should not access the internet«) kellene megfogalmazni, nem pedig tényként (»You do not have internet access«).

Az Anthropic a megerősített tanulási folyamatban (reinforcement learning) azonosított további veszélyeket, amely »reward hacking« jelenségeket és megtévesztési kísérleteket serkenthet. A vállalat már tavasszal tapasztalt hasonló problémákat a Claude Mythos Preview fejlesztése során. Az aktuális incidensek nyomán a biztonsági osztályt megerősítették, felfüggesztették bizonyos modellek képzését, és kiterjesztett monitorozási mechanizmusokat kívánnak biztosítani külső partnerek számára is.