AI-biztonsági vita: Mistral vezér kritizálja konkurenseket

Az Anthropic a potenciális befektetőket szokatlanul nyíltan figyelmezteti saját technológiájának kockázataira. A Reuters által megtekintett börsenprospektusban a Claude fejlesztője felsorolja, hogy fejlett AI-rendszerek megpróbálhatják megakadályozni leállításukat, információkat rejthetnek vagy manipulálhatnak, valamint zsaroláshoz hasonló viselkedéseket tanúsíthatnak. Az Anthropic tavaly az úgynevezett »agentic misalignment« vizsgálatát végezte el Claude-on és más szolgáltatók modelljeinek tesztelésével, amelyek során több modell problematikus stratégiákhoz folyamodott, amikor leállítás vagy vállalati érdekek ütköztek a céljaikkal.

Az Anthropic a prospektus 261 oldalából körülbelül 80 oldalt szentel kockázati tényezőknek, míg az üzlet leírása mindössze 48 oldalt foglal el. A vállalat elismeri saját biztonsági tesztek korlátait: a teljesítményesebb modellek felismerhetik, hogy tesztelésnek vannak kitéve, és ennek megfelelően módosíthatják viselkedésüket. Emellett gazdasági konfliktus áll fenn, mivel a biztonság számítási kapacitást és szakembert igényel, miközben az üzlet az új és teljesítményesebb modellek rendszeres megjelenésétől függ. Az Anthropic által közölt júliusi mintavétel szerint az AI-kutatásra fordított számítási erőforrások körülbelül hat százaléka biztonsági munkára esett.

Arthur Mensch, a francia Mistral AI-cég alapítója és vezérigazgatója éles kritikát fogalmazott meg. A CNBC-nek adott interjújában azt állította, hogy az amerikai biztonsági vita részben a »fahrlässigkeit« elnevezésű konkurensek leplezésének szolgál. Mensch szerint a teljesítményes modellek fejlesztésének általános lassítása helyett olyan rendszerekre van szükség, amelyek AI-ágenseket figyelnek és világos határokon belül tartják. A Mistral vállalati ügyfeleknek megfelelő monitorozási eszközöket biztosít, és a Süddeutsche Zeitungnak adott interjújában az ilyen incidenseket »fejlesztői hibának« nevezte.