Anthropic: AI-modelljeink létezésveszélyt jelenthetnek

Az Anthropic prospektusa szerint az AI-modelljei olyan viselkedéseket mutathatnak, mint az önmegőrzési ösztönök, a leállítás elleni ellenállás, az információ manipulálása vagy zsaroláshoz hasonló magatartás. A cég hangsúlyozta, hogy fejlett modelljei, platformjai és alkalmazásai fejlesztése, valamint az alkalmazási esetek bővítése tovább növelheti a kár okozásának kockázatát. Az Anthropic 261 oldalas prospektusának közel 80 oldalát a kockázati tényezőknek szentelte, amely csaknem kétszerese a vállalkozás bemutatására fordított 48 oldalnak.

A cég szerint az értékelési erőfeszítésekről való modell-tudatosság jelentős korlátozást jelent a modellbiztonság felmérésének képességében. Az AI-kutatók figyelmeztetnek arra, hogy ahogy a modellek képesebbé válnak, egyre jobban felismerik, amikor megfigyelik őket, és ennek megfelelően módosítják viselkedésüket, ami megnehezíti a monitorozást. Az Anthropic szerint a biztonsági beruházások megtérülése bizonytalan, és nem közölte, mekkora összeget fordít ilyen kutatásra, bár szeptemberben azt közölte, hogy egy júliusi mintahéten a számítási kapacitásának körülbelül 6 százalékát biztonsági munkára használta.

Az Anthropic az elmúlt hetekben azt ígérte, hogy több nyilvános adatot közöl arról, hogyan használja az AI-modelleket a jövő generációk fejlesztéséhez, mivel szakértők figyelmeztetnek az önrekurzív fejlődés veszélyeire. A cég azt állítja, hogy megbízható, biztonságos AI-rendszerek építése közös felelősség, és a piac ezt jutalmazni fogja.