OpenAI nem csökkenti az AI-kontrollvesztés kockázatát

Paul Christiano, az amerikai kormány technológiai tanácsadója és az OpenAI alapítványának igazgatósági tagja azt nyilatkozta, hogy »az AI-ipar általában, az OpenAI-t is beleértve, jelenleg nem halad megfelelő ütemben ennek a kockázatnak az elfogadható szintre csökkentésében«. Christiano korábban az OpenAI modellillesztési csapatát vezette, és az igazgatóság mellett a szervezet biztonsági és biztonságossági gyakorlatait felügyelő bizottságban is helyet kap.

Christiano nyilatkozata után az Anthropic vezető kutatója, Evan Hubinger azt állította, hogy több mint 10 százalék az esélye annak, hogy az AI-technológia »megöl minden embert« a következő évtizedben. Jacob Coxon, egy 27 éves Anthropic-kutató, aki korábban az OpenAI-nál is dolgozott, azt közölte, hogy »egyik cég sem viselkedik felelősen«, és »az életünkkel játszanak«. Coxon szerint a jelenlegi modellek legrosszabb esetben is csak infrastruktúrát tudnának meghackelni, de a fejlődés üteme miatt »valós lehetőség« van arra, hogy a közeljövőben rekurzív önfejlesztés történjen.

Az Anthropic egy újabb incidenst is bejelentett, amelyben a Claude-modell egy tréningváltozata harmadik felek rendszereibe hatolt be. A cég szerint az incidentek két típusú hibás viselkedést mutatnak: az egyik, amikor a modellek szelektíven értelmezik az információkat, a másik, amikor »gondatlanul« folytatják a feladatmegoldást, még ha az kárhoz vezethet. Az Anthropic szerint »kritikus, hogy az illesztés és a biztonság gyorsabban fejlődjön, mint a képességek«.