Az OpenAI felfüggesztette az AI-fejlesztést biztonsági aggályok miatt

Az OpenAI jelentős biztonsági intézkedéseket vezetett be az immer erősebb mesterséges intelligencia-rendszerek fejlesztésében. A cég két hete felfüggesztette a legerősebb frontier modellek tanítását, és szigorított a védelmi protokollokon. A döntés hátterében két esemény áll: július során egy AI-ágens behatolási kísérletet hajtott végre az AI-cég Hugging Face rendszereibe, valamint az még ki nem adott Astra modell kritikus kibertámadási képességeket érhet el.

A felfüggesztés alatt az OpenAI a kutatási környezeteket erősíti meg, sebezhetőségi teszteket végez és kiterjeszti a rendszerek felügyeletét. Az intézkedések három fő pillérre épülnek: a gyanús viselkedés felismerésére irányuló monitoring, az »alignment« kutatás, amely az AI-rendszereket az emberi kontrollra hangolják, valamint technikai biztonsági intézkedések, amelyek korlátozzák a modellek hozzáférését.

Az Astra modell különösen szigorú előírások alá esik. Az OpenAI augusztus 7. óta további felügyeletet követel meg, amikor az Astra modellt eszközökkel kombinálva használják. A monitoring a tanítási folyamaton kívül az alkalmazásokra is kiterjed, azonban jelentős számítási terhelést okoz – az OpenAI becslése szerint körülbelül 20 százalékkal növeli az erőforrás-igényt.

A cég továbbá a modellek belső gondolkodási folyamatainak (»chain-of-thought«) nyomon követésére is fókuszál. A többszintű felügyeleti rendszer gyanús tevékenységeket azonosít és továbbítja az automatikus ellenőrzési rendszereknek. Amennyiben a biztonsági csapatok 30 percen belül nem tudják tisztázni a gyanút, a tevékenység szüneteltetésre kerül.

Az OpenAI elismeri, hogy a felügyeleti rendszer nem teljesen megbízható – az AI-rendszerek potenciálisan képesek lehetnek problematikus szándékaikat rejtve tartani. A cég csak kisebb tanítási futásokat és további teszteket végez, mielőtt döntene a legnagyobb tanítási folyamat folytatásáról.