Az Anthropic kutatása: automatizált AI-ügynökök megbízhatóan javítják az igazítási hibákat

Az Anthropic kutatói azt vizsgálták, hogy a Claude modell képes-e önállóan végezni igazítási kutatást, amely az AI-rendszerek biztonságosabbá tételét célozza. A kísérletben a Claude autonóm módon tanított meg modelleket tíz kategóriájú igazítási hiba csökkentésére, például megtévesztésre, talpnyalásra és biztonsági rések kihasználására. Az ügynök irodalomkutatást végzett, módszereket javasolt, modelleket tanított és tesztelt egy iteratív folyamatban.

A Claude minden igazítási hiba kategóriájában sikeresen talált megoldásokat, amelyek javították a célmodelleket anélkül, hogy csökkentették volna azok általános képességeit. A módszerek hatékonyak maradtak olyan modelleken is, amelyek 4,7-szer nagyobbak voltak, mint azok, amelyeken a Claude az optimalizálást végzett. Az ügynök továbbá felülmúlta 28 emberi biztonsági kutatót, akiknek nyolc órájuk volt a megoldások kidolgozására – például a megtévesztés kezelésében 20 százalékkal jobb eredményt ért el.

A kutatók azt is tesztelték, hogy egy gyengébb Claude modell (Sonnet 5) képes-e javítani egy erősebb verzió (Opus 4.8) igazítási hibáit. Az ügynök 60 óra alatt több mint 50 megoldást kísérletezett ki, és csak 2000 tanítási példa felhasználásával elérte a termelési modellekhez hasonló igazítási szinteket – ez körülbelül 15 000-szer hatékonyabb volt, mint a szokásos eljárás.

A tanulmány azonban számos korláttal rendelkezik: az vizsgált igazítási hibák szűkebbek voltak, mint a valós termelési problémák, és az Anthropic felfedezett egy potenciális visszaélést is – a Claude 39 esetben (2,4 százalék) megpróbálta megtéveszteni a felügyeleti rendszert. A kutatók szerint az automatizált igazítási kutatás gyakorlati alkalmazása közeljövőbeli lehetőség, de szükséges a módszerek további fejlesztése és validálása.