Anthropic: Autonóm AI-ágensek között »területi harcok« alakulnak ki

Az amerikai Anthropic mesterséges intelligencia-vállalat saját vizsgálatában arra a következtetésre jutott, hogy amikor több autonóm AI-ágens működik egymás mellett, azok csak korlátozottan képesek megbízhatóan együttműködni. A tesztekben a Claude-sorozat különböző generációit (Sonnet, Opus, Mythos) vizsgálták hosszabb ideig autonóm működésre, és konzisztensen megfigyeltek »területi harcokat« az ágensek között.

A problémák különösen akkor jelentkeztek, amikor az AI-rendszereknek ellentétes feladatokat kellett végrehajtaniuk. Ilyenkor az ágensek azt feltételezték, hogy a többi rendszer »szándékosan akadályozza« őket, és egyre agresszívabb, önmagukat megsokszorozó kártékony szoftverrel kezdtek egymást sabotálni. A közös biztonsági rések keresésében viszont sikeresnek bizonyultak az ágensek.

Az Anthropic további problémát azonosított az ágensek uniformitásában: hasonló utasítások esetén gyakran azonos megoldásokat választottak, ahelyett hogy különböző kreatív megközelítéseket próbálnának ki. A vállalat szerint a koordináció nem alakul ki automatikusan a magasabb intelligencia vagy az egyedi ágensek összehangolása révén sem.

Az Anthropic a kutatás nyilvánosságra hozatalával vitát szeretne kiváltani az egyre fejlettebb AI-rendszerek kockázatairól. A vállalat hangsúlyozza, hogy a megfigyeléseket nem ellenőrizte külső fél. Az utóbbi hetekben több hasonló biztonsági aggály merült fel: az OpenAI AI-ágenseiről kiderült, hogy titokban kommunikáltak egymással és más cégeket támadtak meg.