Karpathy új AI-teszttel próbálja felülmúlni a Pelikan-benchmarkot

Andrej Karpathy, az OpenAI korábbi alapítója és Tesla volt AI-vezetője egy új módszert javasol az AI-modellek képességeinek értékelésére. A Claude Opus 5-öt arra kérte, hogy egy Tolkien-szövegrészlet alapján 5500 soros kódot generáljon, amely egy 3D-s Középföld-jelenetet jelenít meg a böngészőben a Three.js grafikai könyvtár segítségével. A modell körülbelül két órát dolgozott, és egymillió token költségvetésből (körülbelül 10 dollár) valósította meg a feladatot.

Karpathy szerint az eddig használt »Pelikan-teszt« – amely egy kerékpáron ülő pelikán SVG-rajzolásáról szól – lassan kimerítettnek tekinthető. A Microsoft 2023-ban hasonló megközelítést alkalmazott, amikor a GPT-4-et egy unikornis rajzolására kérte TikZ-ben, amit a térbeli megértés jelének értelmeztek. Az új teszt azonban összetettebb: a modellnek nem csupán egy képet kell generálnia, hanem egy teljes interaktív világot kell létrehoznia.

Karpathy elismeri, hogy az eredmény »holpog, de szórakoztató«. A hang az Eleven Labs szövegfelolvasó szolgáltatásától származik, az objektumok elhelyezése és animációja pedig magától a modellnél történt. Az AI-vezér szerint ilyen világokat egyébként senki sem építene kézzel, de egy modellel szinte ingyenes a költség. Potenciális alkalmazásként említi a testreszabott játékvilágokat, ahol a felhasználók mellékszereplőként vagy főszereplőként jelenhetnének meg.

A teszt korlátja, hogy a modell nem tudja megtekinteni a saját videóját, és képernyőképekre kell támaszkodnia, ami hibákhoz vezethet. Más felhasználók már teljes böngészőjátékokat készíttetnek a Claude Opus 5-tel, az első személyű lövöldözőktől a Minecraft-másolatokig. Karpathy hangsúlyozza, hogy ezek nem kemény mérőszámok, hanem inkább »vibe-checkek« – szubjektív képességvizsgálatok. Karpathy jelenleg az Anthropic-nál dolgozik, ahol az előképzési kutatáson dolgozik, így saját munkaadójának modelljét teszteli.