Mesterséges intelligencia modellek tesztje: melyik szimulál legjobban egy kikötővárost?

Ethan Mollick, a Pennsylvaniai Egyetem Wharton Iskolájának AI-kutatója egy hagyományostól eltérő tesztmódszert fejlesztett ki a mesterséges intelligencia-modellek értékeléséhez. A szokásos numerikus benchmarkokkal szemben interaktív szimulációs feladatot adott az AI-rendszereknek: egy kikötővárost kellett létrehozniuk, amely 3000 évvel ezelőtt kezdődik és 3000 évig tart.

A kutatónak az AI-modellek által generált szimulációkat a »AI Harbor Town Gallery« weboldalon lehet megtekinteni. Mollick szerint ezek a tesztek meglepően informatívak, mivel a feladat kódolást, dizájnt, döntéshozatalt és tudást egyaránt igényelnek. Az értékelés két kategóriában történik: a generált kód minősége és az általános tervezés, részletes magyarázatokkal kiegészítve.

A leggyengébb teljesítményt a GPT-3.5 Turbo és a GPT-4 nyújtotta. Mindkét modell további utasításokra szorult az alapfeladat megkezdéséhez, és végeredménye sem volt teljes szimulációnak tekinthető. A GPT-3.5 Turbo csupán egy 3D-kockát generált, míg a GPT-4 egy lapos zöld felületet hozott létre néhány színes blokkkal.

A legjobb eredményt a Claude 4.8 Opus Extra érte el »Aldermouth: A kikötő időgyorsításban« címmel. Az AI nem csak egy olyan szimulációt hozott létre, ahol házak nőnek a parton és fejlődnek az idővel, hanem kódolt hajókat is, a korai zarándok-vitorlástól a nagyobb kereskedő-fregattákig. A szimulációt idővonalon keresztül lehet vezérelni, és lehetőség van alternatív város-variánsok generálására is.