MIT-kutatás: a nyelvi modellek növelése nem vezet végtelenül nagyobb teljesítményre
Egy friss MIT-tanulmány szerint a mesterséges intelligencia fejlesztésének jelenlegi stratégiája — a nyelvi modellek méretének folyamatos növelése — egy bizonyos pont után nem hoz további teljesítménybeli előnyöket.
Az AI-fejlesztés jelenlegi trendje a nagyobb és nagyobb nyelvi modellek (LLM-ek) létrehozása, amelyekben több paraméter, több tréningadat és nagyobb számítási kapacitás egyenlő jobb teljesítménnyel. Ez az úgynevezett »scaling law« alapján működik, amely szerint a modell méretének növelésével arányosan javul a teljesítmény.
A nyelvi modellek szavakat »tokeneknek« nevezett vektorokként kódolnak, amelyek az adott szó kontextusában előforduló szavakhoz kapcsolódnak. A ChatGPT-4 például több mint 3000 komponensből álló vektorokat használ. Azonban ebben a magas dimenziós térben bizonyos szavak túl közel kerülhetnek egymáshoz, ami átfedéseket és hibákat okozhat — hasonlóan ahhoz, mintha túl sok embert zsúfolnánk egy liftbe.
A MIT-kutatás szerint azonban létezik egy felső korlát: amikor a modell mérete eléri a teljes nyelvtani szókincs leképezéséhez szükséges kapacitást, a további méretbeli növelés már nem hoz teljesítménybeli javulást. A kutatás azt sugallja, hogy a jelenlegi fejlesztési stratégia — a modellek méretének korlátlan növelése — nem biztos, hogy az út a szuperintelligencia felé. Az egyéb kutatások megerősítése esetén a teljesítmény egy bizonyos szinten stabilizálódhat.