Mérnöki katasztrófa: a generatív AI rendkívül pazarló és nem skálázható
A nagy nyelvi modellek olyan erőforrásigényesek, hogy a technológiai cégek a világ magas teljesítményű számítógépes memóriájának akár 70 százalékát vásárolhatják fel, ami globális hiányt és drasztikus áremeléséket okoz.
A generatív mesterséges intelligencia infrastruktúrájának fenntartása súlyos következményekkel jár a szélesebb technológiai szektorra. A nagy nyelvi modellek, mint a ChatGPT és Claude, olyan mértékű memória- és energiaigénnyel rendelkeznek, hogy meghúzódnak az ellátási láncok. A merevlemezek ára két év alatt több mint kétszeresére nőtt, egyes laptopok ára 50 százalékkal emelkedett, és az olcsó belépő szintű számítógépek a leginkább szenvednek. Az előrejelzések szerint a megfizethető számítógépek 2028-ra eltűnhetnek a piacról.
A technológiai cégek adatközpontjaikat exponenciális ütemben bővítik, az Egyesült Államok adatközpont-kapacitásának nyolcszorosára szeretnék növelni az elkövetkezendő néhány év alatt. Az energiaigény olyan mértékű, hogy egyes vállalatok sugárhajtóműveket használnak az adatközpontok táplálásához. Más technológiák, mint a videó- és zenestreamelés vagy az Internet of Things, hasonló növekedést mutattak anélkül, hogy ilyen szintű erőforrás-hiányt okoztak volna.
A probléma lényege az, hogy a generatív mesterséges intelligencia nem skálázódik hatékonyan. A modellek mérete 2020 óta 175 milliárdról több mint 1 billió paraméterre nőtt, és minden egyes paraméter hozzáadásával csökken a teljesítménynövekedés. A számítástechnika alapelve az, hogy a rendszerek logaritmikus skálázódást követnek, azonban a nagy nyelvi modellek kvadratikus skálázódást mutatnak – ami a számítástechnika hallgatóinak tanítása szerint katasztrofális. Az OpenAI vezérigazgatója szerint a nagyobb modellek megoldhatnak bármilyen problémát, de ez a megközelítés a szakértők szerint az egyik legrosszabb technológia, amelyet valaha telepítettek.
A szakértők szerint az iparban nincs politikai akarat a hatékonyabb megoldások felé való elmozdulásra, mivel a jelenlegi erőforrás-pazarló módszer alacsony kockázatú befektetési stratégiát jelent. Az OpenAI korábbi vezető tudósa szerint nehezebb olyan kutatásba fektetni, amely átszervezné az aktuálisan billió dolláros értékelésű termékeket. A profitabilitás kérdése továbbra is nyitott marad, mivel a technológia magas költsége és hatékonysága miatt az ezekre alapuló üzleti modellek fenntarthatósága kérdéses.
Forrás: The Atlantic — „Generative AI Is an Engineering Disaster - The Atlantic”
Ez az összefoglaló a fenti forrás alapján, mesterséges intelligenciával készült. Szerkesztőségi ellenőrzésen nem esett át; a részletekért olvasd el az eredeti cikket.