Yudkowsky és Soares: A superintelligenciánál nincs második lehetőség

Az AI-fejlesztés kockázatairól szóló vita középpontjában az áll, hogy a leginkább értesült szakértők – köztük Geoffrey Hinton Nobel-díjas és Toby Ord filozófus – valójában sokkal magasabbra becsülik az AI által okozott existenciális veszély valószínűségét, mint amit nyilvánosan közölnek. Hinton személyesen 50 százalék feletti kockázatot lát, de ezt nem osztja meg nyilvánosan, hogy ne keltsen pánikot. Az első brit miniszterelnök, aki a superintelligencia veszélyeiről beszélt, Rishi Sunak volt, aki azonban szintén hangsúlyozta, hogy nem szeretne pánikot kelteni.

A cikk történelmi párhuzamokat von a technológiai katasztrófák kezelésének szokásos mintájára. A Csernobil-katasztrófa során a szovjet vezetés és szakértők hosszú ideig tagadták a reaktor robbanásának lehetőségét, még az esemény után is. A Titanic elsüllyedésénél pedig az utasok kezdetben nem hittek a veszélyben, mivel az »unsinkable« hajó koncepciója olyan erősen beépült a köztudatba, hogy még a katasztrófa közepette is sokan nevetségesen találták a mentőcsónakokba szállást.

A szerző rámutat, hogy az emberiség szokásos tanulási módszere a tagadás, majd a valóság által okozott »ütések« után a probléma komolyabb kezelése. Azonban a superintelligencia esetében ez a minta nem működhet: »A superintelligenciánál nincs második lehetőség.« Az AI-cégek vezetői, akik 20 százalékos valószínűséggel beszélnek az emberiség megsemmisítésének kockázatáról, azt sugallják, hogy ez »csak« egy statisztikai szám, miközben a valódi veszély sokkal nagyobb lehet.