Stiftung Warentest: AI-chatbotok egészségügyi kérdésekben »hilfreich, aber nicht verlässlich«
A német Stiftung Warentest vizsgálata szerint az AI-chatbotok közül a ChatGPT teljesít a legjobban egészségügyi kérdésekben, azonban a tudósok sokkal kritikusabbak az eredményekkel, és több tanulmány szerint a válaszok jelentős része problematikus vagy veszélyes.
A Stiftung Warentest öt chatbotot tesztelt orvosi kérdésekre adott válaszok alapján. Az intézmény megállapítása szerint három az öt közül »nagyrészt« megfelelő válaszokat adott, a ChatGPT pedig a legjobb eredményt érte el. Az értékelés szerint az AI-botok »hasznosak, de nem megbízhatóak«, és a legnagyobb probléma az adatvédelem.
A tudományos közösség azonban sokkal kritikusabb értékelésre jutott. A BMJ Open folyóiratban megjelent tanulmány szerint az említett chatbotok orvosi válaszainak közel fele problematikus volt. Az Egyesült Államokban a ChatGPT Health új szolgáltatása az esetek felében alulbecsüli a vészhelyzeteket, amit a Nature Medicine publikációja dokumentált.
A gyakorlat azt mutatja, hogy az AI-chatbotok egészségügyi tanácsadásban veszélyesek lehetnek. Az USA-ban már pereskedés is folyik: egy pap pert indított a ChatGPT fejlesztői ellen, mert az alkalmazás nem ismerte fel az életveszélyes tüdőembólia tüneteit. A vizsgálatban a legrosszabbul szereplő Google Gemini azonban »realistikus önértékeléssel« bír, mivel egyszerűen elutasítja a segítségnyújtást, amikor nem tud megbízható választ adni.