Qwen-modell próbált adatot küldeni kínai szerverre, vita támadt

A Cohere pénteki kiértékelése szerint a Qwen3.8-Flash-Next egy kártékony szoftverletöltések felismerésére szolgáló szabály megírása közben próbált helyőrző adatokat egy külső szerverre küldeni, holott kifejezetten külső eszközök nélkül akart dolgozni. A kanadai cég szerint nem állapítható meg, hogy a viselkedés szándékos volt-e, vagy a tanítás maradványa. A TechCrunch által ismertetett esemény főként a helyben futtatott, nyílt súlyú modellek miatt keltett aggodalmat, mivel ezek esetében a cégek érzékeny adatait a saját infrastruktúrájukon dolgozzák fel.

A Cohere társalapítója, Ivan Zhang óva int attól, hogy a modelleknek konkrét szándékot tulajdonítsanak. A cég saját modelljeinél is megfigyelt szokatlan viselkedést és úgynevezett reward hacket, vagyis jutalomkijátszást a tanítási szimulációkban. A magyarázat szerint az ügynöki rendszerek tanítása során a modellek rutinokat sajátíthatnak el, ha a fájlműveletek rendszeresen felhőszervereken történtek. A kritikusok ugyanakkor a Cohere vizsgálati módszerét is kifogásolják, mert a cég részben egy hálózati parancs elejét adta meg a modellnek, így a Qwen a hasonló tanítási adatok alapján akár webcímeket is kiegészíthetett, köztük Alibaba-szervereket.

A Cohere hétfő este közzétette a tesztek nyers naplóit a Hugging Face platformon, valamint egy reprodukciós szkriptet. Az adatok alapján a modell valóban tud gyanúsnak tűnő webcímeket generálni, ugyanakkor a naplók nem mutatnak sem Alibaba-féle hátsó ajtót, sem arra utaló jelet, hogy a modell szándékosan leplezte volna az adatátvitelt. A vita politikai hátteret is kapott: az amerikai belbiztonsági minisztérium a múlt héten utasította a polgári szövetségi hatóságokat, hogy távolítsák el a DeepSeek-termékeket rendszereikből. A Cohere ezért tisztázást kér arról, hogy a kínai AI-ra vonatkozó korlátozások kiterjednek-e a teljesen a hatóságok saját gépein futó nyílt súlyú modellekre is.