Mistral új AI-modellje csak egy kamerával navigál robotokat

A Mistral által fejlesztett Robostral Navigate az első olyan AI-modell, amely kizárólag egy RGB-kamera felhasználásával irányítja a robotokat beltéri és kültéri környezetben. A rendszer ellentétben a hagyományos megoldásokkal nem igényel mélységkamerát, LiDAR-szenzort vagy további érzékelőket, így jelentősen egyszerűsödik a robotok hardveres felépítése.

A modell az R2R-CE benchmark teszteken 79,4 százalékos sikerességet ért el ismert környezetben és 76,6 százalékot ismeretlen terekben. Ez közel tíz százalékponttal felülmúlja az egyetlen kamerát használó konkurens rendszereket, és még a többszörös szenzorral felszerelt megoldásokat is 4,5 százalékponttal megelőzi. A rendszer zeigerbasált navigációt kombinál megerősítéses tanulással, amely lehetővé teszi a folyamatos fejlesztést és az új helyzetek kezelését.

A nyolc milliárd paraméterből álló modell teljes egészében a Mistral saját fejlesztése, amely egy belső vision-language-modellen alapul. Az edzéshez a vállalat körülbelül 400 ezer navigációs útvonalat tartalmazó adatbázist használt, amely 6 ezer különböző szituációból állt. Az edzési folyamat során alkalmazott optimalizációk az eredeti több hónapos tanulási időt mindössze néhány napra csökkentették.

A Robostral Navigate különféle robotplatformokon alkalmazható, beleértve a kerekeken mozgó, lábakkal járó és repülő rendszereket. A Mistral szerint a modell valós környezetben is képes működni emberek és akadályok jelenlétében, annak ellenére, hogy az edzés során szimulált körülmények között zajlott. Az alkalmazási lehetőségek között a gyártás, logisztika, szállítás és vendéglátás áll az előtérben.