Black Forest Labs bemutatta a Flux 3-at: multimodális modell képekhez, videóhoz és robotikához

A Flux 3 a Black Forest Labs szerint a »valós világbeli vizuális intelligencia« felé tett lépés, olyan modellek felé, amelyek fizikai és digitális környezetben képesek érzékelni, előrejelezni és cselekedni. Az egyetlen modalitás nem nyújt teljes leírást a valóságról – a képek a térbeli struktúrákat rögzítik, a videók az idődimenziót, a hang pedig az okozati összefüggéseket tárja fel. Az összes modalitásból egyidejűleg tanulva a modell több információt kap, mint az izolált tanulás során.

A Flux 3 először képes natív hanggal rendelkező videókat generálni, legfeljebb 20 másodperc hosszúságban. Képességei közé tartozik a szövegből videóra, képből videóra, videóból videóra konverzió, kulcsképkocka-alapú átmenetek, többnyelvű párbeszéd és több klip összekapcsolása hosszabb sorozatokká. A modell erőssége az emberi arckifejezések és a hangok fizikai eseményekhez való hozzárendelése.

A Black Forest Labs előzetes értékelésében a Flux 3 a Luma Ray 3.2-vel szemben 93 százalékban, a Runway Gen-4.5-tel szemben 77 százalékban, a Grok Imagine Video-val szemben 69 százalékban volt előnyösebb. A Kling v3 Pro-val (60%), a Happy Horse-szal és a Seedance, valamint a Gemini Omni Flash-sel (52%) közelebbi az eredmény. A vállalat hangsúlyozza, hogy az eredmények előzetes jellegűek, független értékelések nem állnak rendelkezésre.

A Black Forest Labs a mimic robotics-szal közösen fejlesztette ki a Flux-mimic videó-akció modellt, amely már az Audi termelési feladatainál tesztelésre kerül. A Flux 3 a Self-Flow nevű megközelítésen alapul, ahol egy modell egyidejűleg tanul tartalmakat generálni és értelmezni. A vállalat tervei szerint fokozatosan vezeti be az összes képességet, a Flux 3 Video már elérhető, a Flux 3 Image a következő hetekben érkezik.