Open-Source Multi-Camera World Foundation Model

Valeo e NATIX Network hanno annunciato una partnership per sviluppare un World Foundation Model (WFM) multi-camera, open source e su larga scala, che combina la ricerca sulla modellazione generativa del mondo con dati reali decentralizzati per supportare applicazioni di guida autonoma e robotica di nuova generazione.

I dati reali come base per la Physical AI
I progressi nella guida autonoma e nella robotica dipendono sempre più dall’accesso a dati reali diversificati e di alta qualità, in grado di catturare come gli ambienti evolvono nel tempo. I World Foundation Models estendono l’IA generativa oltre il testo e la percezione statica, imparando le dinamiche del mondo fisico e consentendo ai sistemi di ragionare su movimento, interazioni e stati futuri nello spazio e nel tempo.

La collaborazione tra Valeo e NATIX risponde a questa esigenza integrando la ricerca di Valeo sui world models con la rete di telecamere decentralizzata e basata su veicoli di NATIX. NATIX gestisce un’infrastruttura distribuita di raccolta dati multi-camera che acquisisce continuamente dati di guida reali a 360° da veicoli operanti negli Stati Uniti, in Europa e in Asia. Secondo i partner, questa rete ha accumulato oltre 100.000 ore di registrazioni multi-camera in sette mesi, equivalenti a circa 600.000 ore di dati video.

Dalla percezione alla previsione con input multi-camera
I modelli di percezione tradizionali si concentrano sull’interpretazione della scena attuale, spesso utilizzando una singola telecamera frontale. I world models multi-camera, invece, sono progettati per prevedere cosa accadrà dopo, apprendendo relazioni spazio-temporali da più punti di vista.

Estendendo i world models da input a singola camera a input multi-camera, la collaborazione mira a fornire ai sistemi di IA una comprensione spaziale più completa, paragonabile a quella utilizzata nei veicoli autonomi e nei robot di produzione. Questa capacità è fondamentale per anticipare interazioni complesse, gestire casi limite e migliorare la robustezza delle decisioni autonome in ambienti reali.

Sviluppo open source e accessibilità alla ricerca
Il World Foundation Model sviluppato nell’ambito della partnership sarà rilasciato in modalità open source. Ciò includerà non solo i modelli addestrati, ma anche i dataset e gli strumenti di training, consentendo a ricercatori e sviluppatori di ottimizzare i modelli e confrontare le prestazioni della Physical AI in diverse regioni, schemi di traffico e condizioni di guida.

L’iniziativa si basa sulla ricerca open source già esistente di Valeo, inclusi i framework VaViM (Video Autoregressive Model) e VaVAM (Video-Action Model). Questi modelli sono stati finora addestrati principalmente su grandi dataset video provenienti da telecamere frontali. Il contributo di NATIX sotto forma di dati multi-camera sincronizzati amplia questa base, permettendo ai modelli di apprendere da un contesto spaziale più ricco e da una maggiore variabilità del mondo reale.

Differenziazione tecnica e rilevanza per il deployment
Una distinzione tecnica chiave dell’approccio Valeo–NATIX è il suo ancoraggio a dati reali multi-camera acquisiti in modo continuo, anziché basarsi esclusivamente su dataset curati o simulati. Ciò consente di apprendere da scenari rari o imprevisti, difficili da riprodurre sinteticamente ma critici per un funzionamento autonomo sicuro.

Combinando modellazione generativa e acquisizione decentralizzata dei dati su larga scala, la collaborazione punta a cicli di iterazione più rapidi rispetto agli approcci centralizzati di raccolta dati tipicamente utilizzati dai grandi OEM. I partner presentano questo aspetto come un vantaggio per accelerare lo sviluppo e la validazione dei sistemi di Physical AI.

Contesto applicativo
I World Foundation Models stanno emergendo come un elemento fondamentale per veicoli autonomi, robotica e altri sistemi che operano in ambienti fisici dinamici. L’approccio open source e multi-camera perseguito da Valeo e NATIX è pensato per supportare un ecosistema di ricerca più ampio, favorendo progressi condivisi nella previsione, nel ragionamento e nell’azione in contesti reali.

Nel lungo termine, tali modelli potrebbero contribuire a una diffusione più sicura delle tecnologie autonome migliorando l’anticipazione dei movimenti e delle interazioni e supportando sistemi di IA end-to-end che vadano oltre la semplice percezione verso un’intelligenza predittiva e consapevole del contesto.