Nvidia: da video normale a slow motion di alta qualità

I ricercatori NVIDIA hanno creato un nuovo sistema AI in grado di trasformare i video standard a 30 fps in video al rallentatore di alta qualità. Video che sembrano essere stati effettivamente girati a frame rate più elevati e con una fotocamera ad alta velocità. Il video qui di seguito, della durata di 1 minuto e mezzo, dimostra come si possa passare da video normale a slow motion di alta qualità utilizzando  l’intelligenza artificiale messa in campo da Nvidia (qui potete trovare la ricerca).

“Ci sono molti momenti memorabili nella vostra vita che potreste voler registrare con una macchina fotografica al rallentatore perché sono difficili da vedere chiaramente con i vostri occhi: la prima volta che un bambino cammina, un trucco difficile con lo skateboard, un cane che cattura una palla”, scrivono i ricercatori nel loro documento di ricerca. “Mentre è possibile registrare 240 fotogrammi al secondo video con un telefono cellulare, la registrazione di tutto con frame rate elevati è impraticabile, in quanto richiede grandi memorie un consumo ad alta intensità di energia per i dispositivi mobili”.

Quindi, invece di documentare tutta la vita con le telecamere al rallentatore, l’idea dei ricercatori di NVIDIA è che le persone possono registrare i video come fanno oggi (a frame rate “normali”), quindi utilizzare la IA di NVIDIA per rallentare alla bisogna i video. QUindi passare quando volete e senza salvare file di grandi dimensioni,  da video normale a slow motion di alta qualità.

I ricercatori hanno allenato la loro IA su oltre 11.000 video di sport e vita quotidiana, girati a 240 fotogrammi al secondo. L’ampio archivio di filmati reali al rallentatore ha permesso all’intelligenza artificiale di imparare a prevedere i fotogrammi extra e ad immaginarli. In questo modo la IA va a completare la sequenza di fotogrammi con dei nuovi fotogrammi da essa “disegnati”, andando quindi a creare un ponte visivo tra i due fotogrammi reali.

Per trasformare un video ordinario in un video al rallentatore, l’AI crea 3 fotogrammi tra due esistenti, andando quindi a rendere fluida la scena e permettere al video di essere riprodotto a 240 fotogrammi al secondo.

“Il nostro metodo può generare più fotogrammi intermedi che sono coerenti dal punto di vista spaziale e temporale“, affermano i ricercatori. “Il nostro approccio multi-frame supera costantemente i più moderni metodi a frame singolo“.

Da notare che per contribuire a dimostrare la ricerca, il team ha preso una serie di clip da The Slow Mo Guys, una popolare serie di intrattenimento scientifico e tecnologico basato sul rallentatore disponibile su YouTube creato da Gavin Free, interpretato da se stesso e il suo amico Daniel Gruchy, rendendo i loro video ancora più lenti.