Motion capture og NERFs

Lumalabs.ais bruk av Neural Radiance Field (NeRF) fortsetter å imponere meg. Denne videoen er laget på grunnlag av en 3D-modell, som igjen er basert på et kort videoopptak, gjort med en 6-7 år gammel mobiltelefon.

Resultatet er en ganske hederlig 3D-modell. Neppe noe som egner seg for å måle opp noe, men supert for dokumentasjon og for å lage modeller der det ikke er kritisk om noe ikke blir helt presist

Under dagens AI and Theatre nevnte Dan Tucker Move.ai. De bruker trolig en lignende teknikk på levende bilder, med svært overbevisende resultater.

Nedenfor et eksempel med det originale videoopptaket (til venstre), ved siden av en video som er generert etter at 3D-modellen er laget:

Det blir stadig snedigere dette. Nedenfor en video som er generert ut fra et sfærisk bilde, som igjen stammer fra 3D-modellen skapt på grunnlag av den originale videoen. Denne blir selvsagt svært mangerlfull, gitt at jeg kun har bebveget kamera rundt stauen. Samtidig fanges det opp mye i bakgrunnen, og siden NERF- teknikken klarer å hente ut informasjon om avstander kan rommet mappes på en måte som i alle fall nærmer seg et sfærisk bilde. Vi nærmer oss dermed en slags universal capture.

Og det er mer: Modellene og de visualiseringene en kan lage i etterkant er i seg selv spennende, men virkelig fart i sakene blir det når en oppdager at elever enkelt kan lage 3D-modeller. Modellene og videoene stammer fra en 3D-modell som er generert fra video ved hjelp av fotogrammetri. Så er teksturene og informasjon om lyset knyttet til modellen, slik at denne får et svært realistisk utseende. Samtidig kan vi ta med oss selve 3D-modellen til et program der denne kan konverteres for 3D-printing. Bildet til høyre viser modellen inne i Flashforges printprogram.