JON HOEM

Førsteamanuensis ved Institutt for kunstfag, Høgskulen på Vestlandet – Bergen.

Underviser i kunst og håndverk, og forsker på og med nye kunst- og medieformer. Leder forskergruppen MaTecSus.

Jeg er interessert i forholdet mellom medier og fysiske materialer: i 2021 kom boken Digitale medier og materialitet med en grundig diskusjon av denne tematikken. Jeg er særlig interessert i det haptiske (berøring og bevegelse) knyttes til lyd.

Fremover jobber jeg særlig med den telematiske operaen Zosimos (2023-26) og (støy)instrumentet Sonic Greenhouse.

Nylig avsluttede prosjekter er Sonus (2023), Sampling av lyd og bærekraft (2022-), "Auditomosjon" (2021-23) og "Aquafoni" (2022).

Videre sfæriske medier, ulike former for roboter, mm.

Min Dr.-avhandling om personlig publisering (2009).

Siterte artikler og publikasjoner i Cristin.

27. juni 2023

Motion capture og NERFs

Lumalabs.ais bruk av Neural Radiance Field (NeRF) fortsetter å imponere meg. Denne videoen er laget på grunnlag av en 3D-modell, som igjen er basert på et kort videoopptak, gjort med en 6-7 år gammel mobiltelefon.

Resultatet er en ganske hederlig 3D-modell. Neppe noe som egner seg for å måle opp noe, men supert for dokumentasjon og for å lage modeller der det ikke er kritisk om noe ikke blir helt presist

Under dagens AI and Theatre nevnte Dan Tucker Move.ai. De bruker trolig en lignende teknikk på levende bilder, med svært overbevisende resultater.



Nedenfor et eksempel med det originale videoopptaket (til venstre), ved siden av en video som er generert etter at 3D-modellen er laget:

Det blir stadig snedigere dette. Nedenfor en video som er generert ut fra et sfærisk bilde, som igjen stammer fra 3D-modellen skapt på grunnlag av den originale videoen. Denne blir selvsagt svært mangerlfull, gitt at jeg kun har bebveget kamera rundt stauen. Samtidig fanges det opp mye i bakgrunnen, og siden NERF- teknikken klarer å hente ut informasjon om avstander kan rommet mappes på en måte som i alle fall nærmer seg et sfærisk bilde. Vi nærmer oss dermed en slags universal capture.

Og det er mer: Modellene og de visualiseringene en kan lage i etterkant er i seg selv spennende, men virkelig fart i sakene blir det når en oppdager at elever enkelt kan lage 3D-modeller. Modellene og videoene stammer fra en 3D-modell som er generert fra video ved hjelp av fotogrammetri. Så er teksturene og informasjon om lyset knyttet til modellen, slik at denne får et svært realistisk utseende. Samtidig kan vi ta med oss selve 3D-modellen til et program der denne kan konverteres for 3D-printing. Bildet til høyre viser modellen inne i Flashforges printprogram.



Ingen kommentarer:

Legg inn en kommentar

Kommentarer er svært velkommen. På grunn av problemer med spam må jeg imidlertid godkjenne kommentarer før de publiseres. Vanligvis skjer dette i løpet av noen timer.

 
◄ Free Blogger Templates by The Blog Templates | Design by Pocket