Simulering og digital materialitet

I Digitale medier og materialitet kommer jeg innom flere eksempler på VR i fiksjon. Et av eksemplene  som hører hjemme i den sammenhengen er Matrix fra 1999, nettopp fordi denne fiksjonsfilmen så tydelig peker på mange av de filosofiske sidene ved (kommende) perfekt audiovisuell simulering. Jeg diskuterer mange forhold ved dette, ikke minst i et eget kapittel om haptiske representasjonsformer,

Det er trolig mest et spørsmål om tid før vi alle har tilgang til tekniske løsninger der skillet mellom det som representeres direkte og det som genereres av datamaskiner blir svært vanskelig, nær umulig  å observere. Og vi kan med høy sannsynlighet gå ut ifra at de som er barn i dag vil benytte slike løsninger store deler av sin fritid og yrkesliv.

Vi bør derfor for alvor diskutere og forholde oss til tekniske løsninger som muliggjør utvidet og virtuell virkelighet i forhold til formidling. Forholdet mellom det som oppfattes som virkelig og det som forstås som kunstig mediert kan utfordres allerede av dagens medieteknologier. Legger vil til grunn at fremtidens representasjonsformer vil bli adskillig mer integrert med hvordan vi fysisk sanser våre omgivelser vil dette forholdet påvirke hvordan vi forstår oss selv i verden. 

Sjekk Matrix Awakens traileren / spillvideoen nedenfor, samt en sammenligning av den originale filmen og dagens versjon via Unreal Engine 5. Å lage spill og/eller film smelter for alvor sammen:

Det er mange ting som møtes her, som Metahuman Creator som ble lansert for halvannet år siden og ikke minst spillmotoren som holder den simulerte byen "levende" i sanntid.  Den virtuelle byen dekker et areal på knappe 16 kvadratkilometer, det er 260 km med veier og 1 248 veikryss. Legg til 45073 parkerte biler, hvorav 38146 er kjørbare. 7000 bygninger og 35000 simulerte MetaHuman fotgjengere.

Epic skriver blant annet følgende: 

As for the city in The Matrix Awakens: An Unreal Engine 5 Experience, it’s a living, breathing environment that never stops. Because the systems that drive its actors are part of a global simulation that is evaluated continuously, the activity that takes place in the city is far more consistent and believable. Block after block, it ticks with photorealistic AI-driven characters and vehicles—whether you’re looking at them or not.

 
This isn’t just a demonstration of the visually stunning environments it’s now possible to build, however—it also opens the door to a completely new way of storytelling. The high-fidelity simulation capabilities of UE5 are enabling an entirely new process: cinematic creation through simulation.

Many of the action scenes in the demo originated with crew members driving cars around the city to capture exciting shots. The team was able to use the simulated universe to author cinematic content, like live-action moviemakers scouting a city to find the best streets to tell their story—but without the physical constraints of the real world.

Where our sample project Valley of the Ancient gave a glimpse at some of the new technology available in UE5, The Matrix Awakens: An Unreal Engine 5 Experience goes a step further: it’s an interactive experience running in real time...

Skuespillerne fra filmen The Matrix 4: Resurrections har også noen interessante refleksjoner:

Begrepet digital materialitet anskueliggjøres på mange vis, men som jeg diskuterer i den nevnte boken er det ikke nødvendigvis de observerbare representasjonene som er det mest interessante. Jeg eksemplifiserer og diskuterer en rekke aspekter ved digital materialitet der de dataene som brukeren gjør tilgjengelig for datamaskinen, kan betraktes som manipulasjon av parametre, en form for dynamiske instruksjonsdata som kan anvendes for å endre funksjoner og design. Selv om det finnes måter å jobbe parametrisk i analoge medier, er dette først og fremst metoder som kjennetegner digitale data og hvordan disser er forbundet med omgivelsene gjennom programvarestyrte algoritmer – en kybernetisk tilbakekobling. Jeg ender da også opp med begrepet kybernetisk materialitet: 

Matrix Awakens opplevd gjennom spillmotoren Unreal fungerer her som et eksempel på at mange digitale verk aldri vil foreligge i én fastlagt form. Design- og produksjonsprosessene er slik sett dynamiske, alle delene er avhengige av både mennesker og datamaskiner. Mennesker har en vesentlig plass også i mange kybernetiske systemer. Men menneskets rolle endrer seg, fra å være den som i en analog omgivelse gjør vurderinger og direkte iverksetter endringer, til i større grad å endre parametre som igjen er med på å påvirke hvordan maskiner agerer. Et kybernetisk system kan designes slik at menneskers beslutninger tillegges stor vekt, men det vil ikke være det eneste maskinen tar hensyn til. Her bruker jeg et enkelt eksempel, som samtidig inneholder den kybernetiske kompleksiteten, den digitalt styrte fresen som jeg brukte som et eksempel i mitt første konferanseinnlegg som underviser i kunst og håndverk. Et menneske bestemmer her den overordnede banen som fresen skal følge, men maskinen vil ta hånd om noen av detaljene og overstyre mennesket dersom hen skulle være ustø på hånden.

Kybernetisk materialitet kan fange opp et samspill mellom natur, mennesker og andre aktører. Materialer, maskiner og digitale representasjonsformer forstås da som aktører. Samtidig ivaretar begrepet kybernetisk materialitet sammenhengene mellom hva digitale artefakter kan være, hva de kan gjøre og hvordan de kan observeres og brukes, jf. perspektivene på digital materialitet som jeg diskuterer i kapittel 7 (verk, distribusjon, fremføring, grensesnitt, diskurser).

Så er det bare å kikke gjennom denne i løpet av julen ...