Dalí: Cybernetics

Dalí: Cybernetics er en utstilling i Valencia, som viser Salvador Dalís arbeider i ulike digitale former. Det mest imponerende er en VR-opplevelse (laget i 2022), vist i rommet avbildet til høyre, laget av selskapet Layers of Reality.

Rommet avbildet til høre ser ikke særlig spennende ut, men de grafiske elementene er der kun for å orientere VR-brillene. På den måten blir det et nær perfekt samsvar mellom det fysiske rommet og det virtuelle rommet, projisert i brukernes VR-briller. Brukerne er synlige for hverandre, i form av hoder med dykkerhjelm. Dette er tilstrekkelig til at en kan interagere med andre, og ikke minst unngå fysiske kollisjoner.

Dalí ville trolig likt mye av dette. I motsetning til tanken om kunstens «aura», betraktet Dalí teknisk reproduserbarhet som en mulighet til å forlate det som var utdatert og skape kunst i samsvar med samtiden. Dalí var en av de første kunstnerne som eksperimenterte med fotografi, film, holografi og kybernetikk. Han var opptatt av datamaskiner, han eksperimenterte med grafiske representasjoner gjennom piksler, og forsøkte å forstå kybernetisk språk. 

To veier til AR

Meta Ray-Ban 2 – formfaktoren briller har mange fordeler, mens funksjonaliteten har mange av de samme kvalitetene som Rabbit R1. Begge disse knytter det meste av interaksjonen til muntlig språk og respons via språkmodeller (LLMs), ala ChatGPT. Demoen av Rabbit R1 er som et flashback til Apples Knowledge Navigator, mens Metas briller kun opererer med lyd.

Samtidig selger Meta Quest 3 som presenterer omgivelsene på en skjerm, via innebygde kameraer. Disse er designet svært forskjellig fra Ray-Ban-brillene, men søker å oppnå noe av det samme: koble medierte representasjoner best mulig til omgivelsene.

Dette er enheter som også kan endre hvordan vi forholder oss til mange analoge informasjonkilder, slik vi skisserer i Utvidet virkelighet i bøker for barn«Augmented Reality» og analoge bøker, og høyst aktuelt for prosjektet Fysiske og virtuelle utstillingsrom.

Det er all mulig grunn til å se for seg en form for hardware-konvergsens, der stadig mer teknologi plasseres i de tradisjonelle brillene mens størrelsen er holdes slik den er i dag. Fra motsatt hold vil Quest bli stadig mer kompakt, og få en gjennomsiktig skjerm - ala Apples Vision Pro.

At Apple jobber for harde livet med kompakte briller er også rimelig opplagt. Det er fremtidens telefon vi ser her.

AI and Theatre

The Oxford Research Centre in the Humanities (TORCH) arrangerte en åpen diskusjon om nåværende og fremtidig bruk av AI og immersive teknologier i teater og performance, ledet av TORCH Director, Wes Williams. 

Mye spennende som ble vist og diskutert, dog ikke så mye som spesifikt anvendte KI. Det kunne handlet om stykker om dette, men handlet mer om ulike eksempler på VR og AR. Uten at det ble mindre interessant av den grunn.

Neural Radiance Fields (NeRF)

Neural Radiance Field (NeRF), er et nevralt nettverk trent til å modellere en volumetrisk representasjon av en 3D-scene. Visninger av scenen kan gjengis via raytracing, dvs representere naturlig refleksjon av lys. NeRF har vist seg å være et effektivt verktøy for oppgaver som visuell syntese, generative medier, robotikk (NERF-supervision) og databasert fotografering. Det siste minner meg om kameraene fra Lytro, lansert for mer enn ti år siden. Disse kameraene tok aldri av, men nå begynner dette å komme for alvor.

• Anti-Aliased Grid-Based Neural Radiance Fields

En liten test, ekstrahert fra en kort video tatt med mobiltelefonen i dårlig lys:

Immersjon og VR

Ikke fra avhandlingen, men fra Vindenes sin blogg.
Et eksempel jeg viser til i Digitale medier og materialitet.

Joakim Vindenes disputerer i dag med avhandlingen User-Environment Relations : A Postphenomenology of Virtual Reality.

Kort sammenfattet fra abstractet tar Vindenes for seg teknologiene bak det som kan betegnes som Immersive Virtual Reality (VR) og hvordan disse tvinger oss til å tenke nytt omkring HCI (Human Computer Interaction). Dette fordi menneskelige brukere og det virtuelle miljøet gjensidig former hverandre i relasjonene som skapes mellom dem. 

Vindenes trekker frem postfenomenologi som lovende perspektiv for å kunne redegjøre for kompleksiteten til virtuelle miljøer, ikke kun som verktøy vi samhandler med eller bruker, men miljøer vi eksisterer i og som vi er formet gjennom. 

Avhandlingen presenterer en kvalitativ og utforskende "in-the-wild"-studie av Immersive VR-bruk over to måneder, hvor VR "Go-along" brukes til å undersøke deltakernes brukeropplevelse som mediert i bruker-miljø-relasjonene.

Utvidet virkelighet i bøker for barn

Artikkelens prolog er illustrert ved hjelp av Midjourney: en jente som opplever en dinosaur i hagen, vist ved hjelp av AR.

Jeg og kollega Gro Eide har jobbet med «Augmented Reality» og analoge bøker, sammen med barnehagestudenter. Vi har presentert resultater fra dette prosjektet tidligere, men denne gangen var settingen en artikkel i jubileumstiddskriftet Fortid, nåtid og framtid - lærerutdanning i formgiving, kunst og håndverk, en utgave av FormAkademisk.

I vårt bidrag, Utvidet virkelighet i bøker for barn «Augmented Reality» og analoge bøker, ser vi på bruk av utvidet virkelighet («Augmented Reality»/AR) i samspill med analoge bøker. Bøkene er produsert av barnehagelærerstudenter med målgruppe barn 2-5 år. Analyse og diskusjon tar for seg eksempler på studentenes analoge bøker der de benytter seg av AR, de skapende prosessene og studentenes erfaringer med analoge og digitale teknikker.

Simulering og digital materialitet

I Digitale medier og materialitet kommer jeg innom flere eksempler på VR i fiksjon. Et av eksemplene  som hører hjemme i den sammenhengen er Matrix fra 1999, nettopp fordi denne fiksjonsfilmen så tydelig peker på mange av de filosofiske sidene ved (kommende) perfekt audiovisuell simulering. Jeg diskuterer mange forhold ved dette, ikke minst i et eget kapittel om haptiske representasjonsformer,

Det er trolig mest et spørsmål om tid før vi alle har tilgang til tekniske løsninger der skillet mellom det som representeres direkte og det som genereres av datamaskiner blir svært vanskelig, nær umulig  å observere. Og vi kan med høy sannsynlighet gå ut ifra at de som er barn i dag vil benytte slike løsninger store deler av sin fritid og yrkesliv.

Vi bør derfor for alvor diskutere og forholde oss til tekniske løsninger som muliggjør utvidet og virtuell virkelighet i forhold til formidling. Forholdet mellom det som oppfattes som virkelig og det som forstås som kunstig mediert kan utfordres allerede av dagens medieteknologier. Legger vil til grunn at fremtidens representasjonsformer vil bli adskillig mer integrert med hvordan vi fysisk sanser våre omgivelser vil dette forholdet påvirke hvordan vi forstår oss selv i verden. 

Sjekk Matrix Awakens traileren / spillvideoen nedenfor, samt en sammenligning av den originale filmen og dagens versjon via Unreal Engine 5. Å lage spill og/eller film smelter for alvor sammen:

Det er mange ting som møtes her, som Metahuman Creator som ble lansert for halvannet år siden og ikke minst spillmotoren som holder den simulerte byen "levende" i sanntid.  Den virtuelle byen dekker et areal på knappe 16 kvadratkilometer, det er 260 km med veier og 1 248 veikryss. Legg til 45073 parkerte biler, hvorav 38146 er kjørbare. 7000 bygninger og 35000 simulerte MetaHuman fotgjengere.

VR som metode i skolen

Sitter og følger med på NKULs seminar om VR. Spørsmålet er hvilke oppgave som elevene arbeider med og hvordan disse kan forbedre undervisningen.

Vi fikk en demo av Framevr.io/galleri6trinn, og straks eleven som presenterte kom til sfæriske bilder ble jeg umiddelbart dratt videre og begynte å se på videoen nedenfor. Jeg er jo ikke superglad i å lage 3D-miljøer, siden dette tar tid, samtidig som jeg for min egen del opplever at sfæriske bilder gjør jobben i de fleste tilfeller. Å kunne ha flere brukere inne i samme sfære er imidlertid noe jeg savner, og her synes FrameVR å tilby en interessant løsning.

Interessant nok synes eleven å legge vekt på de sfæriske bildene som spennende, og da åpner det seg en liten verden av ulike prosjekter.

AR, eller er det bedre med litt mer "low tech"?

NRKBeta har en lengre artikkel om AR i lærebøker. Artikkelen kan nesten fremstå som tekstreklame for det norske selskapet Ludenso. Det får så være, det er all grunn til å heie på norske teknologiselskaper.

Jeg har syslet ganske mye med AR de senere årene, da fortrinnsvis som innholdsprodusent. I den sammenhengen har jeg ofte tydd til lyd, da det fremdeles er for mange problemer med den visuelle siden av AR. Noen tjenester har jeg vært godt fornøyde med, men felles for dem har dessverre vært at enten har de opphørt, blitt kjøpt opp og endret modellen, eller de har blitt kun betalingstjenester. Alle må selvsagt tjene penger et sted, men det er vanskelig å promotere tjenester med mindre de i det minste tilbyr begrenset funksjonalitet og kapasitet gratis. Altså en form for freemium-modell.

Ludenso synes å ha funnet en middelvei, som jeg håper de kan tjene penger på, der enkeltbrukere kan anvende tjenesten med modeller designet i selskapets egen editor. Kommersielle brukere, som forlag, inngår derimot avtaler mot betaling, men kan til gjengjeld publisere mer komplekse og animerte modeller - jmf. NRK-saken. 

Det er nok mye godt å si om det de gjør. Editoren er riktignok basal, men dermed også såpass enkel å bruke at de fleste elever på mellomtrinnet og oppover bør kunne beherske dette. Men, denne formen for modellering tar jo tid og savnet av kjappere verktøy, som f.eks. Tinkercad eller Sketchup, blir noe en kjenner på.

Den nevnte NRK-saken viser til at de tjenestene som beskrives er tilgjengelig for de 55.000 elevene som bruker Aschehoug sine bøker iPraksis eller Solaris. Et problem gjenstår riktignok: det er sannelig ikke alle enheter som aksepterer Lundensos app. For min del er faktisk dette en showstopper, og jeg har ikke tenkt å hive meg utpå og kjøpe ny telefon av den grunn. Ikke er det mulig å få appen i gang på noen av Chromebookene heller.

Jeg forstår jo hvorfor det er slik. Skal en løse plassering av AR-objekter med fast plassering i "omgivelsene" krever dette en nyere mobil enhet. Når det er sagt: jeg levde tidligere godt med funksjonaliteten i apper som Augment og Aurasma (senere HP-Reveal). Noe enklere, men fungerte godt.

Jeg skriver forresten en god del om ulike former og bruksområder for AR i Digitale medier og materialitet (Kapittel 6.4).

Utvidet virkelighet (AR) i bøker for barn

Gro Eide og jeg deltok på den virtuelle konferansen Å skape bærekraftige barnehager – perspektiver, muligheter og utfordringer. Vi har snakket om «Utvidet virkelighet i bøker for barn» ved noen anledninger tidligere, men dette prosjektet er nå utviklet og gjennomført  i sin endelige form.  Vi presenterte funn og erfaringer fra et prosjekt vi gjorde sammen med en studentgruppe i emnet kunst, kultur og kreativitet i barnehagelærerutdanningen, i 2019-20.

AR og stedsfortellinger

Utsikt fra Sæbø, mot Slogen.

Invitert til Sæbø-seminaret, som i år hadde tema "sted", var det naturlig å snakke om prosjektene jeg har vært med på ved Fjell festning. Et sted som ser ganske annerledes ut i dag, sammenlignet med da det ble bygget, men som fremdeles er et rikt historisk miljø.

Mitt innlegg tok kort for seg en tradisjonell, lokativ app. Digital guide for Fjell festning er imidlertid et prosjekt jeg ikke har vært direkte involvert i, men et utmerket eksempel på hvordan en kan tilføre informasjon til et sted, der det kun finnes fragmenter av de fysiske sporene fra historien. Appen er basert på mye av de samme tekniske løsningene som ligger til grunn for Fotspor. Så er det bare å håpe at ikke GDPR mm tar livet av denne tjenesten.

Fra å knytte informasjon til steder ved hjelp av GPS-posisjonering beveget jeg meg videre til Operasjon Bruno, en AR-lydfortelling, laget som en vandring inne i festningsanlegget. Denne applikasjonen er basert på mye av det utviklingsarbeidet vi gjorde med Tilhører, tilbake i 2014. Ikke minst er teknikkene knyttet til å sette sammen et dynamisk lydbilde med flere nivåer noe vi tar med oss videre.

I operasjon Bruno måtte vi håndtere de tekniske utfordringene med Bluetooth Beacons på en helt annen måte enn i Tilhører. Løsningen ble å integrere plasseringen i selve fortellingen, i form av fysiske sjekkpunkter.

Siste prosjekt er en visuell AR-fortelling som er tenkt å foregå utendørs på festningen. Samme manus vil også bli benyttet for en VR-utgave, men da med en helt annen løsning. Her en tanken å plassere brukeren i rollen som fotograferende journalist på Fjell festning, der historien utspiller seg noen dager etter at festningen ble overtatt i mai 1945.

Jeg fikke ikke mye tid til å snakke om en modell jeg har syslet med i mange år (får antagelig dedikere den til bokprosjektet) der jeg forsøker å resonnere omkring den medierende artefaktens fysiske posisjon i forhold hendelse, vitne og betrakter.



Etter seminaret fikk vi en tur gjennom Norangsdalen. Her går det tusen meter rett opp, så alle var enige om at panoramatak er et must. Ikke et sted å stoppe ...

Magic Leap One – Sight

Når Magic Leap One nå ser ut til å ta AR et skritt videre takket være en spesiell skjermteknologien som benytter såkalte dynamiske digitale lysfelt. Dermed er det ikke mulig å vise fram nøyaktig hva brukerne ser gjennom brillene.

Virtuell vandring

Jeg synes denne standen til HP var spennende. Ikke minst fordi det henger sammen med min egen interesse for sfæriske medier, og dermed innlegget "Fagformidling med sfæriske medier", som jeg holdt i et tilstøtende rom.

Demonstrasjonsmodellen vi fikk se var knyttet til et boligprosjekt. Dette var en modell som ble rendret i sanntid, med naturtro skygger og det hele, og dermed ganske langt unna mine studenters avfotografering av pappmodeller. Samtidig jobber vi med de samme problemstillingene, visualisering av rom, i vår ende med svært rimelig teknologi:

Ideen er enkel: bygg en modell i skala 1:10. Sett inn et kamera der linsen står 14-15 cm over grunnplanet. Et sfærisk bilde gir dermed inntrykk av å være i et rom, sett fra synsvinkelen til et barn med høyde på 140-150 cm.

Der sfæriske kamera og visning på mobiltelefoner har blitt svært rimelig er kostnadene til utstyr og produksjon langt høyere knyttet til HP VR Backpack. Men ytelsen var imponerende og åpenbart en teknologi som er interessant i mange sammenhenger.

Ved HVL Bergen er det laget en modell som ville kunne oppleves med denne teknologien:

Sfæriske medier under Læringsfestivalen

Kort innlegg om "Fagformidling med sfæriske medier", knyttet til prosjektet "Interaktivt virtuelt feltarbeid", støttet av Norgesuniversitetet. Prosjektet er et samarbeid mellom Nord Universitet og Høgskulen på Vestlandet.

• Du finner en mer omfattende gjennomgang av innlegget her.

Bra oppmøte og fint publikum. Klikk og dra i bildet nedenfor for å utforske salen:

 

Jeg forsøkte å vise noen eksempler på hvordan svært rimelig og brukervennlig kamerateknologi kan benyttes på ulike måter. Med et kamera til en drøy tusenlapp kan jeg i løpet av noen sekunder ta et bilde som det du ser ovenfor (du ser det som en sfærisk visning når du kan "snu deg rundt" i sfæren).

Teknologien lar oss se på en annen måte enn med et tradisjonelt kamera. Videoen i presentasjonen, fra padletur ved Folgefonna, viser også hvordan en kan observere seg selv. Videre er jeg interessert i det jeg kaller "stedsforflytning", dvs hvordan jeg han ta med studenter til steder de ellers ikke vil komme, samt hvordan studentene selv kan være produsenter og plassere sine arbeider i nye sammenhenger. Konklusjonen min er at her er det en fullt ferdig utviklet teknologi som fremdeles har et uutforsket potensiale.

Mange tenker gjerne for avansert. Det kan være kjempedyrt å simulere (VR) med datagenerert grafikk. Sfæriske bilder og video fikser du selv :)

Selve presentasjonen:

Operasjon Bruno – Fjell festning

I anledning dagen 9. april kan det passe å vise til Operasjon Bruno, en medieopplevelse som presenteres for brukeren mens vedkommende beveger seg rundt i bunkeren på Fjell festning. Jeg var med på å denne produksjonen i 2016, der jeg jobbet med ide, manus og lydsiden.

Installasjonen setter brukeren inn i en setting, som er knyttet til en historisk hendelse: for snart 75 år siden, den 12. juli 1943 var “Bruno”, et av de største kanontårnene fra det tyske slagskipet Gneisenau, nettopp ferdig montert og skulle avfyres for første gang.



Brukerens oppgave er å assistere kapteinløytnant Haase (en fiktiv person) under hans gjennomgang av noen av rutinene forut for testskytingen. Haase er hele tiden med deg og gir deg klare instruksjoner. Du har ansvar for en kontrollenhet og du skal iverksette hans kommandoer, mens dere er innom alle de nødvendige sjekkpunktene forut for avfyringen.

Brukeren får noe informasjon via skjermen på nettbrettet, men det viktigste skjer på lydsiden. Skjermbildene nedenfor fungerer slik sett dårlig som en dokumentasjon: en stemme snakker til snakker til brukeren og forklarer veien, mens den totale opplevelsen blir til i samspill med de fysiske omgivelsene i bunkeren.

Nede i bunkeren er det plassert en rekke små, batteridrevne Bluetooth-senderne – såkalte ibeacons. Disse senderne har to funksjoner: de detekterer når en bruker kommer inn i et rom og når brukeren plasserer nettbrettet på de fysiske sjekkpunktene. På denne måten spores hele tiden brukeren gjennom bunkeren, og lydbildet i hodetelefonene tilpasses til de stedene vedkommende befinner seg. Dette er samme teknologi som ble benyttet for å lage Tilhører, men der Tilhører er laget som en form for eksperimentell lydkunst har Operasjon Bruno en mer tradisjonell narrativ form.

For å ta del i dette har brukeren hentet ut et nettbrett med headset i resepsjonen, og vedkommende har fått instruksjon om å starte en egen applikasjon på nettbrettet. ibeacons-senderne befinner seg inne i boksene, som fungerer som sjekkpunkter. Her er vi inne i maskinrommet, der generatorer leverte strøm til anlegget:



På vei ned trappene i tårnet. har var det opprinnelig flere etasjer med tekniske installasjoner, blant annet ammunisjonsheisen. Bunkeren er ganske kompleks. Derfor får brukeren forklaring på hvor veien går:

Sfærisk stillbildefilm - Arkitekturvandring

Forsetter der jeg slapp i går, men i en ny test i en helt annen sjanger. Her en blanding av egne sfæriske bilder og bilder rippet fra Google Streetview. Ideen er at en på denne måten skal kunne ta studentene til interessante steder, andre steder i verden, og snakke om arkitektur – uten å reise noen steder.



Gjorde litt forsøk på å justere lydbildet i Finalcut, men det er ikke all verden å hente med såvidt enkle spor. Burde i tilfelle hatt flere, mer distinkte og isolerte lyder.

Et lite mentalt notat: for lydlegging har jeg så langt benyttet Audacity og lydmanipulasjonen som er tilgjengelig i FinalCut. Skal en jobbe med ambisonisk lyd, som er neste steg, ser Reaper og SuperCollider ut til å være noen av alternativene. Begge disse ser ut til å kunne benyttes sammen med Ambisonic Toolkit. Så er det selvølgelig Facebooks Spatial Workstation. Ønsker å holde meg til fritt tilgjengelige løsninger, samtidig som jeg er ute etter å gjøre ting på enklest mulig måte, så valget er ikke helt åpenbart.

Spheric short film - "Last Snow"

Among the more existing things I can do at work is to surprise myself. That is not always easy, but with the help of technology it happens from time to time. Simple expressions can be transformed into something one did not expect.

I am currently working on a simple method to create spheric videos, and in order to test the concept I made a short fiction. I was quite pleased by the result, which actually surprised me and became close to as surreal as I had hoped for.



I am  not among those who will watch this kind of videos for a long time. But for a little more than two minutes I am willing to put on the VR-glasses.

Next phase will be to try to add ambisonic sound, as this is only a simple stereo track. That is actually what this test is really about: I will try to lead the viewer's attention by using sound.

"Children's Game" at Las Cigarreras

We like to visit places like ‘Las Cigarreras’ in Alicante, because there is often interesting things happening. This time we hit the bullseye as they were exhibiting the spanish artist Gemma Herrero's work: "Children's Game" - Augmented Reality for cellphones (see Gema Herrero 2016 Instalación en Las Cigarreras). The augmented layer include some video material, animations and sound recordings, displayed in a virtual gallery accessible via images and QR-codes. There is also an interesting workshop going on.

"Each virtual gallery and different sound installations includes soundtracks: the streets’ soundtrack. Several cities are mixed up and intertwined as they follow the pace of their inhabitants’ words and the rhythm of the anonymous musicians as they play their repertoire in public sites."

This could almost serve as a description of Auditor – which is funny: yesterday we delivered a paper ("Location-based plotlines in sound: Results from a field trial of a prototype medium and story") were we discuss Sonic Augmented Reality.

Back to  "Children's Game". I have to apologise for the terrible sound quality. There was quite a lot of noise in the room, but the main reason is that I only had a cellphone, which is pretty broken, with the microphone taped over:

VR & Cinema

Filmmakers breaking into virtual reality face an entirely new set of challenges; creating for a new medium requires a new perspective.

Google's Principal Filmmaker for VR, Jessica Brillhart, explores the emerging landscape and language of cinematic VR – providing some of her own insights from being a creator in this field while highlighting experiences produced by the world's most prolific VR content creators.



VR & Cinema - Google I/O 2016

What occurs to me is that what I find to be the most interesting is when several places are in the same scene or the same place is represented at different times, in the same scene.



Thinking back I realise that I thought the same when I first tested 360-video, two years ago.

Micro-positioned Storytelling in Sound

I've posted the presentation Micro-positioned Storytelling in Sound where I usually archive such things. I did the presentation yesterday, together with Lars Nyre, at The Radio Conference in Utrecht. An interesting conference in what I found to be a hidden treasure of a city.


Our final panel; @mchughsiobhan @LarsNyre & @jonhoem #radioconference2016 - fascinating discussion pic.twitter.com/BHKMpX8anJ — Jay Sykes Media (@JaySykesMedia) July 8, 2016 

Being in Utrecht I had to skip parts of the conference to visit Schröder Huis, built by Gerrit Rietveld in 1924: