Jon Hopkins - Spatial Mix

Jeg er interessert i 3D-lyd / spatial audio og ble derfor mer en middels nysgjerrig da jeg oppdaget at Jon Hopkins har fått mikset et knippe låter med tanke på binaural lytting – Digitale medier og materialitet har forresten et eget kapittel om sfærisk lyd.

Alt fungerer ikke like godt her sammenlignet med en tradisjonell stereomiks. Faktisk synes jeg Singularity er vesentlig bedre i liveversjonen, her embeddet nederst. Det skyldes riktignok at denne versjonen blir adskillig mer spennende på grunn av forvrengninger og småfeil som oppstår live. 

Problemet er kanskje at når teknikken gjør det enklere å bevege lyder i miksen ender en litt for ofte opp må gjøre litt i overkant mye av dette, uten at det er noe spesielt poeng. Dermed kan vandrende lyder forstyrre der en ellers ville lyttet til små detaljer.

Ikke helt overbevist altså, men Jon Hopkins' elektroniske musikk er uansett verd å få med seg.

VR som metode i skolen

Sitter og følger med på NKULs seminar om VR. Spørsmålet er hvilke oppgave som elevene arbeider med og hvordan disse kan forbedre undervisningen.

Vi fikk en demo av Framevr.io/galleri6trinn, og straks eleven som presenterte kom til sfæriske bilder ble jeg umiddelbart dratt videre og begynte å se på videoen nedenfor. Jeg er jo ikke superglad i å lage 3D-miljøer, siden dette tar tid, samtidig som jeg for min egen del opplever at sfæriske bilder gjør jobben i de fleste tilfeller. Å kunne ha flere brukere inne i samme sfære er imidlertid noe jeg savner, og her synes FrameVR å tilby en interessant løsning.

Interessant nok synes eleven å legge vekt på de sfæriske bildene som spennende, og da åpner det seg en liten verden av ulike prosjekter.

Kort vandring i K2 – HVL, Kronstad

En test av H5P, som fungerer fint. Dermed ble det også en liten veiledning til et verktøy som har blitt ganske velfungerende. Har ikke fått sjekket om det er støtte for "spatial audio", ala slik det er i RoundMe.

Drone lookalike

Bare så det er sagt. Jeg overholder hytteforbudet – denne videoen ble tatt for noen uker siden. Kombinasjonen av Instra360 One X og en 3 meter lang "selfiestick" gir langt på vei effekten av å fly med drone:



Dette skulle jeg hatt for fem år siden, som et eksempel til dette foredraget.

Prinsippet er enkelt: film en sfærisk video (altså i alle retninger samtidig) velg deretter hvilken del av sfærens om skal vises og hvordan denne skal rendres:

Fremdeles litt irritert over at jeg ikke selv koblet dette til sfærisk video i 2015, året før "overcapture" ble et begrep. Mitt innlegg handlet nemlig kun om å bruke ordinær 4K-video som utgangspunkt for å skape bevegelse og zoom i etterarbeidet, da med en video i lavere oppløsning som sluttresultat. Effektivt i opptak, og fleksibelt i etterarbeidet.

Sfærisk labyrint

Labyrint1 – kjapt satt sammen med Marzipano. Her er prosjektet noe mer utdypet.

 

Jobbe med 360-kamera

Fra sfærisk- til tradisjonell video

Det nærmer seg raskt fem år siden jeg for alvor begynte å se på hvordan 4K-video kan være utgangspunkt for video med lavere oppløsning, og de mulighetene dette gir for en enklere produksjon av video.  Utgangspunktet den gangen var et konsumentkamera, Panasonic FZ-1000, som fremdeles er en trofast følgesvenn.

Omtrent på samme tid begynte jeg å interessere meg for sfæriske medier, på et tidspunkt hvor prosessen innebar stitching av bilder og video. Jeg la det til side – for mye etterarbeid i forhold til det resultatet jeg oppnådde. Jeg er ute etter løsninger som gjør det enklere å produsere, ikke teknologi som gjør ting mer komplisert.

Men, etter hvert ble kameraløsningene mer brukervennlige og jeg fikk sjekket ut sfærisk video, og dermed hvordan denne også kunne brukes som opptaksformat for noe som skal vises som ordinær video. Det første forsøke jeg gjorde var med enkelt programvare, som iMovie, og "Ken Burns"-effekter, noe som gjorde at jeg ikke kunne bruke hele sfæren som kilde.

Så går teknologien videre og noen kameraer senere ender jeg opp med Instra360 One X, et kamera som umiddelbart innfridde. Det finnes noen tilsvarende løsninger fra f eks GoPro, men jeg holder en knapp på Insta. Dermed blir det enkelt å lage videoer som dette, én versjon av mange mulige uttak fra et sfærisk opptak:



I 2015 hadde jeg ikke noen ide om at det jeg snakket om etter hvert fikk et navn – overcapture – noe NRKbeta har laget en fin artikkel om: "Kort fortalt er hemmeligheten bak “Over capture” at man filmer i 360-grader, altså i alle retninger fra kamera, for deretter å gjøre et utsnitt av dette som passer de skjermene vi omgir oss med."

Tester Google Expeditions

Her har det skjedd mye siden sist jeg sjekket. Testet med et lite gjensyn med Nääs slöjdlærarseminar:

Tredimensjonal lyd for Google Streetview

Bedre sent enn aldri. Jeg oppdaget denen først i dag, fem år etter at Sounds of Streetview ble lansert som åpen kildekode.
Absolutt interessant dette, og med noen andre muligheter en Roundme, som jeg gjorde noen forsøk med her om dagen.

Ulempen med å basere seg på Streetview er selvsagt at en i utgangspunktet må basere seg på sfærer som kan legges ut via StreetView. Men, med tilgang til kilden burde dette kunne la seg ordne, slik at en også kan lage mer eksperimentelle visuelle uttrykk og lydlegge disse.

jeg kom over dette fordi jeg holder på å eksperimentere litt med ulike former for arkitekturvandringer. her kan det godt hende at Streetview faktisk gjør jobben.

Lydsfære med RoundMe

Headset MÅ på, og trykk på høyttalerikonet dersom det ikke er lyd:



Dessverre ikke mer enn tre looper samtidig, men effekten er der likevel.

RoundMe har et grensesnittet for å legge inn og  bestemme utstrekning av lydene, som både er elegant og lett å jobbe med:

Innlegg om VR og robotisering

Innlegg under Foreningen for Fleksibel Uddannelse i Danmark, FLUID, sin konferanse "Hvad virker? Succes med fleksibel undervisning". København 3.-4. juni 2019.

Det spørs om jeg klarer å opfylle konferansen tittel, knyttet til hva som virker, men forhåpentligvis kan jeg peke på noen teknologier som både peker fremover, samtidig som de er velutprøvde og relativt enkelt tilgjengelig for lærerutdannere. Slik sett teknologi som virker. Bakgrunnen er prosjektene Interaktivt virtuelt feltarbeid (støttet av tidligere Norgesuniversitetet) der jeg jobbet med sfæriske medier og  HVL-prosjektet Robotassistert undervisning. Begge disse prosjektene er nå avsluttet – dvs tiden er kommet til artikkelskriving mm. Jeg håper imidlertid vi kan jobbe videre med roboter og koding rettet mot auditive grensesnitt. Sfæriske medier har fått såpass mye momentum at dette nok er noe som vil bli videreført av flere ved HVL.

Tre innlegg om sfæriske medier

Det har blitt en rekke innlegg om sfærsike medier i den siste tiden. Under et seminar i regi av forskernettverket for IKT og medier i UH-nett Vest holdt jeg et innlegg om Fortellerteknikk for sfæriske medier. Bakteppet her var hvordan en kan se for seg at en kunstig intelligens kan fungere sammen med en sfærsik representasjonsform.

Jeg forsøkte meg her på en analogi illustrert ved en figur som egentlig forklarer diffraksjon gjennom en liten åpning. Tanken er her at teknologien som medierrer kan presentere informasjon forskjellige lag (sfærer) og at en kunstig intelligens kan bistå i prosessenen knyttet til både utvelgelse, presentasjonsform og faktisk representasjon.

Senere var jeg også ute i en annen "UH-nett Vest"-sammenheng, nemlig under årets nettverkssamling. Her hadde faggruppen for digital samarbeid en sesjon sammen med biblioteksgruppen. Jeg snakket her om det vi valgte å kalle Utvidet undervisning, et lite ordspill på Utvidet virkelighet (Augmented Reality / AR).

Tanken er at det er i ferd med å komme løsninger som nå er så gode at sfærisk audiovisualisering blir aktult på satdig flere områder. Når prisen kommer ytterligere ned blir dette svært aktuelt innenfor utdanning, og vi kan se på det som en disruptiv teknologi i den forstand at det i mange sammenhenger kan være bedre å møtes gjennom ulike former for emdierte omgivelser, fremfor å møtes fysisk. Selv om teknologiene kan sies å utvikle seg raskt er vi imidlertid fremdeles i en situasjon der periferiutstyret dominrerer. Fremdeles har vi krav til relativt store skjermløsninger som vi må spennen fast på hodet, håndkontrollere og høyre krav til maskinvare. Samtidig finnes det langt rimeligere løsninger, men som foreløpig ikke når opp kvalitetsmessig. I dette bildet må vi være oppmerksomme på løsninger som nettopp kan vise seg å ha disruptive egenskaper.

Hvorvidt teknologi kan erstatte fysiske møter har det med å heve temperaturen. Mange vil hevde at det fysiske møtet har kvaliteter som ikke kan erstattes gjennom ulike former for teknologi. Det er jeg i mange tilfeller enig i, og det er trolig uansett ikke der fokus bør ligge. Det finnes imidlertid en lang rekke situasjoner der det fysiske møtet ikke er mulig, neo som er bakgrunnen for den siste presentasjonen der jeg snakker om Bærekraftig utdanning med sfæriske medier. Det finnes svært mange sitasjoner der vi gjerne skulle tatt ned studenter på eksursjon, men der avstander (kostnader og miljøbelastning), tidsaspektet, sikkerhetshensyn, etc gjøre at vi i beste fall kan vise en mediert representasjon av det vi ønsker studentene skal oppleve og erfare. I denne sammenhengen tar jeg til orde for at sfærsike fotografier og sfærsik video i dag er det optimale møtepunktet mellom tilgjengelig teknologi og praktisk anvendbarhet.

Første erfaringer med Insta360 One X

Jeg ble mektig imponert av skrytevideoene til Insta360, og sannelig ser det ikke ut til at kameraet innfrir i praksis også. Det jeg først og fremst er interessert i med dette kameraet er mulighetene til å lage vanlig video, dvs i formatet 4:3 eller 16:9, med utgangspunkt i et sfærisk opptak.

Dette er jo noe jeg har syslet med en stund, først en ide for et par år siden og deretter gjennom et delprosjekt knyttet til VR og AR i journalistikk. Jeg gjorde noen eksperimenter med sfærisk video, laget på grunnlag av stillbilder, noe jeg også har testet i en annen variant (der bevegelse er kodet) og presentert under fjorårets medieforskerfestival.

Men altså, først nå en skikkelig test, der 16:9-videoen kommer rett ut av det sfæriske kameraet:



Tok forresten et bilde på Hamburger Bahnhof, som viser hvordan kameraet kan brukes. Videoen ovenfor er riktignok tatt med kameraet montert på et ettbensstativ, slik at det kommer en liten meter over hodet mitt.

Sfæriske bilder og ditto video er den digitale etterkommeren til en rekke analoge forløpere. I 1789 lanserte Robert Barker begrepet panorama for å beskrive et bilde som viste utsikten fra toppen av St Giles Cathedral i Edinburgh. I 1793 fikk han satt opp en bygning ved Leicester Square, London. Der kunne han vise panoramabilder i kjempeformat.

Hvilket bringer oss til Pergamon museet i Berlin der en kan se Yadegar Asisi sitt enorme panorama. Et nikk tilbake til Robert Barker.

Opplevelses- og erfaringsdimensjoner

Litt småsnask jeg sitter å  tegner (og tenker) på, mest fordi jeg sitter fast med noe jeg burde skrive ferdig. Samt med bakteppe fra en samtale omkring en ekskursjon, ulike opplevelser og påfølgende erfaring.

Engelsk kommer til kort for å fange de to betydningen av "experience": opplevelse og erfaring. Bruker Gadamers "Erlebnis" og "Erfahrung" her, som jo er dekkende for de norske begrepene. Jeg knytter opplevelse til noe som i hovedsak er individuelt mens erfaringer er noe som i større grad utvikles i relasjon til andre, men også gjennom selvrefleksjon.

Et eksempel kan være hvordan vi utvikler en erfaring gjennom å formulere en opplevelse og vår forståelse av denne til andre. Samtidig vil bare det å formulere seg, f eks i en privat dagbok

Den vertikale aksen handler om forholde mellom opplevelser og erfaringer i hovedsak er fysiske eller intellektuelle. Jeg har ingen tro på at noe kan være bare det ene eller det andre. Men noen opplevelser er åpenbart mer fysiske og noen erfaringer bærer vi rett og slett fysisk med oss gjennom livet.

Oppdatering:
Jeg letet etter en dimensjon ved "Experience" som ikke kan oversettes til "opplevelse" eller "erfaring". Når jeg nå kom på det synes det opplagt, nemlig "refleksjon" eller "fortolkning". Beveger oss med det ut i hermeneutikken, dvs knyttet til en bevissthet omkring ens egen rolle i forhold til refleksjon / fortolkning. Enhver refleksjon og utvikling av erfaring vil henge sammen med den konteksten refleksjonen skjer innenfor.

Uansett en ny versjon av modellen:

Henger litt sammen – må uansett notere det – jeg kommer av en elelr annen grunn på Mimi Ito (hørte henne for ti år siden i forbindelse med Innovative Knowledge Cultures) og Connected Learning (video)

Beholder den tidligere versjonen:

Den siste dimensjonen, knyttet til engasjement, har jeg forsøkt å plassere langs en akse mellom konsum og produksjon. Usikker på om det er de riktige begrepene. Det kan like gjerne handle om opplevelser gjennom noe som er tilrettelagt av andre og opplevelser som kommer til oss uten noen form for ytre tilrettelegging. Slik sett kunne aksen gått mellom og det som kan knyttes til ulike artefakter og det som kan knyttes til natur. Engasjement kan også utspille seg mellom det fysiske og det rent intellektuelle, der fysisk engasjement knyttes til handlinger og hendelser mens intellektuelt engasjement kan være fjernere fra dette. Erfaringer vil slik sett i de fleste tilfeller ligge mot det intellektuelle, mens opplevelser i oftere vil kunne knyttes til det fysiske.

VR-lounge i Grieghallen

Festspillene i Bergen inviterer til VR-lounge i Grieghallens foajé, et gratis tilbud som absolutt anbefales. Her kan du se og høre Philharmonia Orchestra, London, som The Virtual Orchestra. Med hodetelefoner og et sett VR-briller blir du satt til Southbank Centre i London i sentrum av orkesteret mens de spiller den siste satsen av Sibelius’ femte symfoni. Dette er er en god produsert, men likevel ganske standard sfærisk video. Riktignok med 3D-lyd, men jeg hadde selv litt trøbbel med å høre at dette fungerte.

Siden jeg ikke kan vise videoen av orkesteret får dette bli demonstrert ved en video fra åpningsscenen av Hamlet, ved DNS, som jeg tok i forbindelse med en forløper til nettstedet teaterdialoger.no. Ideen er enkel og velfungerende: kamera gjør opptak i alle retninger og videoen spilles av som en sfære som du kan snu deg i. På den måten plasseres du inne på scenen:



En litt triviell, men likevel viktig observasjon: i Grieghallen blir brukerne satt på stoler i riktig høyde i forhold til sensorene som registrerer bevegelse. I det første tilfellet benytter de Playstation VR. Problemet var bare at disse stolene ikke lot seg dreie. Det er faktisk et problem når en ser på noe der poeneget er at en kan snu seg helt rundt.

Jeg tenkte nok ellers at opptaket av londonfilharmonien kunne vært erstattet med et opptak av Bergen filharmoniske orkester. Dette er det flere av UH-miljøene i Bergen som jobber aktivt med, blant annet undertegnede gjennom prosjektet Interaktivt virtuelt feltarbeid. Her er tanken å jobbe med relativt enkle produksjonsformer der en kan utnytte sfæriske medier for å hente uteopplevelser inn i klasserommet. Senter for nye medier jobber også  med dette, Teklab-studentene ved UiB likeså.

Beslektede prosjekter er Virtuelle Vingen der en benytter mye av den samme teknologien som HVL jobber med ved Fjell festning. Filmen til høyre viser Øyvind som er ute og fotograferer med drone for å skaffe et grunnlag for en 3D-modell laget ved hjelp av fotogrammetri – på samme måte som de gjør i det nevnte prosjektet i Vingen. Ved HVL er det også studenter involvert i dette arbeidet.

Tilbake til VR-loungen i Grieghallen. Om den første filmen lignet noe jeg hadde sett før ble jeg adskillig mer løftet av fiksjonsfilmen "My Name Is Peter Stillmann". Dette er en fire minutter lang forestilling inspirert av den amerikanske forfatteren Paul Austers City of Glass. Ministykket setter publikummeren i sentrum av den besynderlige fortellingen om Peter Stillmann.

Tilhører – En prototype på fremtidens omsluttende radio

Mangler du påskelektyre er det bare å kaste seg over artikkelen Tilhører En prototype på fremtidens omsluttende radio.

Artikkelen presenterer en ny lydsjanger, sonisk vekslende virkelighet, med utgangspunkt i det lokative lydmediet «Tilhører». Tilhører er både et lydkunstprosjekt (Laget av undertegnede og Johannes Ringheim i 2014) og et forsøk med mikroposisjonering (testet med et førtitalls informanter i 2015).

Tilhører utsetter brukerne for en omsluttende lydopplevelse gjennom støydempende hodetelefoner. Brukerens bevegelser påvirker hvordan lydbildet spilles av og innvirker på hvordan et fortellende forløp utvikler seg og presenteres for hver enkelt bruker. De løsningene som utforskes er fortsatt en marginal medieteknologi. Samtidig kan funksjonene som testes vise seg å bli en komponent i fremtidens radio.

Følgende video gir en viss ide om hvordan opplevelsen kan arte seg:

Artikkelen beskriver et todelt mediedesign der medieplattformen Tilhører og den spesiallagete lydfortellingen «Jernbanedialoger» er like viktige. Vi presenterer også funn fra en brukerundersøkelse med 42 deltakere. Diskusjonsdelen tar for seg hva vi lært om hvordan en gjennomfører en lydproduksjon for et lokativt medium, samt hva disse erfaringene kan fortelle om potensialet for lokativ radio i fremtiden.

Tilhører - Nr 01 - 2018 - Norsk medietidsskrift

Støtte til prosjekt om VR og AR i lokaljournalistikken

Sju nye prosjekt får forskningsstøtte fra UH-nett Vest, deriblant et om Virtual - og Augmented Reality i lokaljournalistikken som jeg er med på sammen med Lars Nyre (UiB) og Ana Sanchez Laws (HiVolda). Prosjektet bygger først og fremst videre på "INJECT - Innovation Journalism Enhanced Creativity Tools», et prosjekt hvor UiB er partner og som er finansiert av EUs forskningsprogram Horizon2020. Samtidig blir prosjektet også en videreføring av noe av det FoU-arbeidet jeg allerede holder på med i forbindelse med Interaktivt virtuelt feltarbeid, finansiert av Norgeuniversitetet.

Det aktuelle prosjektet ble endelig utformet i forlengelsen av seminaret om sfæriske medier, som UH-nett Vest sin forskergruppe for IKT og medier arrangerte i desember 2017.

I det delprosjektet jeg kommer til å være mest involvert ønsker vi å gjennomføre en første prototyping av et konsept for opptak ved hjelp av sfærisk video og lyder. Sfæriske opptak fanger informasjon i alle retninger ut fra kamera og mikrofon. Disse opptakene kan benyttes for sfærisk visning, hvor brukeren selv styrer hva som til enhver tid skal vises. Opptakene kan likevel også brukes på andre måter, hvor en produserer for tradisjonelle videoformat med stereo lyd. Dette krever en produksjonsmetodikk som ennå ikke er utviklet, og langt mindre testet i produksjonsmiljø med begrenset ressurser. Teknologien åpner likevel mulighet for å hente ut en rekke utsnitt fra et sfærisk bilde, samtidig som en kan mikse korresponderende stereo lyd med utgangspunkt i et sfærisk / ambisonisk lydopptak. Dette er ideer som dels bygger videre på tanker og erfaringer jeg har gjort meg etter å ha eksperimentert med andre former for 4K-video.

Selve ideen er ikke unik. Spesielt har mange tenkt på mulighetene sfæriske videoopptak gir for perfekt digital stabilisering. Facebook snuser på løsninger, det samme kommer til Adobes programvare gjennom oppkjøpet av Skybox. Samtidig er selskap som Rylo blant de som allerede er på ballen i forhold til å endre utsnittet i postproduksjon. Det er likevel mye å ta tak i i forlengelsen av dette, ikke minst knyttet til lydsiden.

Dette henger også, i alle fall potensielt, løselig sammen med YouTubes  annonsering av VR180 med tilhørende kamera.

Paperet med den klingende tittelen "It takes just one shot" er allerede så smått påbegynt....

Som jeg er inne på fra tid til annen så står utdanningssektoren ovenfor mange av de samme teknologiutfordringene som pressen. Det treffer utdanning på en annen måte, men mange av de løsningene som en ser på kan anvendes på begge disse formidlingsfeltene. Når jeg går løs på sfærisk video er det dermed med blikk i flere retninger (bokstavelig talt), der en produksjonsmetodikk også kan finne anvendelse innenfor undervisning.

Sfærisk stillbildefilm - Arkitekturvandring

Forsetter der jeg slapp i går, men i en ny test i en helt annen sjanger. Her en blanding av egne sfæriske bilder og bilder rippet fra Google Streetview. Ideen er at en på denne måten skal kunne ta studentene til interessante steder, andre steder i verden, og snakke om arkitektur – uten å reise noen steder.



Gjorde litt forsøk på å justere lydbildet i Finalcut, men det er ikke all verden å hente med såvidt enkle spor. Burde i tilfelle hatt flere, mer distinkte og isolerte lyder.

Et lite mentalt notat: for lydlegging har jeg så langt benyttet Audacity og lydmanipulasjonen som er tilgjengelig i FinalCut. Skal en jobbe med ambisonisk lyd, som er neste steg, ser Reaper og SuperCollider ut til å være noen av alternativene. Begge disse ser ut til å kunne benyttes sammen med Ambisonic Toolkit. Så er det selvølgelig Facebooks Spatial Workstation. Ønsker å holde meg til fritt tilgjengelige løsninger, samtidig som jeg er ute etter å gjøre ting på enklest mulig måte, så valget er ikke helt åpenbart.

Spheric short film - "Last Snow"

Among the more existing things I can do at work is to surprise myself. That is not always easy, but with the help of technology it happens from time to time. Simple expressions can be transformed into something one did not expect.

I am currently working on a simple method to create spheric videos, and in order to test the concept I made a short fiction. I was quite pleased by the result, which actually surprised me and became close to as surreal as I had hoped for.



I am  not among those who will watch this kind of videos for a long time. But for a little more than two minutes I am willing to put on the VR-glasses.

Next phase will be to try to add ambisonic sound, as this is only a simple stereo track. That is actually what this test is really about: I will try to lead the viewer's attention by using sound.

Small Planet

Kjent teknikk dette, men en morsom måte å leke med sfæriske bilder:

360 – sfæriske bilder fra video

Mest et forsøk dette. Kvaliteten på videobilder er jo vesentlig lavere enn hva en får dersom en jobber med stillbilder. Spørsmålet er likevel: kan en benytte enkeltbilder fra en video som sfæriske stillbilder. Det betyr i praksis at størrelsen på bildene blir 3840x1920 piksler. mot 5376 x 2688 rett ut av kamera. Størrelsen er kanskje ikke det største problemet – den kraftige kompresjonen av videobildene er trolig et større problem. Igjen, spørsmålet blir: godt  nok (til hva)?

Kanskje er justeringen av nivåene noe av problemet:



Slik kommer det rett ut av videoen: