"Interaktivt virtuelt feltarbeid", støttet av Norgesuniversitetet

Blant 19 prosjekt som år støtte for 2017 Norgesuniversitetet er "Interaktivt virtuelt feltarbeid". Prosjektet handler om bruk av 360-graders bilder og video med interaktivitet. Nord Universitet, ved Line Kolås, er hovedsøker, men HiB er med på lasset med undertegnede som intern primus motor.

Bakgrunnen er at jeg lenge har interessert meg for potensialet i AR/VR og 360-teknologi. Jeg gjorde de første forsøkene for snart tre år siden, men la så dette litt på hylla i påvente av bedre opptaksteknologi. Det er nå på plass, og prosjektets kan dermed sette seg som hovedmål å skape aktiv læring i fag hvor feltarbeid er viktig, men hvor det er vanskelig å ta studentgrupper ut i felt. Vi vil derfor se på hvordan 360-graders bilder og video kan brukes til interaktivt virtuelt feltarbeid.

360°-verktøy skal brukes i for å skape bedre forutsetninger for studentenes arbeid utforskning (f eks gjennom video fra flere perspektiver), problemløsning og diskusjon samt ha fokus på meta-læring. Prosjektet har som formål å frembringe kunnskap om hvordan rikt medieinnhold kan gjøre at studenter selv kan utforske situasjoner eller lokaliteter, og søke kunnskap om disse, i stedet for å være passive mottagere av informasjon om dem. Studentene vil gjennom bruk av 360-graders bilder og videoer med interaktivitet bli mer aktive fordi denne teknologien gjør det mulig å skape mer realistiske iscenesettelser av situasjoner der studentene kan utforske sammenhenger mellom omgivelser, valg og konsekvenser av valg, på mer komplekse måter enn hva tilfellet er med tradisjonell video og tekst.

Prosjektet vil utforske 360-teknologi med flere innfallsvinkler til det en kan kalle VR-cinema:

• Dokumentasjon med tanke på å la studenten utforske en omgivelse som del av forberedelser og planlegging av ekskursjon og eget arbeid i felt 
• Virtuelle turer, der studentene kan tilbys opplevelser av steder og situasjoner som de ellers ikke vil ha mulighet til å utforske gjennom fysisk å besøke lokasjonen. Enten fordi lokasjonen ikke er tilgjengelig, og/eller fordi det er knyttet begrensninger til selve hendelsene. 
• Studentoppgaver, knyttet til at de selv dokumenterer steder, hendelser og egne praksiser ved hjelp av 360- teknologi, dels som støtte for refleksjon rundt egne læringsprosesser. 
• Utforske det fortellermessige og estetiske potensialet i 360-teknologi. 
• Utforske samspillet mellom visuelle og auditive komponenter i 360-opplevelser 

Opptaksteknologien er i ferd med å bli allemannseie, så også de løsningene som må til for visning.Samsung/Oculus Gear VR og Google Cardboard / Daydream VR er eksempler på “VR-headset” hvor man setter inn mobiltelefonen og bruker skjermen og akselerometeret til telefonen for å oppleve VR-innhold og 360-video. Nettbrett og smarttelefoner har akselerometer innebygd, hvor man ved å tilte nettbrettet / smarttelefonen kan navigere og bruke ny funksjonalitet i apper, f.eks 360-graders bilder og video.

Nearpod er eksempel på en app som er beregnet til undervisning, hvor man kan bruke tilt-funksjonen i tilknytning til 360-graders bilder samt skape interaksjon mellom student - applikasjon, og student(er) – lærer. Thinglink (https://www.thinglink.com/) er et webbasert verktøy som gir mulighet for legge interaktive objekter i bilder, videoer og 360-grader/VR, samt en klasseløsning for distribusjon.

Håper å komme raskt i gang med dette ut på nyåret.

VR-lounge i Grieghallen

Festspillene i Bergen inviterer til VR-lounge i Grieghallens foajé, et gratis tilbud som absolutt anbefales. Her kan du se og høre Philharmonia Orchestra, London, som The Virtual Orchestra. Med hodetelefoner og et sett VR-briller blir du satt til Southbank Centre i London i sentrum av orkesteret mens de spiller den siste satsen av Sibelius’ femte symfoni. Dette er er en god produsert, men likevel ganske standard sfærisk video. Riktignok med 3D-lyd, men jeg hadde selv litt trøbbel med å høre at dette fungerte.

Siden jeg ikke kan vise videoen av orkesteret får dette bli demonstrert ved en video fra åpningsscenen av Hamlet, ved DNS, som jeg tok i forbindelse med en forløper til nettstedet teaterdialoger.no. Ideen er enkel og velfungerende: kamera gjør opptak i alle retninger og videoen spilles av som en sfære som du kan snu deg i. På den måten plasseres du inne på scenen:



En litt triviell, men likevel viktig observasjon: i Grieghallen blir brukerne satt på stoler i riktig høyde i forhold til sensorene som registrerer bevegelse. I det første tilfellet benytter de Playstation VR. Problemet var bare at disse stolene ikke lot seg dreie. Det er faktisk et problem når en ser på noe der poeneget er at en kan snu seg helt rundt.

Jeg tenkte nok ellers at opptaket av londonfilharmonien kunne vært erstattet med et opptak av Bergen filharmoniske orkester. Dette er det flere av UH-miljøene i Bergen som jobber aktivt med, blant annet undertegnede gjennom prosjektet Interaktivt virtuelt feltarbeid. Her er tanken å jobbe med relativt enkle produksjonsformer der en kan utnytte sfæriske medier for å hente uteopplevelser inn i klasserommet. Senter for nye medier jobber også  med dette, Teklab-studentene ved UiB likeså.

Beslektede prosjekter er Virtuelle Vingen der en benytter mye av den samme teknologien som HVL jobber med ved Fjell festning. Filmen til høyre viser Øyvind som er ute og fotograferer med drone for å skaffe et grunnlag for en 3D-modell laget ved hjelp av fotogrammetri – på samme måte som de gjør i det nevnte prosjektet i Vingen. Ved HVL er det også studenter involvert i dette arbeidet.

Tilbake til VR-loungen i Grieghallen. Om den første filmen lignet noe jeg hadde sett før ble jeg adskillig mer løftet av fiksjonsfilmen "My Name Is Peter Stillmann". Dette er en fire minutter lang forestilling inspirert av den amerikanske forfatteren Paul Austers City of Glass. Ministykket setter publikummeren i sentrum av den besynderlige fortellingen om Peter Stillmann.

Sfæriske medier under Læringsfestivalen

Kort innlegg om "Fagformidling med sfæriske medier", knyttet til prosjektet "Interaktivt virtuelt feltarbeid", støttet av Norgesuniversitetet. Prosjektet er et samarbeid mellom Nord Universitet og Høgskulen på Vestlandet.

• Du finner en mer omfattende gjennomgang av innlegget her.

Bra oppmøte og fint publikum. Klikk og dra i bildet nedenfor for å utforske salen:

 

Jeg forsøkte å vise noen eksempler på hvordan svært rimelig og brukervennlig kamerateknologi kan benyttes på ulike måter. Med et kamera til en drøy tusenlapp kan jeg i løpet av noen sekunder ta et bilde som det du ser ovenfor (du ser det som en sfærisk visning når du kan "snu deg rundt" i sfæren).

Teknologien lar oss se på en annen måte enn med et tradisjonelt kamera. Videoen i presentasjonen, fra padletur ved Folgefonna, viser også hvordan en kan observere seg selv. Videre er jeg interessert i det jeg kaller "stedsforflytning", dvs hvordan jeg han ta med studenter til steder de ellers ikke vil komme, samt hvordan studentene selv kan være produsenter og plassere sine arbeider i nye sammenhenger. Konklusjonen min er at her er det en fullt ferdig utviklet teknologi som fremdeles har et uutforsket potensiale.

Mange tenker gjerne for avansert. Det kan være kjempedyrt å simulere (VR) med datagenerert grafikk. Sfæriske bilder og video fikser du selv :)

Selve presentasjonen:

Støtte til prosjekt om VR og AR i lokaljournalistikken

Sju nye prosjekt får forskningsstøtte fra UH-nett Vest, deriblant et om Virtual - og Augmented Reality i lokaljournalistikken som jeg er med på sammen med Lars Nyre (UiB) og Ana Sanchez Laws (HiVolda). Prosjektet bygger først og fremst videre på "INJECT - Innovation Journalism Enhanced Creativity Tools», et prosjekt hvor UiB er partner og som er finansiert av EUs forskningsprogram Horizon2020. Samtidig blir prosjektet også en videreføring av noe av det FoU-arbeidet jeg allerede holder på med i forbindelse med Interaktivt virtuelt feltarbeid, finansiert av Norgeuniversitetet.

Det aktuelle prosjektet ble endelig utformet i forlengelsen av seminaret om sfæriske medier, som UH-nett Vest sin forskergruppe for IKT og medier arrangerte i desember 2017.

I det delprosjektet jeg kommer til å være mest involvert ønsker vi å gjennomføre en første prototyping av et konsept for opptak ved hjelp av sfærisk video og lyder. Sfæriske opptak fanger informasjon i alle retninger ut fra kamera og mikrofon. Disse opptakene kan benyttes for sfærisk visning, hvor brukeren selv styrer hva som til enhver tid skal vises. Opptakene kan likevel også brukes på andre måter, hvor en produserer for tradisjonelle videoformat med stereo lyd. Dette krever en produksjonsmetodikk som ennå ikke er utviklet, og langt mindre testet i produksjonsmiljø med begrenset ressurser. Teknologien åpner likevel mulighet for å hente ut en rekke utsnitt fra et sfærisk bilde, samtidig som en kan mikse korresponderende stereo lyd med utgangspunkt i et sfærisk / ambisonisk lydopptak. Dette er ideer som dels bygger videre på tanker og erfaringer jeg har gjort meg etter å ha eksperimentert med andre former for 4K-video.

Selve ideen er ikke unik. Spesielt har mange tenkt på mulighetene sfæriske videoopptak gir for perfekt digital stabilisering. Facebook snuser på løsninger, det samme kommer til Adobes programvare gjennom oppkjøpet av Skybox. Samtidig er selskap som Rylo blant de som allerede er på ballen i forhold til å endre utsnittet i postproduksjon. Det er likevel mye å ta tak i i forlengelsen av dette, ikke minst knyttet til lydsiden.

Dette henger også, i alle fall potensielt, løselig sammen med YouTubes  annonsering av VR180 med tilhørende kamera.

Paperet med den klingende tittelen "It takes just one shot" er allerede så smått påbegynt....

Som jeg er inne på fra tid til annen så står utdanningssektoren ovenfor mange av de samme teknologiutfordringene som pressen. Det treffer utdanning på en annen måte, men mange av de løsningene som en ser på kan anvendes på begge disse formidlingsfeltene. Når jeg går løs på sfærisk video er det dermed med blikk i flere retninger (bokstavelig talt), der en produksjonsmetodikk også kan finne anvendelse innenfor undervisning.

Innlegg om VR og robotisering

Innlegg under Foreningen for Fleksibel Uddannelse i Danmark, FLUID, sin konferanse "Hvad virker? Succes med fleksibel undervisning". København 3.-4. juni 2019.

Det spørs om jeg klarer å opfylle konferansen tittel, knyttet til hva som virker, men forhåpentligvis kan jeg peke på noen teknologier som både peker fremover, samtidig som de er velutprøvde og relativt enkelt tilgjengelig for lærerutdannere. Slik sett teknologi som virker. Bakgrunnen er prosjektene Interaktivt virtuelt feltarbeid (støttet av tidligere Norgesuniversitetet) der jeg jobbet med sfæriske medier og  HVL-prosjektet Robotassistert undervisning. Begge disse prosjektene er nå avsluttet – dvs tiden er kommet til artikkelskriving mm. Jeg håper imidlertid vi kan jobbe videre med roboter og koding rettet mot auditive grensesnitt. Sfæriske medier har fått såpass mye momentum at dette nok er noe som vil bli videreført av flere ved HVL.

Innovativ pedagogikk, anno 2020

Innovating pedagogy 2020 utgis av Open University. Litt hummer og kanari denne listen, men det er alltid interessant å se hva kvalifiserte folk forsøker å spå om fremtiden:

Kunstig intelligens
Kunstig intelligens (AI) brukes her om datasystemer som kan samhandle med mennesker og med verden på måter som etterligner menneskelige egenskaper og atferd. En litt rar definisjon, synes jeg, gitt at jeg har større tro på systemer som fungerer på sine egne, maskinelle premisser. Samtidig kan en lett si seg enig i at det er viktig at undervisere, forskere og andre med interesse for undervisning engasjerer seg, for å sikre at AI brukes på måter som støtter læring.

Passer fint som forberedelse til å snakke om møter mellom elever og autonome maskiner.

Posthumanistiske perspektiver
Som en filosofisk retning handler posthumanisme om hva det betyr å være menneske og hvorvidt det å være menneske handler om å utvide kroppslige opplevelser og erfaringer på tvers av grenser mellom det fysiske og det digitale. Som en pedagogikk åpner posthumanistiske perspektiver muligheter for å lære med dyr og maskiner som partnere.

Se poster om robotassistert undervisning.

Læring gjennom åpne data
Offentlige organisasjoner over hele verden produserer enorme mengder åpen data som kan brukes for å gjøre det mulig for studenter å bruke autentiske data til forskningsformål.

Data og etikk
Dette omfatter perspektiver knyttet til at studentene bør lære hvordan dataene deres brukes og kan misbrukes, og at de er opplyste i forhold til plattformene og verktøyene de bruker.

Pedagogikk for sosial rettferdighet
Dette handler blant annet om evnen til å se og forstå maktstrukturer, fordommer, roller, tilgjengelighetsspørsmål etc. Pedagogy of the oppressed kom ut på engelsk for 50 år siden, så det er kanskje litt jubileum.

Esport
Dataspill har et læringspotensiale, men jeg skjønner ikke helt hvorfor dette begrenses til esport.

Læring av animasjoner
Animasjoner blir i økende grad brukt til å vise prosesser og prosedyrer. Joda, men kanskje et litt åpenbart poeng.

Multisensorisk læring
Lukt, smak og berøring kan brukes mer i ulike læringsaktiviteter. Ja, det heier vi også på, og det er velkjent innenfor estetiske fag.

Frakoblet nettverkslæring
Mange steder i verden er det begrenset internettilgang, men man kan fortsatt dra nytte av digitale ressurser i lokale nettverk som kjøres på batteri- eller solcelledrevne servere.

Nettlaboratorier
Tilgang til realistiske virtuelle nettlaboratorier gir autentisk laboratorieopplevelse til studenter som ellers aldri ville hatt tilgang til slike fysiske fasiliteter.

Litt i retning av vårt prosjekt Interaktivt virtuelt feltarbeid. Sfæriske medier er i denne sammenhengen et "laboratorie light".