Spherical media and haptic interfaces

Et foredrag holdt under Teklab-seminaret Reclaiming the Metaverse, der jeg forsøker å koble noen av mine forskningsinteresser angående forhold mellom fysiske og digitale miljøer, noe som kan kondenseres til digital materialitet. Digital materialitet er temaet og tittelen på min siste bok, og forstås som betingelsene som gjør at materialer og aktører (både menneskelige og ikke-menneskelige) kan samhandle med fysiske omgivelser, assistert av datamaskiner.



I løpet av de siste ti årene har jeg jobbet med ulike lydinstallasjoner som brukere kan samhandle med gjennom mikrodatamaskiner. Disse arbeidene spenner fra lokative medier med begrenset fysisk tilstedeværelse til store installasjoner hvor de fysiske egenskapene er viktige deler av opplevelsen. Noen av disse verkene brukes som eksempler, mot pågående prosjekter: telematisk opera Zosimos, og eksperimenter med haptiske grensesnitt og lyd.

Gjennom presentasjonen forsøker jeg å synliggjøre noen potensielle sammenhenger mellom hvordan kropper beveger seg i utformede miljøer og hvordan disse bevegelsene kan relateres til lyd. Zosimos er relevant i denne sammenhengen gitt at vi vil bruke sfæriske kameraer og romlig lyd for å dokumentere nettsteder og lage materiale for telematisk opera. Deler av scenografien vil fungere som instrumenter og kontrollere.

Operaen og dens scener vil bli skapt gjennom tre stadier: alle stedene vil bli dokumentert gjennom arkiverte opptak og innspilte forestillinger. I det andre trinnet vil vi designe eksperimentelle instrumenter og kontrollere som kan integreres i forestillingen. Til slutt samles mediematerialet, instrumentene og scenografien i en telematisk forestilling.

Jeg bruker begrepet haptikk. Dette forstås som samtidig integrasjon av kinestetikk (kroppsbevegelse og posisjonering) og taktilitet (hudens følesans). Jeg er interessert i mulighetene som gis ved forsterkning og manipulering av veldig små bevegelser og vibrasjoner. Haptics er der lyd og grensesnitt bokstavelig talt smelter sammen.

I 2020 begynte jeg å eksperimentere med å bygge en sfærisk høyttaler – Auditopenta. Tanken er å skape et miljø for avspilling av innspilte lyder som oppmuntrer brukerne til å bevege seg. Det motsatte av sweet spot i et stereoperspektiv. Et verk laget for auditopentaen var Aquafoni, et verk der sfæren og den fysiske manipulasjonen av objekter begynner å kobles sammen.