Tester og dokumenterer "Tilhører" (Auditor)

Dette skulle jeg gjort for snart et år siden. Det er ikke så lett å vise folk en lydinstallasjonen. Når jeg skal fortelle folk om "Tilhører" blir det derfor gjerne til at jeg ender opp med å be dem ta en tur og høre selv. "Tilhører" er en lydinstallasjon som styres av en app (utarbeidet sammen med Johannes Ringheim, som også har programmert det hele). Appen kontrollerer et lydbilde med utgangspunkt i brukerens posisjon og orientering. Ideen er at posisjoneringen skal være mer presis enn hav en oppnår med GPS, samt kunne fungere både innendørs og utendørs. For å oppnå dette har vi brukt Bluetooth beacons, noe som rent teknisk har vært mindre vellykket. Dvs dette fungerer fint, men vi har vært nødt til å tilpasse hele applikasjonen ut i fra det faktum at Bluetooth LE faktisk ikke er særlig godt egnet til det vi ønsker å oppnå. I alt står det seks sendere i hagen. Brukerens posisjon i forhold til senderne påvirker avspilling av seks ulike fortellinger og en del effektlyder. I tillegg er det et underliggende lydspor med miljølyd.

Når jeg først fikk rotet meg til å gjøre noe med hensyn til dokumentasjon, så tok det sånn ca fem minutter.

Oppsettet er enkelt. I stedet for å koble headset til enheten som styrer avspillingen, så koblet jeg denne direkte i kamera:

Forskning på egen empiri.Selv den som har satt premissene for hvordan teksten skapes blir innimellom overrasket av kombinasjonene som oppstår.

Videoen nedenfor er dermed et salgs subjektivt kamera, som viser mine bevegelser samtidig som lydsiden gjenspeiler det jeg ville hørt i headsetet. Senderne er plassert langs sidene, og i videoen nedenfor beveger jeg meg noenlunde langs denne banen:

Orientering er et poeng her, lydbildet panoreres i noenlunde sammenfall med at jeg snur meg. Det betyr at opplevelsen blir best ved å høre dette opptaket med headset:

Vi hører her forskjellige stemmer, i form av bruddstykker fra fiktive mobilsamtaler. Hver stemme er knyttet til en sender. Når appen detekteren en sender som den som er "nærmest", så spiller den av en og en dialoglinje. Når jeg beveger meg videre  kommer andre stemmer nærmest, og avspillingen av disse overtar i lydbildet. Når jeg kommer tilbake til en sender som jeg har vært nær tidligere, holder appen orden på hvilke lydfiler (dialoglinjer) jeg allerede har hørt og spiller av der jeg slapp.


Dialoglinjene spilles av slik (engelsk oversettelse) i denne videoen. Hver avspilling blir imildertid unik ved bruk av selve applikasjonen, avhengig av hvordan brukeren beveger seg.

1. It is close to the National Library
2. Have you been there?
3. You have to check it out next time
4. I met Eva. She was not happy.
5. But she told me to say hello.
    
6. No, I'm not at home today.
7. I told you. They are working on the line.
8. They will be finished tomorrow.
9. I am not taking the bus to Lillehammer.
10. Last time I was sick for two days.
     
11. Hi. I'm in Bergen. Can we meet?
     
12. You have to tell Kåre.
13. Tell him that I will not make it in time.
14. I know. He is not going to like it.
15. OK. I will send him a message.
     
16. Check this. Any idea where we are?
17. Not at all. We are in Bergen.
18. We borrowed a car, and I began driving towards the sunset.
     
19. Sounds crazy, but i'm not kidding you. The guy did actually try to fly.
20. He took off with a few hundred balloons.
21. I met one who thought it might work.
22. I heard about it a few days ago.
23. Tried to get hold of the guy, but it seems like he have left the city.
     
24. Well. It was quite nice. Did not happen much.
25. I stayed close to the cemetery. I always have an early start, so I was almost alone one morning.
26. You're right. It's going to be busy.
27. I'll be in touch.
     
28. It was pretty bad. The compartment was narrow, no shower and the food was bad.
      
29. Can you hear if anybody knows something.
30. You may be right, but I belive it is better to call the people in Stavanger.
31. That's a great idea. Ask her.

I videoen beveger jeg meg rundt i tre og et halvt minutt. Det er knyttet ti tekstlinjer til hver person, så denne avspillingen dekket omtrent halvparten av det totale omfanget. En av personene ble kun avspilt med en tekstlinje, men tre av de øvrige nærmer seg slutten. Hadde jeg fortsatt ville noen av disse personene blitt avspilt fra begynnelsen, noe som selvsagt bryter litt med det fiksjonsuniverset som vi forsøker å bygge opp. Her kunne en løsning være at kun de stemmene som ikke var spilt av tidligere ble avspilt, men da forsvinner noe av poenget med posisjoneringen.

Første versjon har en tydelig sekvensiering, siden alle setninger spilles av i sin helhet før en ny sjekk blir gjort og en annen setning spilles av. Slik sett er det en ekte multilineær fortelling. Sent 2014 kom Estimote med et indoor location SDK som lovet mye mer presis posisjonering. To studenter ved datafag (Eirk Skogland og Morten Mehus) har jobbet med dette for å se om det lot seg gjøre å lage en versjon som ligger nærmere opp til den opprinnelige ideen. Dvs at brukerens forflytning får en mye mer direkte konsekvens for endringer i lydbildet. I stedet for å spille av stemmene setning for setning, spiller denne versjonen av alle samtalene som kontinuerlige strømmer, men styrer nivåene ut fra avstand til den posisjonen hvor stemmen er "plassert". Dette betyr at du kan høre flere samtaler samtidig, men med ulikt nivå, og du skal kunne nærme deg, eller fjerne deg fra hver enkelt lokasjon. Her viste det seg imidlertid at problemene med presisjon egentlig ikke er løst. Den nye programvaren predikerer posisjon ved hjelp av en "skittteller", dvs ved hjelp av gyroskopet, noe som ikke gir en posisjonering som er tilstrekkelig forutsigbar. Uttrykket blir imidlertid ganske annerledes. I tillegg fikk vi testet ut hvorvidt teknologien kan brukes til å mikse flerspors musikk.

Skal posten en video som dokumenterer dette om litt...