Posisjonsdata som multimodal affordans

Reiser til konferansen "Multimodalitet, sjanger og design", i Kristiansand i morgen. Av ulike grunner blir det bare en kort visitt.

Sammen med Ture skal jeg snakke om hvordan posisjonsdata kan betraktes som affordanser for kontekstsensitive medier. Affordans brukes om modaliteters muligheter og begrensninger med hensyn til å frambringe mening. Summen av affordanser, knyttet til et mediums ulike represetasjonsformer (modaliteter), utgjør mediets samlede potensial for meningsskaping.

James Gibson, som først benyttet begrepet "affordance", knyttet dette til kvaliteter ved objekter miljø som bestemmer påvirker eller indikerer hvordan objektet kan brukes. Et trekk ved affordanser, i Gibsons forstand, er at de framkommer i møtet med et subjekt, slik at subjektets (kreative) evne til å ta i bruk objektet i miljøet er av betydning for oppfatningen av dets affordanser. Affordanser er med andre ord kulturelt betinget. Gibson poengterer imidlertid at affordanser ikke behøver å være observerbare for de aktørene som blir påvirket av dem - de kan altså virke i det skjulte.

Et av våre poenger er at ulike former for metadata må forstås som affordanser, da særlig knyttet til digitale medier med uttrykk som på en eller annen måte blir prosessert av en datamaskin før de møter brukeren.

To problemer:
1. Metadata er imidlertid ikke semiotiske tegn, siden de i utgangspunktet ikke observerbare for sluttbrukeren. Slik sett krasjer dette litt med det mer etablerte synet på multimodalitet, som er godt plassert innenfor sosialsemiotikken.

2. Metadata virker på tvers av representasjonsformene. metadata kan for eksempel brukes til å påvirke fremstillingen gjennom lyd, såvel som bilde osv.

Det er imidlertid liten tvil om at digitale metadata kan ha stor innvirkning på fremstillingen og tolkningen av observerbare tegn. Vi tar her spesielt for oss metadata som kan knyttes til posisjon. Metadata som kan knyttes til selve mediefilene (f eks i form av EXIF-data i bildefiler), noe som kan utnyttes både ved opptak og fremføring.

• Bredde- og lengdegrad (GPS)
• Høyde (altimeter)
• Orientering (kompass)
• Bevegelse (akslerometer)

Disse dimensjonene ved posisjonering, forstår vi som affordanser for kontekstsensitive medier.



Vårt konkrete case er bruken av Augmented Reality, ved School in the Park, i San Diego, USA. Noe jeg har pratet om tidligere.

Oppdatering: Kunne gjerne vist Robot Flâneur, som et eksempel.