Pappelonia og Auditomosjon under Festspillene 2024

Tiden går fra meg, og det er allerede snart to uker siden dette, Pappelonia og Auditomosjon under årets festspill:

Pappelonia bygger på et konsept, der vi (Ingvard og Jon) legger til rette for at studenter bistår barn med å lage en verden for mindre barn. Så slippes de minste barna fri og får bygge videre på et kollektivt  byggverk. Det hele skrudd sammen i papp, med utgangspunkt i tre tårn dekket med papprelieffer. Hvert tårn inneholder også visningsflater for filmer med animasjoner. Animasjonene er laget av elever, selvsagt ved å manipulere figurer i papp. Tårnene danner de romlige og audiovisuelle rammene. Vi har laget sikre sager og skrujern og har med mange hundre plastskruer - deretter bygges det fritt.

På et tidspunkt fylte Pappelonia så godt som hele foajeen, som vel må være et par hundre kvadratmeter:

Pappelonia under Festspillene 2024

Samme dag som vi avsluttet en svært vellykket workshop med studenter og elever kommer Pappelonia i årets festspillprogram. Dermed er det bare å sitere:

Tårnene i Pappelonia ruver over en by som store og små publikummere kan utforske og bygge videre på. Inne i et av Grieghallens mange rom kan man boltre seg med papp, konstruere et eget mesterverk og bidra til at denne forunderlige byen stadig endrer seg og vokser. Pappdelene er utstyrt med enkle festemekanismer som gjør at selv de minste kan bli store pappitekter.

Ekstra spennende er det å gå på oppdagelsesferd blant byggverkene og finne ut hva som skjuler seg inne i tårnene, som troner flere meter over bakken.

Abakaner på Høvikodden

Da jeg for fire år siden begynte å jobbe med ideene til det som ble til Auditimosjon var Magdalena Abakanowicz sin installasjon Embryology en tydelig inspirasjonskilde. Jeg må innrømme at jeg ikke kjente til abakanene før en god stund senere. På 1960- og 1970-tallet skapte Magdalena Abakanowicz store, ekspressive skulpturer i tekstil, kjent som abakaner. 

I den grad det gir mening å peke på en favoritt, kommer Gul abakan, fra 1970, høyt på min liste.

Jeg fikk ikke sett disse under utstillingen ved Tate Modern i vår. Desto kjekkere å få muligheten ved Henie Onstad . Her står en stor utstilling frem til slutten av februar neste år. Utstillingen er i høyeste grad verd å få med seg.

Utstillingen (sakser litt fra omtalen her) tar for seg de viktige tiårene i Abakanowiczs kunstneriske virksomhet, fra 1956 til 1981. I denne perioden beveget tekstilverkene hennes seg fra veggen og ut i tredimensjonalt rom. Abakanowicz var selv opptatt av å bli omtalt som skulptør. Hun ble en ledestjerne for de mange tekstilkunstnerne som på denne tiden kjempet for at tekstil skulle vurderes på lik linje med maleri og skulptur. Denne kampen foregikk også i Norge.

Future Fest ved Media City Bergen

Våre forberedelser til festen. Nå er det riktig nok bare luft som blåses inn i lydskapningene, men de holder i alle fall formen.

Future Fest arrangeres torsdag 17. august ved Media City Bergen / NCE Media, karakterisert som «the daughter of all demos», eller Future Shock! What Should Media Scholars Do? 

Blant de som stiller er professor Gunnar Liestøl fra Universitetet i Oslo (UiO) med «SitSim», en løsning som presenterer historiske steder med AR. Rebecca Strand fra Høgskulen i Volda med «Pastfinder» , med fortellinger fra Dovrefjell i VR. Videre Fay Tveranger fra Universitetet i Bergen, med masterarbeidet «HoloLens News» , som bruker AR for å presentere informasjon knyttet til nyheter. Scary weather presenterer «The Weather Machine» som vil bli installert på Fløyen, supplert med to AR-applikasjoner produsert av UiB-studenter. 

Som et bidrag, som bokstavelig talt kommer litt inn i mellom, er en oppsetning av Auditomosjon. Denne immersive lydinstallasjonen er satt opp ved Festspillene i Bergen tre ganger, for siste gang på Siljustøl i 2023.

Future Fest er et samarbeid mellom NordMedia Network, TekLab, MediaFutures: og Media City Bergen / NCE Media, med professor Lars Nyre som drivende kraft.

Auditomosjon på Siljustøl

Det begynner trolig å nærme seg slutten for Auditomosjon, og i år tok vi installasjonen med utendørs. Nydelig dag på Siljustøl. Gjennom dagen anslår jeg at det jevnt var 20 barn inne i installasjonen til enhver tid, fra kl 12 til 16. Mange var der lenge og det er nærmest umulig å komme med et eksakt antall besøkende, men 3-400 stykker er et estimat.

Installasjonen har vist ser å være forbausende robust. Noen deler som jeg hadde hatt ansvar for å feste løsnet, mens hovedsømmene og glidelåsene holdt. Dette trodd mye juling. Nesten like imponerende er at avspillingsenhetene (en inne i hver lydskapning) også fungerer prikkfritt. Jeg måtte bytte noen lydkabler som var brukket, men så spilte alt gjennom hele dagen.

Som tredimensjonalt objekt fungerer Auditomosjon svært godt. Min intensjon om at lydskapningene også skal invitere til aktiv lytting fungerer tidvis. Mange barn begynner å lytte til objektene, men de færreste utforsker den programmerte sammenhengen mellom bevegelse og rytmelyder. Når det er sagt: dette er ikke merkelig på noen måte. Det visuelle og det fysisk romlige dominerer selvsagt, ikke minst når det er mange inne i installasjonen samtidig. Ikke desto mindre er det spennende å se at noen barn faktisk oppdager sammenhenger mellom bevegelse og lyd.

Nå er det ingen videre planer for installasjonen som sådan, og noen av lydskapningene finner nok veien ut i skoler.

Auditomosjon 2022

Auditomosjon ble satt opp i fullversjon under Festspillene / Småspill i år. I 2021 var det hele preget av restriksjoner og smittervern. Jeg satte denne opp to dager i Bergen, så på Stord og i Sogndal.

Først et bilde fra oppsetningen av Auditomosjon i Sogndal. Foto: Tove Uglum (HVL).

Småspill 2022 oppsummert

Noen bilder fra Aquafoni i Bergen [Foto: Johanne Karlsrud /FiB] og en video fra oppsetningen:

 


Aquafoni:

Vi satte også opp Auditomosjon i fullversjon i år. Her ser vi i de fleste av i alt 15 lydobjekter:

Auditomosjon fikk skikkelig gjennomgå når opp mot førti barn og noen voksne holdt på samtidig. Da blir det mange på hvert objekt, og lydopplevelsen endret karakter for å si det slik – bevegelse overtok. Det gikk såpass hard for seg at tre skapninger tok kvelden (punkterte) før vi tok Auditomosjon med videre til Stord og Sogndal. Her fra Sogndal, etter at jeg hadde lånt noen pappkulisser etter en studenteksamen:

Aquafoni og Auditomosjon – Plakater

Da er det bare å ønske velkommen under Festspillene. Småspill på Kronstad den 29. og 30. mai. Der kan du oppleve både Aquafoni og Auditomosjon. Deretter tar jeg med Auditomosjon til Stord den 31. og til Sogndal 2. juni.

Gratis! To helt forskjellige installasjoner, men som begge lar publikum utforske lyd og bevegelse. Egnet for barn og voksne i alle aldre.

Auditomosjon – haptisk og auditiv immersjon

Jeg leverte et abstract med denne tittelen: "Auditomosjon – haptisk og auditiv immersjon" og har angret på alt for mange fremmdeord på en gang. Dagens innlegg under konferansen Make it Together handler om sammenhenger mellom berøring, bevegelse og lyd. Forhold som har stor betydning for hvorvidt vi opplever å bli omsluttet av et estetisk uttrykk. 

Jeg bruker blant annet “Shalekhet” i Jüdisches Museum, Berlin, som et analogt eksempel på betydningen av koblingen mellom kroppslig bevegelse og lyd. Denne installasjonen har vært et forbilde for mitt eget arbeid i andre materialer og med helt annen tematikk: Auditomosjon utforsker sammenhenger mellom  bevegelse og lyd gjennom bruk av lydsamplinger som styres av datamaskiner med sensorer som registrerer bevegelse.

Flere detaler her.

 

Aquafoni og Auditomosjon under Festspillene 2022

–Magnus (t.h) og  Tarita er studenter i kunst og håndverk. De og medstudentene har laget "aquafonikerne" til  Aquafoni under årets Småspill. Foto: Mari-Louise Uldbæk Stephan

Jeg utvider repertoaret av lydinstallasjoner, i år med en nyoppsetning av Auditomosjon, samt årets nykommer: Aquafoni. Begge kan oppleves som en del av Småspill, HVLs samarbeid med Festspillene i Bergen.

Les også saken på HVL sine nettsider.

Auditomosjon ble satt opp første gang i 2021, men på grunn av koronarestriksjoner kunne ikke installasjonen brukes fullt ut slik det er tenkt. Installasjonen består av 15 store, tekstile lydskapninger. De er store, selv sett i forhold til en voksen. For små barn blir de selvsagt enda større, relativt sett. Lydskapningene er relativt lette, slik at de kan beveges og flyttes på av barn i alle aldre.

Inne i hver lydskapning befinner det seg en datamaskin og en høyttaler. Hver av disse avgir en grunnlyd, som spilles av hele tiden, samt rytmer. Rytmene spilles av og varierer i tonalitet når skapningene settes i bevegelse. Dermed blir dette en lydlig lekeplass der publikum kan spille med, og bokstavelig talt på lydskapningene.

I fjor måtte publikum bevege lydskapningene i Auditomosjon ved hjelp av spesielle pinner. Dette for å kunne ivareta smittevern. I år blir det imidlertid mulig å interagere med lydskapningene fullt og helt. 

Årets utgave av Auditomosjon gir dermed en helt annen haptisk opplevelse, dvs både taktilt (de ulike overflatene) og kinestetisk (skapningenes bevegelse og de vibrasjonene en kan kjenne fra lydene).

Så er det nykommeren, Aquafoni. Denne begynte med en ide som om til etter at kollega Jostein Stalheim tipset om høyttalersystemet IKO. Det endte med at jeg bygget en rundstrålende høyttalersøyle med 40 elementer, fordelt på 10 stereokanaler. Det hele består av fem høyttalersøyler på et stativ – jeg kalte det derfor et Auditopenta.

Auditopentaet styres via et lydkort, som gjør det mulig å sende spesifikke deler av et lydbilde til de enkelte høyttalerene. Tanken er dels å bruke dette for komposisjoner laget for dette oppsettet. I Aquafoni blir imidlertid auditopentaet sentralt i en installasjon der studenter har laget et tyvetalls "aquafonikere". Dette er vesner, laget i ull, som inneholder hver sin RFID-brikke. Samme teknologi som vi kjenner fra nøkkelkort mm. Når en aquafoniker plasseres på en av femten baser aktiverer dette deler av en komposisjon, samtidig som det dirigerer den tilhørende lyden i retning av der aquafonikeren er plassert. Slik kan publikum spille go styre verket ved å flytte aquafonikere mellom basene.

Auditomosjon og Aquafoni dermed to lydverk som lar publikum påvirke et lydlandskap på ganske forskjellige måter. I tilfelle Auditomosjon er høyttalerne distribuert og kan flyttes på. I Aquafoni er høyttalerne plassert sentralt, men påvirkes av hvordan publikum flytter objektene.

Håper det blir bra med folk. Begge installasjonene kan oppleves på HVL, Kronstad den 29. og 30. mai. Auditomosjon skal deretter videre til Stord og Sogndal. Opplevelsen er gratis, så her er det bare å komme og oppleve og gjerne diskutere lyd og bevegelse.

Haptisk lydkunst i Tårnsalen?

Spekulerer bare ....

Ideskisse

Men etter at en vakt på KODE plantet ideen har jeg ikke fått tanken om Auditomosjon i Tårnsalen ut av hodet.

Museet har i alle fall hatt et program for Takeover av KODE4.

Eller kanskje Auditopentaet. Jeg og Johannes har begynt å spekulere på hvordan vi kan styre de 20 høyttalerne gjennom at publikum manipulerer forskjellige objekter i rommet. på et vis beslektet med Auditomosjon, men omvendt – på en måte...

Tanken er her å flytte objekter, som ikke selv avgir lyd, men der forflytningen påvirker lydbildet som sendes fra den sentrale, rundstrålende høyttalersøylen. Jeg likte termen "soundbuckets", men ikke overraskende er dette allerede en merkevare. Men jeg kan jo like grene spinne videre på det latinste "audito" og dermed er Auditobuckets født.

Hver "beholder" skal kunne flyttes på og kommuniserer med høyttalere i det sentrale Auditopentaet. Brukeren kan dermed høre konsekvensen av forflytningen, i samspill med andre brukere og beholdere. Samtidig gir hver enkelt Auditobucket / Audiobeholder en visuell tilbakemeling via innebygget LED.

Det kjekkeste hadde vært om vi kunne holde det skikkelig low cost og med ditto lavt strømforbruk. F.eks med microbits i lydbeholderne. Johannes har sett på Lilygos TTGO som så langt virker lovende som lydavspiller, også de koblet til hver sin microbit som sørger for radiokommunikasjon med sine respektive lyd beholdere. Er vi heldige kan styrken på radiosignalene også benyttes for enkel proximity.

Stemningsrapport fra Festspillene og Auditomosjon

Stor stas på Kronstad på fredag og lørdag, deretter på Rommetveit søndag og mandag. Her er Auditomosjon ganske fyldig presentert i Festspillenes dagsrapport:

Installasjonen slik den ble satt opp i Bergen. Sydd av Ragnhild Enger, programmert av Johannes Ringheim som dermed la grunnlaget for å bevege Jon sine lyder:

Sfærisk video der jeg går gjennom installasjonen i Bergen:

Lørdag kveld gikk luften bokstavlig talt ut av ballongene, men for så å bli fraktet til Stord og blåst til live igjen. Her er vi søndag og mandag.

Auditomosjon – test og sfærisk opptak

Ting begynner å komme på plass og for første gang fikk jeg faktisk høre (nesten) det hele samlet. Noen småting gjord at det følgende kun er 12 lydskapninger som spiller, men inntrykket ble likevel reelt nok. 

Her er det bare å stille under Festspillene! Dette blir gratis moro for barn i alle aldre.

I tillegg til å teste oppsettet var formålet å gjøre et sfærisk video-opptak med tredimensjonal lyd. Jeg har fått låne et Insta360 X2 og er svært spent på hvor godt det fungerer.

Ragnhild gjorde et opptak med en iPhone og stereolyden gir et bra inntrykk den også. 

Synd med koronaen, for det å komme nær lydskapningene gjør definitivt en forskjell. Koronatiltaket er "vippepinner" og spriting, noe som skal sikre at det ikke blir noe tull med hensyn til smittevern. Her er det i alle fall pinner til store og små. Heldigvis fungerer det bra å flytte på lydskapningene ved hjelp av pinnene. Og enda bedre: denne koronapinnen slipper du å stappe i nesa :)

Det er tunge filer og tar lang tid å rendre, men på morgenkvisten er den klar:

Puppetmaster:

Auditomosjon i Festspillprogrammet

Auditomosjon beskrives her, og har nå kommet på plass i programmet for Festspillene / Småspill.

Auditomosjon er en del av Småspill, som er Festspillene i Bergen og Høgskulen på Vestlandets nye barnekunstfestival.

Les mer om Småspill her.

Auditomosjon – første prototype og visning

Jeg fikk besøk av en skrivende og en fotograferende journalist fra Bergensavisen i dag. Veldig kjekt at avisen er på ting som skjer lokalt. Jeg skal linke til saken straks den kommer (her er den – krever abonnement hos BA/A-id).

Auditomosjon blir del av Småspill, en del av Festspillene i Bergen.

• Se også Auditomosjon test og sfærisk opptak

De to fra Bergensavisen fikk oppleve tre lydskapninger med simulert avspilling. Demonstrasjonen er dermed ikke helt slik dette vil oppleves når alt er på plass. 

Det endelige Auditomosjon-verket vil ha 15 automome lydavspillere som er bygget inn i hver enkelt lydskapning. Denne videoen gir dermed et bokstavelig talt forflatet inntrykk av hvordan opplevelsen av å være "inne i instrumentet" vil arte seg. Lydopplevelsen blir ganske annerledes, noe som kanskje kan gjenskapes med spatial lyd (se nedenfor), men som på ingen måte kommer til sin rett i denne videoen.

Noe av det som er gøy er at alle som har sett Auditomosjon så langt har blitt overrasket over hvor store lydskapningene er – det er en bra! Jeg herjer litt med skapningene her. De vil forhåpentligvis bli behandlet litt annerledes når alle avgir lyd, men de skal samtidig tåle en støyt.

Lydskapninger blir til

Noen lange dager i systua med Ragnhild som sysjef og undertegnede som nølende beslutningstaker. Med det begynner 14 skapninger til Auditomosjon-prosjektet å finne sin form, selv om en god del justeringer gjenstår. Vi venter på den siste og største.

Formatene blir ganske store, fra en halv kubikkmeter for de minste opp til halvannen kubikkmeter. Hver skapning skal inneholde en lydavspiller som gir skapningene en form for lydlig identitet og en måte å regagere på når de blir satt i bevegelse. Her jobber jeg og Johannes Ringheim med samme konsept som vi har brukt noen ganger tidligere med lyder på tre nivåer: en grunnlyd, som følger skapningen hele tiden, effektlyder, som kan brukes for å påkalle oppmerksomhet, og aktivitetslyder, knyttet til bevegelse. 

Hver skapning har seks forskjellige aktivitetslyder som følger en rytme som tre og tre skapninger har felles: 3/32, 4/32, 5/32, 6/32 og 7/32. Jmf The Euclidean Algorithm Generates Traditional Musical Rhythms. Ideen er at fem taktfamiler skal interagere med publikum og med hverandre. Dermed vil det oppstå komplekse rytmer som nok ikke vil minne all verden om tradisjonsmusikk, men like fullt basert på den sammenhengen som Godfried Toussaint fant mellom Euklids algoritme og rytmisk musikk.

Dette begynner så smått å finne sin form på dataen, men foreløpig inne i Ableton. 

Johannes lager en avspiller der vi bruker en Raspberry-pi med tilkoblet akselerometer og gyroskop. Avspilleren styres av Puredata. Dette er noenlunde samme teknologi som den vi brukte på Tilhører/Auditor i 2014, men på en annen plattform og med annen bruk av sensorer.

Kan hende jeg må redusere kompleksiteten når dette skal implementeres på tvers av 15 enheter. Videre blir det en utfordring å justere nivåer og frekvenser i forholde til at høyttalerne skal gjemmes inne i lydskapningene. Det blir ganske mye tekstiler, luft og vatt mellom elementene og publikum.

Sammen skal de femten skapningen danne en installasjon som kan oppleves som et slags instrument. Publikum kan kollektivt spille ved å bevege på lydskapningene og sammenstille disse på forskjellige måter.    

Babelsk lydbibliotek

Ideskisse til en form for VR-vandring, inspirert av Jorge Luis Borges' “La biblioteca de Babel”, tenkt som en form for virtuelt tillegg til Auditomosjon.

I “La biblioteca de Babel” beskriver en bibliotekar den verden han selv lever i: "Biblioteket" består av en uendelig serie av heksagonale saler. I disse salene finnes et utall bøker som inneholder alle kombinasjonsmulighetene av femogtyve skrifttegn. Alt som kan sies er derfor allerede blitt sagt. Men alt som kan sies, er også blitt motsagt, modifisert, tilbakevist. Samtidig vil den teksten vi leser, bibliotekarens fortelling, finnes ett eller annet sted i det enorme biblioteket.

Borges’ iscenesetter eksistensielle paradokser som kan få oss til å tenke litt klarere og grundigere over vårt forhold til oss selv, til språket, til medier, representasjoner og verden.

Et lite forsøk med et sfærisk bilde, ditto video og et ambisonisk lydspor (dvs headset må på):

Videre utvikling av Auditomotion

Lydkunstprosjektet Auditomosjon begynner så smått å finne sin form. I alt 15 store objekter, dog i varierende form og størrelse, der hvert av disse inneholder en batteridrevet høyttaler. En lydavspiller manipulerer lydene i hvert enkelt objekt i forhold til hvordan publikum forflytter disse.

Foreløpig er dette kun en konseptskisse, men resultatet blir en form for haptisk installasjon der objektenes lydlige egenskaper er knyttet direkte til hvordan de flyttes og orienteres av brukerne. 

Moderne sensorteknologi kan fange opp selv ørsmå bevegelser og endring i orientering. Her kobles denne sensorinformasjonen til lydbehandling i sanntid, og brukeren får dermed både en haptisk og auditiv tilbakemelding. Gitt at det i alt er slike 15 slike lydobjekter danner detteen ramme som muliggjør samhandling mellom mange brukere. En form for kollektivt instrument som muliggjør emergent komposisjon.

Alt er ikke helt på plass, men håpet er å benytte lydavspillingsenheten Bela. Denne virker svært egnet for å lage digitale instrumenter med høy følsomhet for bevegelse.

Auditomotion

Jo, det blir mange "audito"-avleggere for tiden – Auditolocomotiv og Auditopenta, samt tidigere Auditor. Jeg føyer nok et prosjekt til listen, denne gangen Auditomotion, som har blitt til det mer norskklingende Auditomosjon.

Så hvorfor ikke like gjerne Audiolocomotiv, Audiopenta, Audiomotion? Alle prosjekten handler jo om forholdet mellom lyd (audio), steder og bevegelse. Her kommer mine kunnskaper om språk og etymologi litt til kort, men det vi snakker jo også om "auditorium" – rom som er laget spesielt med tanke på at lyd skal bære godt og kunne oppfattes av mange – ikke "audiorium". Her er det slutten av ordet, altså "-torium" som skaper den betydningen jeg er ute etter: "et sted hvor noe bestemt er samlet, oppbevares eller foregår". Dette sammen med mosjon, av latin motio, ‘bevegelse’.

Auditomotion er altså ikke bare lyder i bevegelse, men et sted der lyder "foregår".

Så er det selvsagt også en annen side. Direkte søk på disse ordene gir deg ikke treff hos Google. Auditolocomotiv, Auditopenta og nå Auditomotion er slik sett ekte nyvinninger :)

Mer herom siden, men nå er i alle fall det språklige noenlunde på plass...