VOX av Jónsi, og KI

Jón Þór Birgisson er nok best kjent som, Jónsi og som frontfigur i bandet Sigur Rós. I tillegg til bandprosjektet jobber han blant annet med installasjonskunst med et samspill mellom lyd, lys, lukt og berøring. 

VOX, som kan oppleves i Kunstsilo i Kristiansand, er en lyd- og lysinstallasjon der Jónsi tar utgangspunkt i lyden av sin egen stemme (VOX er latin og betyr stemme), og bruker denne til å styre fire LED-skjermer som omslutter publikum. Den naturlige stemmen blir kombinert med datamodifiserte og KI-genererte stemmer, som er videre bearbeidet og forvrengt. Dermed er det vanskelig å skille den naturlige stemmen fra lydene som er kunstig framstilt. 

Vi var her i forbindelse med et internt seminar om kunstig intelligens (KI) ved UiA. Spennende nok samme dag som vi fikk beskjed om at MishMash (Centre for AI and Creativity) blir et av de nasjonale KI-sentrene. Både HVL og UiA er knyttet til dette senteret. Alexander Refsum Jensenius, ved UiO, snakket litt om MishMash på Dagsnytt 18.

Under seminaret jobbet vi en del med hvordan vi kan trene lokale KI-modeller, slik at vi reelt kan tilpasse disse til egen bruk, ledet av Jørund Føreland Pedersen. Som jeg erfarte noen dager tidligere: en kommer sjelden helt i havn ved å basere seg på ferdige tjenester. I Dagsnytt 18 tar også Jensenius til orde for å arbeide med små, smart tilpassede KI-modeller.

Tilbake til VOX. Bildet ovenfor gir ikke et reelt inntrykk av installasjonen, det gjør i og for seg ikke videoen nedenfor heller. Opplevelsen er fysisk, godt formidlet i anmeldelsen på kunstavisen.no.

Aquafoni – Videoer fra fremføring

Studentene som var vertskap for Aquafoni ble etter hvert gode til å gjenkjenne lydene som er knyttet til de enkelte "aquafonikerne". Videoen nedenfor viser Sofie, Amalie og Sofie som gjør en fremføring. Lyden i rommet er ganske annerledes enn det et kamera fanger fra tredjepersonsperspektiv. Den som plasserer en aquafoniker på en av basene får raskt en auditiv respons fra høyttalersøylen , der en korresponderende lyd sendes i den retningen hvor den tilhørende aquafonikeren er plassert.

Småspill 2022 oppsummert

Noen bilder fra Aquafoni i Bergen [Foto: Johanne Karlsrud /FiB] og en video fra oppsetningen:

 


Aquafoni:

Vi satte også opp Auditomosjon i fullversjon i år. Her ser vi i de fleste av i alt 15 lydobjekter:

Auditomosjon fikk skikkelig gjennomgå når opp mot førti barn og noen voksne holdt på samtidig. Da blir det mange på hvert objekt, og lydopplevelsen endret karakter for å si det slik – bevegelse overtok. Det gikk såpass hard for seg at tre skapninger tok kvelden (punkterte) før vi tok Auditomosjon med videre til Stord og Sogndal. Her fra Sogndal, etter at jeg hadde lånt noen pappkulisser etter en studenteksamen:

Aquafoni og Auditomosjon – Plakater

Da er det bare å ønske velkommen under Festspillene. Småspill på Kronstad den 29. og 30. mai. Der kan du oppleve både Aquafoni og Auditomosjon. Deretter tar jeg med Auditomosjon til Stord den 31. og til Sogndal 2. juni.

Gratis! To helt forskjellige installasjoner, men som begge lar publikum utforske lyd og bevegelse. Egnet for barn og voksne i alle aldre.

Aquafoni - rigging

Som de fleste prosjekter: ting kan se rotete ut på baksiden.

Lang dag i går med rigging, lodding, som og småplukk for å få Aquafoni klar til årets Småspill. Nå følger jeg spent med og håper det ikke blir streik.

Bildet viser høyttalersøylen omgitt av aquafonikere – ullskulpturer laget av våre studenter i 3. klasse i K&H. Hver aquafoniker har NFC-kort ("nøkkelkort") festet på undersiden. Når de plasseres på en base (se nedenfor) registreres dette av en NFC-leser koblet til en Micro:bit som så sender et radiosignal til en datamaskin som styrer lydene. Slik kan publikum flytte lydene rundt til ulike steder i høyttalersøylen, og i rommet, ved å flytte aquafonikerne mellom basene.

Lydene styres og fordeles via Pure Data og sendes ut vi et flerspors lydkort til de fem høyttalersøylene.

Helt nederst ser vi innmaten i basene. En liten batteribank holder liv i mikrodatamaskinen gjennom hele dagen og sørger for at basene oppdaterer den sentrale maskinen. Radiosignalene går til en microbit som er tilkoblet datamaskinen. Akkurat denne forbindelsen er installasjonens lille akilleshæl. Vi hadde en vellykket test, men egenskaper ved rommet gjør at signalet misser noen ganger. En liten svakhet, men ikke verre enn at helheten fungerer bra.

Aquafoni – lydmiks [TEST]

Videoen nedenfor er svært langt unna det uttrykket som publikum vil oppleve når de hører, ser og interagerer med Aquafoni om noen uker. Dette er først og fremst en form for underveisdokumentasjon der alle lydsporene er mikset sammen. Det endelig uttrykket vil være en mellomting mellom videoen som jeg laget i forbindelse med teknisk test og det du hører nedenfor. 

Egentlig ikke mulig å forestille seg ... hvilket er noe av det som gjøre dette spennende, også for meg som sysler med detaljene. 

Gitt at lydene vil mikses sammen live, styrt av hvordan publikum forflytter "aquafonikere" – vesner, laget i ull, som inneholder hver sin NFC-brikke. I det en aquafoniker plasseres på en base vil en liten datamaskin, inne i basen, fange opp signalet fra brikken og deretter kommunisere med en sentral datamaskin. Sentralen vet da til enhver tid hvilke aquafonikere som er plassert hvor og lydbildet styres i henhold til dette. Dette er forsøkt illustrert i figuren, her med tre aktive lydspor i tillegg til grunnlyden.

Videoen nedenfor blir dermed et eget, avledet uttrykk. I praksis vil trolig adskillig færre lyder spilles av samtidig, og de spilles av i ulike retninger i rommet. En full stereomiks blir noe ganske annet:

Aquafoni – teknisk test

Teknisk test av Aquafoni over tre dager. Ikke helt uventet møtte vi en del problemer, og typisk nok andre problemer enn det jeg først hadde forestilt meg. 

Videoen nedenfor gir ikke noe skikkelig inntrykk av lydbildet, men viser hvordan kortleserne, montert under figurene, kommuniserer med basene som i sin tur sender beskjeder som hvilke figurer som er plassert hvor og styrer lydene i samsvar med dette.

Aquafoni – ferdig grunnlyd

Den underliggende lydloopen i Aquafoni blir knappe femten minutter. I tillegg kommer en rekke som publikum kan være med å styre ved å flytte på "aquafonikere":

I hovedsak er dette basert på egne lydopptak, men med noen tillegg. Jeg har brukt deler av:

• Underwater (small river) av melarancida
• Underwater [Loop] av DCSFX 
• ELEMENTS_WATER_02_Phasin-bubbles av suonho 
• Under water sounds while scuba diving av timsc 
• Thunderstorm av Richard Devine 

Aquafoni og Auditomosjon under Festspillene 2022

–Magnus (t.h) og  Tarita er studenter i kunst og håndverk. De og medstudentene har laget "aquafonikerne" til  Aquafoni under årets Småspill. Foto: Mari-Louise Uldbæk Stephan

Jeg utvider repertoaret av lydinstallasjoner, i år med en nyoppsetning av Auditomosjon, samt årets nykommer: Aquafoni. Begge kan oppleves som en del av Småspill, HVLs samarbeid med Festspillene i Bergen.

Les også saken på HVL sine nettsider.

Auditomosjon ble satt opp første gang i 2021, men på grunn av koronarestriksjoner kunne ikke installasjonen brukes fullt ut slik det er tenkt. Installasjonen består av 15 store, tekstile lydskapninger. De er store, selv sett i forhold til en voksen. For små barn blir de selvsagt enda større, relativt sett. Lydskapningene er relativt lette, slik at de kan beveges og flyttes på av barn i alle aldre.

Inne i hver lydskapning befinner det seg en datamaskin og en høyttaler. Hver av disse avgir en grunnlyd, som spilles av hele tiden, samt rytmer. Rytmene spilles av og varierer i tonalitet når skapningene settes i bevegelse. Dermed blir dette en lydlig lekeplass der publikum kan spille med, og bokstavelig talt på lydskapningene.

I fjor måtte publikum bevege lydskapningene i Auditomosjon ved hjelp av spesielle pinner. Dette for å kunne ivareta smittevern. I år blir det imidlertid mulig å interagere med lydskapningene fullt og helt. 

Årets utgave av Auditomosjon gir dermed en helt annen haptisk opplevelse, dvs både taktilt (de ulike overflatene) og kinestetisk (skapningenes bevegelse og de vibrasjonene en kan kjenne fra lydene).

Så er det nykommeren, Aquafoni. Denne begynte med en ide som om til etter at kollega Jostein Stalheim tipset om høyttalersystemet IKO. Det endte med at jeg bygget en rundstrålende høyttalersøyle med 40 elementer, fordelt på 10 stereokanaler. Det hele består av fem høyttalersøyler på et stativ – jeg kalte det derfor et Auditopenta.

Auditopentaet styres via et lydkort, som gjør det mulig å sende spesifikke deler av et lydbilde til de enkelte høyttalerene. Tanken er dels å bruke dette for komposisjoner laget for dette oppsettet. I Aquafoni blir imidlertid auditopentaet sentralt i en installasjon der studenter har laget et tyvetalls "aquafonikere". Dette er vesner, laget i ull, som inneholder hver sin RFID-brikke. Samme teknologi som vi kjenner fra nøkkelkort mm. Når en aquafoniker plasseres på en av femten baser aktiverer dette deler av en komposisjon, samtidig som det dirigerer den tilhørende lyden i retning av der aquafonikeren er plassert. Slik kan publikum spille go styre verket ved å flytte aquafonikere mellom basene.

Auditomosjon og Aquafoni dermed to lydverk som lar publikum påvirke et lydlandskap på ganske forskjellige måter. I tilfelle Auditomosjon er høyttalerne distribuert og kan flyttes på. I Aquafoni er høyttalerne plassert sentralt, men påvirkes av hvordan publikum flytter objektene.

Håper det blir bra med folk. Begge installasjonene kan oppleves på HVL, Kronstad den 29. og 30. mai. Auditomosjon skal deretter videre til Stord og Sogndal. Opplevelsen er gratis, så her er det bare å komme og oppleve og gjerne diskutere lyd og bevegelse.

Aquafoni – illustrasjonslek

Noen av aquafonikerne begynner å bli ferdige

og disse illustrasjonene ble på en litt tilfeldig måte knyttet til en uferdig visuell fortelling. Fortellingen handler om vannfolket, navinere, og med det en slags kobling til "navi nere" – sorte skip – brukt om vestlige skip som ankom Japan opp til det 19. århundre. Samt et møte med et undersjøisk vesen – Slik henger ting løst sammen på et vis ...

Aquafoni – filting og filtrering og lyd

Lydklokkene begynner å ta form. Her et lite utvalg, midt i prosessen, samt en snapshot fra ulleverandøren: Ved Hillesvåg ullvarefabrikk kommer det meste av ullen fra norske sauer - kortreist med andre ord.

Studentene former kardet ull og med filtenåler og toving, ulike teknikker for å filtre ullfibre sammen.

Jeg er på ingen måte bevandret i etymologi, men det er spennende hvordan ord har oppstått og hvordan betydninger henger sammen. Så langt jeg kan finne ut kommer filte fra Latin "filtrum", og kan kanskje bety noe i retning av å sammenføye. Men ordet henger igjen sammen med at sammenfiltrede fibre kunne brukes til å rense væsker. Derav på Latin "filtrare" – filtrere. I medisinsk terminologi betegner filtrum gropen de aller fleste har på overleppen. Det føyer sammen ansiktet, under nesen, og gjør ansiktet mer fleksibelt, slik at vi kan skape flere ulike uttrykk.

Ting henger dermed sammen på underfundig, begrepsmessig vis. En vesentlig del av lydproduksjonen som jeg holder med på til installasjonen Aquafoni handler om å ta i bruk digitale filtre, der signabehandlingen filterer vekk enkelte frekvenser og fremhever andre, samtidig som forskjellige lydkilder blandes sammen. 

– Filting av lyd, om du vil.

På en befaring rundt på HVL lette vi etter egnede steder for installasjonen. Det handler om å finne rom som er store nok og som har akustiske egenskaper som er egnet. I den sammenheng snakket jeg litt om konkret musikk og hvordan denne kan leve godt med et samspill med omgivelseslyder. Jeg nevnte et eksempel på en innspilling av Ólafur Arnalds and Nils Frahm, der lyder fra byen, knirking av stoler, støy fra tangenter mm er en, for meg, vesentlig del av lytteopplevelsen. For vår del vil naturlydrer ha en mer sentral plass, noe som også gjør at omgivelseslyder gjerne kan blandes i det totale lydbildet.

Frahm spilte forresten for noen år inn albumet Felt, fremført på et preparert piano flyt med nettopp filt.

Aquafoni – tidlig fase

Ting utvikler seg og finner litt nye retninger. Prosjektet jeg har fundert på en stund er nå i ferd med å konkretiseres frem mot Småspill 2022. Høgskulen på Vestlandet vil også i år samarbeide med Festspillene. Det betyr at Auditomosjon vil bli satt opp igjen, denne gengen uten koronaretriksjoner. I tillegg jobber vi med prosjektet jeg tror jeg vil kalle Aquafoni.

Tanken er her å bruke auditopentaet, som jeg bygget for to år siden. Koronaen må ta sin del av skylden, men dette prosjektet har enn så lenge ikke blitt fullendt. Nå tror jeg imidlertid vi er på sporet av en løsning som vil fungere.

Konseptskissen ovenfor viser auditopentaet sentralt plassert i et rom. Det vil spilleen grunnlyd,  et lengre stykke satt sammen av naturlyder. Tanken er at dette lydstrekket følger vannets gang i fem faser: 1. Vann i luften 2. Vann møter jord 3. Vann langs bakken 4. Vann i havet , og 5. Under vann.

En gruppe studenter, kunst og håndverksstudenter i 3. året, jobber for tiden med å utforme mer enn tyve ulike objekter. Disse bygges rundt en base – studentene assosierte disse med kettlebells, og lydklokker kan være en passende betegnelse.

Studentene bygger skulpturer i filtet ull, under kyndig veiledning fra Marie Skreden – masteroppgaven hennes handler erfaringsbasert formforstålese utviklet gjennom å utforske filting, så dette er en bra match. Et møte mellom min utforskning av haptisk lydkunst og denne masteroppgaven gjør Aquafoni til et forskningsbasert prosjekt i flere ledd. Slik tilfellet var med Auditomosjon og Tilhører er det også denne gangen Johannes Ringheim som finner ut av de tekniske sidene og det som må til for å styre selve lydavspillingen. Jeg holder som vanlig på med mye av det jeg ikke kan ...