JON HOEM

Førsteamanuensis ved Institutt for kunstfag, Høgskulen på Vestlandet – Bergen.

Underviser i og forsker på nye, digitale medier.

Jeg er interessert i forholdet mellom medier og fysiske materialer: i 2021 kom boken Digitale medier og materialitet med en grundig diskusjon av denne tematikken.

For tiden jobber jeg blant annet med lydprosjektene "Auditomosjon" og "Aquafoni", sfæriske medier, ulike former for roboter, mm.

Min Dr.-avhandling om personlig publisering.

Siterte artikler og publikasjoner i Cristin.

24. mai 2022

Aquafoni - rigging







Lang dag i går med rigging, lodding, som og småplukk for å få Aquafoni klar til årets Småspill. Nå følger jeg spent med og håper det ikke blir streik.

Bildet viser høyttalersøylen omgitt av aquafonikere – ullskulpturer laget av våre studenter i 3. klasse i K&H. Hver aquafoniker har NFC-kort ("nøkkelkort") festet på undersiden. Når de plasseres på en base (se nedenfor) registreres dette av en NFC-leser koblet til en Micro:bit som så sender et radiosignal til en datamaskin som styrer lydene. Slik kan publikum flytte lydene rundt til ulike steder i høyttalersøylen, og i rommet, ved å flytte aquafonikerne mellom basene.

Lydene styres og fordeles via Pure Data og sendes ut vi et flerspors lydkort til de fem høyttalersøylene.

Helt nederst ser vi innmaten i basene. En liten batteribank holder liv i mikrodatamaskinen gjennom hele dagen og sørger for at basene oppdaterer den sentrale maskinen. Radiosignalene går til en microbit som er tilkoblet datamaskinen. Akkurat denne forbindelsen er installasjonens lille akilleshæl. Vi hadde en vellykket test, men egenskaper ved rommet gjør at signalet misser noen ganger. En liten svakhet, men ikke verre enn at helheten fungerer bra.

22. mai 2022

Klaus Schulze Feat. Lisa Gerrard

Dette er snadder for den som har sansen for det som vel kan karakteriseres som klassisk elektronisk musikk. Klaus Schulze døde dessverre for en liten måned siden, men hadde traktert syntetisere siden sent på 1960-tallet. I en definerende periode var han medlem av Tangerine Dream. Lisa Gerrard var sentral i Dead Can Dance siden starten av 1980-tallet. Storslagent dette:

14. mai 2022

Aquafoni – lydmiks [TEST]

Videoen nedenfor er svært langt unna det uttrykket som publikum vil oppleve når de hører, ser og interagerer med Aquafoni om noen uker. Dette er først og fremst en form for underveisdokumentasjon der alle lydsporene er mikset sammen. Det endelig uttrykket vil være en mellomting mellom videoen som jeg laget i forbindelse med teknisk test og det du hører nedenfor. 

Egentlig ikke mulig å forestille seg ... hvilket er noe av det som gjøre dette spennende, også for meg som sysler med detaljene. 


Gitt at lydene vil mikses sammen live, styrt av hvordan publikum forflytter "aquafonikere" – vesner, laget i ull, som inneholder hver sin NFC-brikke. I det en aquafoniker plasseres på en base vil en liten datamaskin, inne i basen, fange opp signalet fra brikken og deretter kommunisere med en sentral datamaskin. Sentralen vet da til enhver tid hvilke aquafonikere som er plassert hvor og lydbildet styres i henhold til dette. Dette er forsøkt illustrert i figuren, her med tre aktive lydspor i tillegg til grunnlyden.

Videoen nedenfor blir dermed et eget, avledet uttrykk.

3. mai 2022

Fremtidsutsikter med digital teknologi

Det er lenge siden jeg har hatt et hovedinnlegg på en konferanse, men i dag fikk jeg prøvd meg under den 16. nordiske lærerutdannerkonferansen, i Torshavn. Drøyt 250 deltakere gjorde at jeg kjente litt på at dette er ganske annerledes enn et paperfremlegg.

Gitt at konferansen samler folk fra hele Norden har jeg en skriftlig, engelskspråklig versjon i bakhånd. Vanligvis pleier jeg ikke å skrive et fullstendig manus, men denne gangen gjorde jeg det. Det er også et poeng at det vesentligste av oversetterjobben her er gjort av en maskin.

Jeg fikk en god del spørsmål i etterkant omkring hva vi bør prioritere å lære, både selv og hva angår studenter. Jeg har ingen klare svar, men gitt at maskiner vil bli svært kraftige vil de også bli gode til å kode. Det vil ikke ha særlig hensikt å legge opp til at flertallet skal lære å skrive kode. Dvs i alle fall ikke forstått som å skrive et dataprogram. Trolig vil vi i stedet utforme programmer for ulike behov gjennom dialoger med maskiner. Nysgjerrighet, logikk, etikk, evne til å se behov, forståelse for konsekvenser etc blir trolig viktigere kunnskaper, og da i sammenheng med kommunikasjon og samarbeid med maskiner.

28. april 2022

Aquafoni – teknisk test

Teknisk test av Aquafoni over tre dager. Ikke helt uventet møtte vi en del problemer, og typisk nok andre problemer enn det jeg først hadde forestilt meg. 

Videoen nedenfor gir ikke noe skikkelig inntrykk av lydbildet, men viser hvordan kortleserne, montert under figurene, kommuniserer med basene som i sin tur sender beskjeder som hvilke figurer som er plassert hvor og styrer lydene i samsvar med dette.

6. april 2022

Auditomosjon – haptisk og auditiv immersjon

Jeg leverte et abstract med denne tittelen: "Auditomosjon – haptisk og auditiv immersjon" og har angret på alt for mange fremmdeord på en gang. Dagens innlegg under konferansen Make it Together handler om sammenhenger mellom berøring, bevegelse og lyd. Forhold som har stor betydning for hvorvidt vi opplever å bli omsluttet av et estetisk uttrykk. 

Jeg bruker blant annet “Shalekhet” i Jüdisches Museum, Berlin, som et analogt eksempel på betydningen av koblingen mellom kroppslig bevegelse og lyd. Denne installasjonen har vært et forbilde for mitt eget arbeid i andre materialer og med helt annen tematikk: Auditomosjon utforsker sammenhenger mellom  bevegelse og lyd gjennom bruk av lydsamplinger som styres av datamaskiner med sensorer som registrerer bevegelse.

Flere detaler her.

 

3. april 2022

Aquafoni – ferdig grunnlyd

Den underliggende lydloopen i Aquafoni blir knappe femten minutter. I tillegg kommer en rekke som publikum kan være med å styre ved å flytte på "aquafonikere":



I hovedsak er dette basert på egne lydopptak, men med noen tillegg. Jeg har brukt deler av:

23. mars 2022

Aquafoni og Auditomosjon under Festspillene 2022

–Magnus (t.h) og  Tarita er studenter i kunst og håndverk. De og medstudentene har laget "aquafonikerne" til  Aquafoni under årets Småspill. Foto: Mari-Louise Uldbæk Stephan

Jeg utvider repertoaret av lydinstallasjoner, i år med en nyoppsetning av Auditomosjon, samt årets nykommer: Aquafoni. Begge kan oppleves som en del av Småspill, HVLs samarbeid med Festspillene i Bergen.

Les også saken på HVL sine nettsider.

Auditomosjon ble satt opp første gang i 2021, men på grunn av koronarestriksjoner kunne ikke installasjonen brukes fullt ut slik det er tenkt. Installasjonen består av 15 store, tekstile lydskapninger. De er store, selv sett i forhold til en voksen. For små barn blir de selvsagt enda større, relativt sett. Lydskapningene er relativt lette, slik at de kan beveges og flyttes på av barn i alle aldre.

Inne i hver lydskapning befinner det seg en datamaskin og en høyttaler. Hver av disse avgir en grunnlyd, som spilles av hele tiden, samt rytmer. Rytmene spilles av og varierer i tonalitet når skapningene settes i bevegelse. Dermed blir dette en lydlig lekeplass der publikum kan spille med, og bokstavelig talt på lydskapningene.

I fjor måtte publikum bevege lydskapningene i Auditomosjon ved hjelp av spesielle pinner. Dette for å kunne ivareta smittevern. I år blir det imidlertid mulig å interagere med lydskapningene fullt og helt. 

Årets utgave av Auditomosjon gir dermed en helt annen haptisk opplevelse, dvs både taktilt (de ulike overflatene) og kinestetisk (skapningenes bevegelse og de vibrasjonene en kan kjenne fra lydene).

Så er det nykommeren, Aquafoni. Denne begynte med en ide som om til etter at kollega Jostein Stalheim tipset om høyttalersystemet IKO. Det endte med at jeg bygget en rundstrålende høyttalersøyle med 40 elementer, fordelt på 10 stereokanaler. Det hele består av fem høyttalersøyler på et stativ – jeg kalte det derfor et Auditopenta.

Auditopentaet styres via et lydkort, som gjør det mulig å sende spesifikke deler av et lydbilde til de enkelte høyttalerene. Tanken er dels å bruke dette for komposisjoner laget for dette oppsettet. I Aquafoni blir imidlertid auditopentaet sentralt i en installasjon der studenter har laget et tyvetalls "aquafonikere". Dette er vesner, laget i ull, som inneholder hver sin RFID-brikke. Samme teknologi som vi kjenner fra nøkkelkort mm. Når en aquafoniker plasseres på en av femten baser aktiverer dette deler av en komposisjon, samtidig som det dirigerer den tilhørende lyden i retning av der aquafonikeren er plassert. Slik kan publikum spille go styre verket ved å flytte aquafonikere mellom basene.

Auditomosjon og Aquafoni dermed to lydverk som lar publikum påvirke et lydlandskap på ganske forskjellige måter. I tilfelle Auditomosjon er høyttalerne distribuert og kan flyttes på. I Aquafoni er høyttalerne plassert sentralt, men påvirkes av hvordan publikum flytter objektene.

Håper det blir bra med folk. Begge installasjonene kan oppleves på HVL, Kronstad den 29. og 30. mai. Auditomosjon skal deretter videre til Stord og Sogndal. Opplevelsen er gratis, så her er det bare å komme og oppleve og gjerne diskutere lyd og bevegelse.

19. mars 2022

The17 – motor og musikalsk performance

Har postet om dette tidligere, men her snakker Bill Drummond mer om The17



11. mars 2022

Aquafoni – illustrasjonslek

Noen av aquafonikerne begynner å bli ferdige



og disse illustrasjonene ble på en litt tilfeldig måte knyttet til en uferdig visuell fortelling. Fortellingen handler om vannfolket, navinere, og med det en slags kobling til "navi nere" – sorte skip – brukt om vestlige skip som ankom Japan opp til det 19. århundre. Samt et møte med et undersjøisk vesen – Slik henger ting løst sammen på et vis ...

21. februar 2022

Dagens porsjon royalisme

Litt tilfeldig kom jeg over den digitale versjonen av dette bildet. Jeg laget det til lydinstallasjonen "Drit i det" i 2017, men bildet var på ingen måte ment å være negativt til kongehuset. Snarere tvert imot: her var poenget å føye seg inn i en lang tradisjon med kongebilder i uthuset.

Så passet det på mange måter bra i dag, på kongens 85-årsdag.

Da jeg demonterte lydinstallasjonen/utedassen kom en student forbi og spurte om det var jeg som hadde laget bildet. Hun likte det. Dermed ble det forært studenten, i glass og ramme. Kanskje henger det ennå på en hybel i Bergen.

Samme bilde henger på kontoret mitt. Riktig nok sammen med vel mye annet ...


20. februar 2022

"Streetart" på Danmarksplass

Etter at jobben flyttet på seg passerer jeg undergangen på Danmarksplass langt sjeldnere enn før. I 2010 hadde jeg stor glede av å se hvordan undergangen endret seg, frem mot det som ble kalt Danmarksplass Streetart Gallery. Dessverre tok Statens veivesen "grep" og det hele ble malt over.

Siden den gang har tonen endret seg og Bergen blitt selvutnevnt hovedstad for gatekunst, dog uten all verdens takhøyde. Med det har vi fått en rekke autoriserte prosjekter, egne vegger for gatekunst, gallerier som. I 2021 kom prosjektet «Gatekunst på skoleveien» som igjen dekorerer undergangen på Danmarksplass.

Meningen er ikke å være kjip: det er mye godt å si om prosjekter som dette, der ungdom kan bidra til sine egne omgivelser. At prosjektlederen ikke kunne dy seg og har funnet plass til eget verk får så være. Det litt stusslige er imidlertid at prosjekter som dette fort får preg av å være permanent – nærmest det motsatte av hva gatekunst bør være (i alle fall etter undertegnedes mening). Galleriene som selger masseproduserte verk er langt på vei uttrykk for det samme. Ting blir, bokstavelig talt, stuerent. Med det slutter kanskje ikke gatekunsten å være kunst, men det har ikke lenger noe med gate å gjøre.

Tillater meg et nostalgisk tilbakeblikk til 2010:


18. februar 2022

Aquafoni – filting og filtrering og lyd

Lydklokkene begynner å ta form. Her et lite utvalg, midt i prosessen, samt en snapshot fra ulleverandøren: Ved Hillesvåg ullvarefabrikk kommer det meste av ullen fra norske sauer - kortreist med andre ord.

Studentene former kardet ull og med filtenåler og toving, ulike teknikker for å filtre ullfibre sammen.

Jeg er på ingen måte bevandret i etymologi, men det er spennende hvordan ord har oppstått og hvordan betydninger henger sammen. Så langt jeg kan finne ut kommer filte fra Latin "filtrum", og kan kanskje bety noe i retning av å sammenføye. Men ordet henger igjen sammen med at sammenfiltrede fibre kunne brukes til å rense væsker. Derav på Latin "filtrare" – filtrere. I medisinsk terminologi betegner filtrum gropen de aller fleste har på overleppen. Det føyer sammen ansiktet, under nesen, og gjør ansiktet mer fleksibelt, slik at vi kan skape flere ulike uttrykk.

Ting henger dermed sammen på underfundig, begrepsmessig vis. En vesentlig del av lydproduksjonen som jeg holder med på til installasjonen Aquafoni handler om å ta i bruk digitale filtre, der signabehandlingen filterer vekk enkelte frekvenser og fremhever andre, samtidig som forskjellige lydkilder blandes sammen. 

– Filting av lyd, om du vil.

På en befaring rundt på HVL lette vi etter egnede steder for installasjonen. Det handler om å finne rom som er store nok og som har akustiske egenskaper som er egnet. I den sammenheng snakket jeg litt om konkret musikk og hvordan denne kan leve godt med et samspill med omgivelseslyder. Jeg nevnte et eksempel på en innspilling av Ólafur Arnalds and Nils Frahm, der lyder fra byen, knirking av stoler, støy fra tangenter mm er en, for meg, vesentlig del av lytteopplevelsen. For vår del vil naturlydrer ha en mer sentral plass, noe som også gjør at omgivelseslyder gjerne kan blandes i det totale lydbildet.

Frahm spilte forresten for noen år inn albumet Felt, fremført på et preparert piano flyt med nettopp filt.



11. februar 2022

Aquafoni – tidlig fase

Ting utvikler seg og finner litt nye retninger. Prosjektet jeg har fundert på en stund er nå i ferd med å konkretiseres frem mot Småspill 2022. Høgskulen på Vestlandet vil også i år samarbeide med Festspillene. Det betyr at Auditomosjon vil bli satt opp igjen, denne gengen uten koronaretriksjoner. I tillegg jobber vi med prosjektet jeg tror jeg vil kalle Aquafoni.

Tanken er her å bruke auditopentaet, som jeg bygget for to år siden. Koronaen må ta sin del av skylden, men dette prosjektet har enn så lenge ikke blitt fullendt. Nå tror jeg imidlertid vi er på sporet av en løsning som vil fungere.

Konseptskissen ovenfor viser auditopentaet sentralt plassert i et rom. Det vil spilleen grunnlyd,  et lengre stykke satt sammen av naturlyder. Tanken er at dette lydstrekket følger vannets gang i fem faser: 1. Vann i luften 2. Vann møter jord 3. Vann langs bakken 4. Vann i havet , og 5. Under vann.

En gruppe studenter, kunst og håndverksstudenter i 3. året, jobber for tiden med å utforme mer enn tyve ulike objekter. Disse bygges rundt en base – studentene assosierte disse med kettlebells, og lydklokker kan være en passende betegnelse.

Studentene bygger skulpturer i filtet ull, under kyndig veiledning fra Marie Skreden – masteroppgaven hennes handler erfaringsbasert formforstålese utviklet gjennom å utforske filting, så dette er en bra match. Et møte mellom min utforskning av haptisk lydkunst og denne masteroppgaven gjør Aquafoni til et forskningsbasert prosjekt i flere ledd. Slik tilfellet var med Auditomosjon og Tilhører er det også denne gangen Johannes Ringheim som finner ut av de tekniske sidene og det som må til for å styre selve lydavspillingen. Jeg holder som vanlig på med mye av det jeg ikke kan ...

24. januar 2022

Lyd, haptikk og materialitet

To kompakte innlegg under Nettverkskonferansen 2022. Om du gikk glipp av dette kan du få med deg det meste i form av videoer på sidene som presenterer innleggene.

I det ene innlegget, Auditomosjon - haptisk lydkunst, snakker jeg om betydningen av lyd (særlig akustikk) og evnen til å lytte til omgivelser og materialer. Her er det konkrete eksempelet lydinstallasjonen Auditomosjon, som var en del av Småspill (Festspillene i Bergen) i 2021 og som settes opp igjen i 2022.

Begrenset med tid gjorde at jeg ikke snakket så mye om mitt hovedanliggende: lydens og akustikkens betydning i forhold til opplevelse av omgivelsene. I akkurat den forbindelse er jeg ikke sikker på at vi lykkes fullt ut med Auditomosjon. Dvs. det meste tyder på at installasjonen er vellykket som uttrykk, men det er alltid vanskelig å overføre dette til de inntrykkene som en ønsker å formidle.

Koblingen til å lytte "i rom" og "til rom" kommer kanskje litt i bakgrunnen. For meg er det imidlertid særdeles betydningsfullt hvordan lyd og akustikk påvirker opplevelsen av rom. Avslutningsvis setter jeg opp Gol stavkirke (originalen, flyttet til Bygdøy) og Nidarosdomen. De er selvsagt svært forskjellige med hensyn til tredimensjonalt rom og visuell fremtoning, men for meg er det lydlige også av svært stor betydning.

Et annet, sterkt eksempel er installasjonen Shalekhet (Fallen Leaves) av Menashe Kadishman i det jødiske museet i Berlin. Jeg hadde vært her flere ganger før jeg i 2019 våget meg inn i denne installasjonen, sammen med studenter. Tidligere hadde jeg kun betraktet det visuelle, noe som i seg selv er skjellsettende. Å gå på de stiliserte metallansiktene aktiverer imidlertid både det kinestetiske (en må holde balansen på bevegelig grunn) og ikke minst lyden av metallansiktene. En sterk kobling av haptikk, lyg, visuelle inntrykk og rom – svært emosjonelt, inspirerende og vanskelig å matche.

Det andre innlegget har jeg kalt Parametrisk design og digital materialitet. Her er et utgangspunkt Fagfornyelsen og algoritmisk tankegang diskuterer jeg hvordan digital materialitet og parametrisk design kan komme inn i K&H-utdanningen på en konstruktiv måte. Jeg forstår her parametrisk design som designprosesser der parametere og regler sammen definerer et design gjennom forhold mellom hensikt og respons. Digital materialitet forstår jeg som et samspill mellom en rekke betingelser som påvirker hvordan estetiske uttrykk oppstår, representeres og distribueres ved hjelp av digital teknologi.

Jeg forsøker meg på litt modellutvikling i forlengelse av det jeg skriver om i boken. I et kort innlegg blir det lite tid til å diskutere modellen, men essensen er hvordan digital materialitet både er knyttet til materialenes egenskaper (merk at kode og programvare forstås som materiale), samtidig som digital materialitet står i et mer sosiologisk forhold til designernes hensikter og intensjoner. Ikke minst står materialitet i forhold til de artefaktene som designes ved hjelp av materialer. Her bruker jeg artefaktenes "respons" med henvisning til tilbakekoblinger slik dette forstås innen kybernetikken, og med det jeg i boken diskuterer og betegner som kybernetisk materialitet.

Det blir mange begreper og med det er det alltid en fare for å få for stor avstand til det konkrete. I det siste innlegget forsøker jeg derfor å eksemplifisere med eksempler fra arkitekturfeltet samt andre eksempler fra egen praksis, her knyttet til parametrisk design i Tinkercad Codeblocks. Dette peker også litt tilbake til et av fjorårets innlegg om estetikk og algoritmer.

Det hele henger kanskje sammen i form av en kybernetisk video. Jeg bruker denne som eksempel i boken, som et eksempel på samspill mellom menneske og maskin og en konkret bruk av sfæriske opptak som transformeres til tradisjonell video. Videoen er i min ører også et eksempel på lydens betydning – her i form av et musikalsk uttrykk.

13. januar 2022

Gamle bilder fra Storetveit

 Snø var det i alle fall på Storetveit i 1907:




Sett ut over Storetveitmarken en gang mellom 1935 og 1939:

5. januar 2022

SpaceX, Tesla Autopilot, Roboter og AI

Kjenner litt på følelsen av å være litt for mye fanboy, men det får våge seg. Det er tross alt mer enn tre år siden sist jeg postet en lignende video. Den gangen fordi diskusjonen omkring eksistens og simulering var blant flere spennende tema.

Denne gangen er det AI-forskeren Lex Fridman som har intervjuet Elon Musk. Igjen svært mye interessant. En ting er nå Tesla og SpaceX, men her er det mye annet spennende. Har du ikke to timer å avse, hopp frem til der de snakker om pengesystemer og kryptovaluta. Ellers er samtalen omkring Autopilot og Teslabot ved å få med seg. Jeg anbefaler dette i sin helhet, som en intro til 2022...

 
◄ Free Blogger Templates by The Blog Templates | Design by Pocket