AI >> "The currency of the future is ideas"

Noen videoer som gir litt innsikt i hva kunstig intelligens AI kan bety for hvordan vi kommer frem til og tenker omkring kunstneriske uttrykk (og mye annet).

"Prompt engineering" eller "prompt craft" blir viktig – de som anvender språk (i vid forstand) på komplekse måter blir best skikket til å føre dialoger med maskiner.

Mye interessant her med relevans for mye av det jeg skriver om i Digitale medier og materialitet.

Ny dag med DALL·E mini

Gårsdagens forsøk ga mersmak og jeg fortsetter å eksperimentere med DALL·E mini.

Visuelle uttrykk med utgangspunkt i skrift

I Digitale medier og materialitet skriver jeg om en rekke forskjellige møter mellom digital teknologi og ulike estetiske uttrykk. Problemet med å skrive en bok på om digitaliseringens konsekvenser er at det stadig kommer nye eksempler. Et gjennomgående trekk er imidlertid hvordan samspillet mellom mennesker og maskiner kan føre til nye løsninger, som mennesker tidligere ikke har tenkt på og som vi kan inspireres av og kombinere på nye måter. Maskinlæring og kunstig intelligens byr i denne sammenhengen på enorme muligheter ved å tilby “råvarer” som mennesker kan benytte i skapende arbeid.

• Les anmeldelse av Digitale medier og materialitet

DALL·E mini (havner etter hvert her: craiyon.com) eksemplifiserer dette ved å lage bilder med tekststrenger som input. Forbildet er mer potente varianter som Open AIs Dall E 2 og Googles variant Imagen.

"Mini"-versjonen har den fordelen at den kan brukes fritt, men de virkelig spennende bruksområdene kan realiseres ved hjelp av originalen: DALL·E 2 kan lage originale, realistiske bilder og kunst med utgangspunkt i en tekstbeskrivelse. AIen kan videre gjøre realistiske endringer i eksisterende bilder, også dette med utgangspunkt i en tekstbeskrivelse. Den kan også lage nye varianter av et bilde inspirert av originalen. DALL·E 2 har lært ved å se på forholdet mellom bilder mellom bilder og tekster som  beskriver bildene. Deretter benyttes en prosess kalt "diffusjon", som starter med et mønster av tilfeldige prikker og gradvis endrer mønsteret mot et bilde når det gjenkjenner spesifikke aspekter ved bildet.

Med DALL·E mini blir dette er noen av resultatene med utgangspunkt i frasen "queen drinking beer in a cave with the moon above":

 

Sommerlektyre – "The Manual"

The Timelords (med klar referanse til Dr Who), dvs Jimmy Cauty og Bill Drummond, beskriver i "The Manual" (how to have a number one the easy way) fra 1988 hvordan en går frem for å få til en hitlåt.

Mange gode poenger innimellom, blant annet:

Spend Monday evening around at some mate's house. See if he has any records worth borrowing. More importantly, tell him what you are up to and see if he has any great ideas worth using. It is a little known fact but when it comes to creative ideas the majority of people are creative geniuses. Your mate is bound to be one of them. It's just that all these folks never dare to translate their creative brilliance into reality. We guess a couple of libraries could be filled with the reasons why they never attempt it. Something to do with mother and when she first said, "No!"

Bokanmeldelse - Digitale medier og materialitet

Jeg har vært heldig og fått en anmeldelse av Digitale medier og materialitet fra svært kompetent hold: Lovise Søyland disputerte i 2021 med avhandlingen Grasping materialities: Making sense through explorative touch interactions with materials and digital technologies og hun er med det en av de med virkelig ferske kunnskaper på feltet digitale medier og materialitet. 

Søylands anmeldelse oppsummeres som følger:

Jon Hoems bok er høyst aktuell, og et etterlengtet og viktig bidrag som åpner opp nye forståelser, perspektiver og muligheter knyttet til digitale medier og  materialitet. Hoem løfter fram ulike eksisterende syn og forståelseshorisonter som vi kan bruke til å nærme oss  materialitet. Det er ikke bare de fysiske omgivelsene og materialene vi har rundt oss som har en materialitet som kan sanses og erfares.

Dersom dette høres fristende ut kan boken bestilles her. Prisen, 289,–, og med 343 sider er det trolig rimeligere enn hva du kan hente ut av fargekopimaskinen.

Søyland avslutter anmeldelsen slik:

Vi trenger Hoems bok om Digitale medier og materialitet, og jeg vil anbefale boka på det varmeste både til studenter, akademikere og utøvende designere, håndverkere eller kunstnere knyttet til utdanningsfeltet, skapende praksis og mediedesign. Vi trenger en bok som stiller spørsmål og som løfter fram potensialene til hva vi aktivt kan gjøre med digital (medie)teknologi og hva den gjør og kan gjøre med oss.

For min del er det svært tilfredstillende når en leser med grundige kunnskaper om bokens tema konkluderer med at den treffer slik jeg har ønsket, både i bredde og faglig dybde. Det understreker også min tverrfaglige tilnærming knyttet til hvordan det digitale får konsekvenser på ulike fagfelt og samfunnsområder.

Bokanmeldelse. Digitale medier og materialitet – i sin helhet som PDF.

Sampling av lyd og bærekraft

Sammen med kollega Øystein Kvinge skal jeg i gang med prosjektet "Sampling av lyd og bærekraft" (link til prosjektsider kommer), med såkornsmidler fra UH-nett Vest. Prosjektet er et samarbeid med Kronstad skole og Teklab.

Fagfornyelsen 2020 stiller grunnskolen og høyere utdanning ovenfor forventninger om å levere kunnskap på nye, tverrfaglige områder. Prosjektet vil utforske lyd som estetisk uttrykk, informasjons- og læringsmedium, og hvordan dette kan utnyttes ved lydproduksjon i grenselandet mellom musikk, akustikk og fortelling. Studenter og elever skal arbeide med temaet bærekraft gjennom å kombinere lengre feltopptak av naturlyder og verbale uttrykk med kortere, gjentagende lydsamples.

Gjennom prosjektet vil vi utvikle og teste estetiske og tekniske løsninger der sampling av lyd brukes i undervisning gjennom bruk av samplede naturlyder i podcaster. Prosjektet vil legge særlig vekt på hvordan lyd kan brukes som estetisk uttrykk som formidler egenskaper ved og forståelse for naturlige miljøer og bærekraftig utvikling. 

Mediering av kunnskaper i utdanning skjer oftest gjennom skrift og visuelle representasjoner. Samtidig vet vi at sanser som berøring, lukt og hørsel skaper andre kognitive forankringer av minner. Musikalske uttrykk kan eksempelvis utvikle kapasiteter for emosjonell tolkning. Grunnleggende for prosjektet er derfor at kunnskap skapes, utvikles og formidles gjennom ulike kunnskapsspråk, som lyd, bilde, poesi og ting i bevegelse, alene eller i relasjon til andre.

Prosjektet bygger på tidligere innovasjons- og utviklingsprosjekter, der lydsamples anvendes. Sampling forbindes tradisjonelt med å ta opp og manipulere deler av musikkverk. I vår tid finner en tilnærminger der feltopptak kan danne utgangspunkt for videre bearbeiding og komposisjon. Tidligere arbeider med relevans for prosjektet er den lokative lydinstallasjonen Tilhører, et innendørs, lokativt hørespill Operasjon Bruno, Auditomosjon og Aquafoni, to interaktive lydinstallasjoner for Festspillene i 2021/22. Disse produksjonene bruker lydsamples som en sentral del av uttrykket.

Nyskaping gjennom bruk av roboter i undervisning

Innlegg under Fjordkonferansen 2022: Nyskaping gjennom bruk av roboter i undervisning. Vi presenterer ulike typer automatoner, brukt på forskjellige utdanningsnivå og med ulik målsetting. Eksemplene og diskusjonen er avgrenset til roboter som finnes som fysiske artefakter, og som kan styres av brukerne ved hjelp av kode. Vi ser på forskjellige typer roboter, fra enkle ferdigbygde enheter, maskiner som studenter bygger selv, via roboter til sosialt bruk og til industrielle maskiner.

Innlegget skisserer rammene for en artikkel om hvordan roboter kan fungere som "rød tråd" gjennom utdanningsløpet, fra grunnskole til høyre utdanning. Fysiske roboter har den fordelen at de inkluderer ganske mye bygging, noe som kan appellere til de som liker å jobbe med hendene, samtidig som det også inkluderer mer abstrakte måter å arbeide på, f eks ved å kode robotens egenskaper. Prosjektene kan dermed skalere i omfang og kompleksitet og tilpasses ulike nivå.

Aquafoni – Videoer fra fremføring

Studentene som var vertskap for Aquafoni ble etter hvert gode til å gjenkjenne lydene som er knyttet til de enkelte "aquafonikerne". Videoen nedenfor viser Sofie, Amalie og Sofie som gjør en fremføring. Lyden i rommet er ganske annerledes enn det et kamera fanger fra tredjepersonsperspektiv. Den som plasserer en aquafoniker på en av basene får raskt en auditiv respons fra høyttalersøylen , der en korresponderende lyd sendes i den retningen hvor den tilhørende aquafonikeren er plassert.

Auditomosjon 2022

Auditomosjon ble satt opp i fullversjon under Festspillene / Småspill i år. I 2021 var det hele preget av restriksjoner og smittervern. Jeg satte denne opp to dager i Bergen, så på Stord og i Sogndal.

Først et bilde fra oppsetningen av Auditomosjon i Sogndal. Foto: Tove Uglum (HVL).

Småspill 2022 oppsummert

Noen bilder fra Aquafoni i Bergen [Foto: Johanne Karlsrud /FiB] og en video fra oppsetningen:

 


Aquafoni:

Vi satte også opp Auditomosjon i fullversjon i år. Her ser vi i de fleste av i alt 15 lydobjekter:

Auditomosjon fikk skikkelig gjennomgå når opp mot førti barn og noen voksne holdt på samtidig. Da blir det mange på hvert objekt, og lydopplevelsen endret karakter for å si det slik – bevegelse overtok. Det gikk såpass hard for seg at tre skapninger tok kvelden (punkterte) før vi tok Auditomosjon med videre til Stord og Sogndal. Her fra Sogndal, etter at jeg hadde lånt noen pappkulisser etter en studenteksamen:

Sound of Danger

Rakk akkurat hjem fra Småspill på Stord, til dette. Et tilbakeblikk til Sound og Danger, så tidlig på 80-tallet at jeg knapt hadde oppdaget synthpopen (skjønt når jeg tenker meg om (Soft Cell) og i 1984 (Gary Numan).

Beranek var tidlig ut i Norge, og akkurat denne låta fikk nok alle med seg selv om den aldri kom med på LPen. Særdeles bra konsert, og som vanlig strålende lyd på Kulturhuset i Bergen:

Quadro – Bergen

Flott danseforestilling under Festspillene, Quadro: