Gjennom ild og vann

Under arbeidstittelen " Gjennom ild og vann – former fra landskap", har masterstudenter i kunst og håndverk arbeidet med bruksformer, kopper og små krukker, laget av materiale som mennesker tidlig lærte å utnytte. 

Ordet keramikk, fra det greske keramos, som betyr "å brenne". Grekerne brukte begrepet om "brente ting" eller "brent jord". Keramikk er resultatet av ild, på materialer hentet fra jorden. Det er ikke vanskelig å se for seg at noen har laget bål nær vann, på leirgrunn, og oppdaget at det skjer noe med leiren ved høy temperatur. Den myke leiren var blitt knallhard, som stein.

Den første kjente keramikken oppsto trolig for nærmere 30 tusen år siden, og representerte et betydelig fremskritt. Keramikk gjorde det mulig å  lagre og koke av mat på en effektiv måte, og førte til endringer i diett, bosetting og sosiale strukturer. Tidlig keramikk gir oss innsikt i de kulturelle praksisene og teknologiene som var tilgjengelige for forhistoriske samfunn.

Trevirke har en tenntemperatur på 280-340°C. De synlige flammene har temperaturer opp mot 600°C. Glødende kull kan nå temperaturer på 800°C – 1100°C. Ved disse temperaturene blir leire omdannet til keramikk. Ved høyere temperaturer oppstår sintring, der partiklene i leiren smelter sammen og danner en homogen enhet.

Vi forsøkte ulike metoder. Øverst tørkes gjenstandene ved bålet, før de legges i glørne og det fyres skikkelig. I tillegg brukte vi en gassfyrt ovn, der vi forsøkte raku, med reduksjonsbrenning (innebærer at oksygenet begrenses, og keramikken blir brun-svart) – les mer i Keramikk – fortidens stemme. Vi forsøkte oss også på obvara-teknikken – som jeg testet i forrige uke.

Test med obvara – baltisk raku

Jeg er ingen keramiker, men liker å utforske ulike materialmøter. For en tid tilbake gjorde kollega Gro Eide og jeg noen forsøk med fliser. Vi brukte blant annet noen 3D-printede pressformer, laget med utgangspunkt i en KI-generert illustrasjon av en strofe i Håvamål.

En blanding av digitalt og analogt altså, og med det en anledning til å linke til posten om "Digitalt håndlaget".

Tiden går, og flisene har blitt liggende råbrent i et par år. Når jeg nå finner de frem igjen er det fordi Gro og jeg skal brenne keramikk sammen med studenter. På samme måte som i fjor vil vi brenne i groper og tønner, der vi bruker ved, men i tillegg vil vi forsøke oss på raku-teknikker, der vi fyrer med gass.

I forkant tester jeg ut obvara, også kjent som baltisk raku, er en keramikkteknikk med røtter i Øst-Europa og Baltikum. I fjor sommer kjøpte jeg et vegghengt fat, laget med denne teknikken, fascinert av det spesielle utseendet. I år avsluttes sommeren med å teste teknikken selv.

Obvara er kjent tilbake til 1100-tallet. Metoden ligner på raku og innebærer å varme opp råbrent keramikk til omtrent 900 °C, før det raskt dyppes i en fermentert blanding av mel, vann, gjær og sukker, og deretter i kaldt vann for å stoppe reaksjonen. 

Mine tester tyder på at dette fungerer på lavere temperaturer, ned mot 700 °C (jf flisen oppe til høyre), og jeg ser at flere anbefaler å legge seg noe lavere enn 900 (jf flisen nede til høyre, som riktig nok fikk "steke" en stund før den havnet i vann). Høy temperatur kan muligens henge sammen med at teknikken antas å ha blitt brukt for å forlenge holdbarheten på matvarer. Ved høy temperatur brenner mer av melblandingen inn i keramikken, og jeg antar det kan gi en tettere overflate.

Dersom en kun dypper den varme keramikken raskt blir resultatet er unike, mønstrede overflater med fargetoner som spenner fra kremhvitt til svart, der den ferdige overflaten varierer mellom matt og blank, avhengig av variabler som temperatur og tid under behandlingen.

Visuelle uttrykk med utgangspunkt i skrift

I Digitale medier og materialitet skriver jeg om en rekke forskjellige møter mellom digital teknologi og ulike estetiske uttrykk. Problemet med å skrive en bok på om digitaliseringens konsekvenser er at det stadig kommer nye eksempler. Et gjennomgående trekk er imidlertid hvordan samspillet mellom mennesker og maskiner kan føre til nye løsninger, som mennesker tidligere ikke har tenkt på og som vi kan inspireres av og kombinere på nye måter. Maskinlæring og kunstig intelligens byr i denne sammenhengen på enorme muligheter ved å tilby “råvarer” som mennesker kan benytte i skapende arbeid.

• Les anmeldelse av Digitale medier og materialitet

DALL·E mini (havner etter hvert her: craiyon.com) eksemplifiserer dette ved å lage bilder med tekststrenger som input. Forbildet er mer potente varianter som Open AIs Dall E 2 og Googles variant Imagen.

"Mini"-versjonen har den fordelen at den kan brukes fritt, men de virkelig spennende bruksområdene kan realiseres ved hjelp av originalen: DALL·E 2 kan lage originale, realistiske bilder og kunst med utgangspunkt i en tekstbeskrivelse. AIen kan videre gjøre realistiske endringer i eksisterende bilder, også dette med utgangspunkt i en tekstbeskrivelse. Den kan også lage nye varianter av et bilde inspirert av originalen. DALL·E 2 har lært ved å se på forholdet mellom bilder mellom bilder og tekster som  beskriver bildene. Deretter benyttes en prosess kalt "diffusjon", som starter med et mønster av tilfeldige prikker og gradvis endrer mønsteret mot et bilde når det gjenkjenner spesifikke aspekter ved bildet.

Med DALL·E mini blir dette er noen av resultatene med utgangspunkt i frasen "queen drinking beer in a cave with the moon above":

 

Bokanmeldelse - Digitale medier og materialitet

Jeg har vært heldig og fått en anmeldelse av Digitale medier og materialitet fra svært kompetent hold: Lovise Søyland disputerte i 2021 med avhandlingen Grasping materialities: Making sense through explorative touch interactions with materials and digital technologies og hun er med det en av de med virkelig ferske kunnskaper på feltet digitale medier og materialitet. 

Søylands anmeldelse oppsummeres som følger:

Jon Hoems bok er høyst aktuell, og et etterlengtet og viktig bidrag som åpner opp nye forståelser, perspektiver og muligheter knyttet til digitale medier og  materialitet. Hoem løfter fram ulike eksisterende syn og forståelseshorisonter som vi kan bruke til å nærme oss  materialitet. Det er ikke bare de fysiske omgivelsene og materialene vi har rundt oss som har en materialitet som kan sanses og erfares.

Dersom dette høres fristende ut kan boken bestilles her. Prisen, 289,–, og med 343 sider er det trolig rimeligere enn hva du kan hente ut av fargekopimaskinen.

Søyland avslutter anmeldelsen slik:

Vi trenger Hoems bok om Digitale medier og materialitet, og jeg vil anbefale boka på det varmeste både til studenter, akademikere og utøvende designere, håndverkere eller kunstnere knyttet til utdanningsfeltet, skapende praksis og mediedesign. Vi trenger en bok som stiller spørsmål og som løfter fram potensialene til hva vi aktivt kan gjøre med digital (medie)teknologi og hva den gjør og kan gjøre med oss.

For min del er det svært tilfredstillende når en leser med grundige kunnskaper om bokens tema konkluderer med at den treffer slik jeg har ønsket, både i bredde og faglig dybde. Det understreker også min tverrfaglige tilnærming knyttet til hvordan det digitale får konsekvenser på ulike fagfelt og samfunnsområder.

Bokanmeldelse. Digitale medier og materialitet – i sin helhet som PDF.

Lyd, haptikk og materialitet

To kompakte innlegg under Nettverkskonferansen 2022. Om du gikk glipp av dette kan du få med deg det meste i form av videoer på sidene som presenterer innleggene.

I det ene innlegget, Auditomosjon - haptisk lydkunst, snakker jeg om betydningen av lyd (særlig akustikk) og evnen til å lytte til omgivelser og materialer. Her er det konkrete eksempelet lydinstallasjonen Auditomosjon, som var en del av Småspill (Festspillene i Bergen) i 2021 og som settes opp igjen i 2022.

Begrenset med tid gjorde at jeg ikke snakket så mye om mitt hovedanliggende: lydens og akustikkens betydning i forhold til opplevelse av omgivelsene. I akkurat den forbindelse er jeg ikke sikker på at vi lykkes fullt ut med Auditomosjon. Dvs. det meste tyder på at installasjonen er vellykket som uttrykk, men det er alltid vanskelig å overføre dette til de inntrykkene som en ønsker å formidle.

Koblingen til å lytte "i rom" og "til rom" kommer kanskje litt i bakgrunnen. For meg er det imidlertid særdeles betydningsfullt hvordan lyd og akustikk påvirker opplevelsen av rom. Avslutningsvis setter jeg opp Gol stavkirke (originalen, flyttet til Bygdøy) og Nidarosdomen. De er selvsagt svært forskjellige med hensyn til tredimensjonalt rom og visuell fremtoning, men for meg er det lydlige også av svært stor betydning.

Et annet, sterkt eksempel er installasjonen Shalekhet (Fallen Leaves) av Menashe Kadishman i det jødiske museet i Berlin. Jeg hadde vært her flere ganger før jeg i 2019 våget meg inn i denne installasjonen, sammen med studenter. Tidligere hadde jeg kun betraktet det visuelle, noe som i seg selv er skjellsettende. Å gå på de stiliserte metallansiktene aktiverer imidlertid både det kinestetiske (en må holde balansen på bevegelig grunn) og ikke minst lyden av metallansiktene. En sterk kobling av haptikk, lyg, visuelle inntrykk og rom – svært emosjonelt, inspirerende og vanskelig å matche.

Det andre innlegget har jeg kalt Parametrisk design og digital materialitet. Her er et utgangspunkt Fagfornyelsen og algoritmisk tankegang diskuterer jeg hvordan digital materialitet og parametrisk design kan komme inn i K&H-utdanningen på en konstruktiv måte. Jeg forstår her parametrisk design som designprosesser der parametere og regler sammen definerer et design gjennom forhold mellom hensikt og respons. Digital materialitet forstår jeg som et samspill mellom en rekke betingelser som påvirker hvordan estetiske uttrykk oppstår, representeres og distribueres ved hjelp av digital teknologi.

Jeg forsøker meg på litt modellutvikling i forlengelse av det jeg skriver om i boken. I et kort innlegg blir det lite tid til å diskutere modellen, men essensen er hvordan digital materialitet både er knyttet til materialenes egenskaper (merk at kode og programvare forstås som materiale), samtidig som digital materialitet står i et mer sosiologisk forhold til designernes hensikter og intensjoner. Ikke minst står materialitet i forhold til de artefaktene som designes ved hjelp av materialer. Her bruker jeg artefaktenes "respons" med henvisning til tilbakekoblinger slik dette forstås innen kybernetikken, og med det jeg i boken diskuterer og betegner som kybernetisk materialitet.

Det blir mange begreper og med det er det alltid en fare for å få for stor avstand til det konkrete. I det siste innlegget forsøker jeg derfor å eksemplifisere med eksempler fra arkitekturfeltet samt andre eksempler fra egen praksis, her knyttet til parametrisk design i Tinkercad Codeblocks. Dette peker også litt tilbake til et av fjorårets innlegg om estetikk og algoritmer.

Det hele henger kanskje sammen i form av en kybernetisk video. Jeg bruker denne som eksempel i boken, som et eksempel på samspill mellom menneske og maskin og en konkret bruk av sfæriske opptak som transformeres til tradisjonell video. Videoen er i min ører også et eksempel på lydens betydning – her i form av et musikalsk uttrykk.

Simulering og digital materialitet

I Digitale medier og materialitet kommer jeg innom flere eksempler på VR i fiksjon. Et av eksemplene  som hører hjemme i den sammenhengen er Matrix fra 1999, nettopp fordi denne fiksjonsfilmen så tydelig peker på mange av de filosofiske sidene ved (kommende) perfekt audiovisuell simulering. Jeg diskuterer mange forhold ved dette, ikke minst i et eget kapittel om haptiske representasjonsformer,

Det er trolig mest et spørsmål om tid før vi alle har tilgang til tekniske løsninger der skillet mellom det som representeres direkte og det som genereres av datamaskiner blir svært vanskelig, nær umulig  å observere. Og vi kan med høy sannsynlighet gå ut ifra at de som er barn i dag vil benytte slike løsninger store deler av sin fritid og yrkesliv.

Vi bør derfor for alvor diskutere og forholde oss til tekniske løsninger som muliggjør utvidet og virtuell virkelighet i forhold til formidling. Forholdet mellom det som oppfattes som virkelig og det som forstås som kunstig mediert kan utfordres allerede av dagens medieteknologier. Legger vil til grunn at fremtidens representasjonsformer vil bli adskillig mer integrert med hvordan vi fysisk sanser våre omgivelser vil dette forholdet påvirke hvordan vi forstår oss selv i verden. 

Sjekk Matrix Awakens traileren / spillvideoen nedenfor, samt en sammenligning av den originale filmen og dagens versjon via Unreal Engine 5. Å lage spill og/eller film smelter for alvor sammen:

Det er mange ting som møtes her, som Metahuman Creator som ble lansert for halvannet år siden og ikke minst spillmotoren som holder den simulerte byen "levende" i sanntid.  Den virtuelle byen dekker et areal på knappe 16 kvadratkilometer, det er 260 km med veier og 1 248 veikryss. Legg til 45073 parkerte biler, hvorav 38146 er kjørbare. 7000 bygninger og 35000 simulerte MetaHuman fotgjengere.

Kopierbarhet og transformerbarhet

I Digitale medier og materialitet avgrenser jeg digital materialitet på grunnlag av noen felles egenskaper, da særlig kopierbarhet, transformerbarhet og multilinearitet. Boken diskuterer en rekke eksempler på den fleksibiliteten som digital informasjon og programvare gir, og hvordan den kan komme til uttrykk på svært forskjellige måter.

Siden jeg liker praktiske, konkrete eksempler: her er en liten remiks av bokens omslag. Omslaget er i utgangspunktet designet ved hjelp av Google Tegninger. Boken er forøvrig satt i Google Dokumenter – ikke fordi dette er det beste verktøyet for å sette en bok, men fordi dette er et verktøy som er lett og gratis tilgjengelig. Det fungerer dessuten aldeles utmerket.

Fra Tegninger er veien kort til en kopi i Google Presentasjoner der de enkelte elementene kan flyttes og endres. Kombinasjonen av å kunne håndtere punktgrafikk sammen med vektorgrafikk gjør presentasjonsverktøy til et effektivt verktøy, selv for oppgaver det nok aldri var beregnet for.

Prosessen beskrives i mer detalj her, men kort fortalt lastes presentasjon ned som en PDF. Dette bevarer det som måtte være av vektorgrafikk. Deretter konverteres pdf-filen til en animasjon via tjenesten EZGif. 

Kopierbarhet og transformerbarhet i mange ledd og slik sett et enkelt eksempel på hvordan digitale uttrykk og produksjonsmåter er transmediale (påtvers av medier), om enn i en litt annen form enn det Henry Jenkins definerte i 2007.

Vi kan forresten fint jobbe med multilinearitet i et presentasjonsprogram også, for eksempel slik Gro og jeg har gjort med bøker og AR, eller slik Sarah og jeg har gjort med mer komplekse hypertekster, som utmerket godt kan realiseres i et presentasjonsprogram.

Ny bok: Digitale medier og materialitet

En variant av presentasjonen av boken Digitale medier og materialtet. presentert på nettsidene til forskergruppen Materialitet, teknologi og berekraft. 

En vesentlig del av bakgrunnen for boken er hvordan gjennomgripende digitalisering påvirker oss alle, nærmest uavhengig av hvilke fagfelt vi jobber innenfor og hvilke uttrykksformer vi tar i bruk. Svært mye av det som omgir oss i hverdagen skapes og styres ved hjelp av datamaskiner og blir dermed til og må forstås under nye betingelser.

Spørsmålene om hvordan det digitale får konsekvenser blir stadig viktigere, ikke minst fordi så mange av de artefaktene som omgir oss er svært påvirket, ofte fullstendig avhengige, av det digitale.

Tredyr, tempera og "nearest neighbor"-algoritmen

Det går fra det "små" til det "store" i dag. Først en økt med barnehagelærerstudenter der vi laget temperamaling med både egg og kasein. Jeg har et lite miljøprosjekt gående, der jeg vil akrylmaling til livs. Maling basert på naturmaterialer er en helt annen, og mer miljøvennlig historie. Kaseinmalingen gir et matt, eksklusivt uttrykk, mens eggtempera er det nærmeste vi kommer en maling for evigheten. Begge typer maling ble brukt til møbler og interiører før oljemalingene og etter hvert ulike polymerer overtok gjennom industriell produksjon av maling.

Her er det noe som må gjenerobres.

De små malte tredyrene henger også sammen med en litt større begivenhet for min del. I dag kom nemlig en sending fra trykkeriet med første utgave av Digitale medier og materialitet, boken jeg endelig er ferdig med, der jeg setter meg fore å utforske forhold og sammenhenger mellom det digitale og det fysisk materielle.

Hva er så sammenhengen med tredyrene? Jo, før vi bygget dyrene tok vi ut noen sekker med kapp fra tresløyden. Den første oppgaven til studentene var å kategorisere trebitene, slik et barn uten begreper som f.eks. rektangel, sirkel, sfære, omkrets, diameter osv. kunne gjort det. Da begynner vi med å sammenligne objekter og klassifisere de ut fra observerte, visuelle og taktile likhetstrekk.

Dette innebærer at studentene nærmer seg sorteringen på noenlunde samme måte som en "Nearest neighbor"-algoritme. De som kjøper boken vil blant annet kunne lese en spennende historie om legen John Snow, og hvordan han dokumenterte hvordan kolera smittet, i London på midten av 1800-tallet. Snow benyttet i praksis samme teknikk på et annet område. Han anvendte dermed nærmeste nabo-klassifisering, som i dag ligger til grunn for søketjenester, anbefalingssystemer, navigasjon, forskjellige former for maskinlæring, mm. 

De små henger her sammen med de store ...

"Digitale medier og materialitet" sendt til trykkeriet

Point of no return – Digitale medier og materialitet er sendt til trykkeriet.

En slags gjennomgang. Ikke for at dette skal leses, men videon gir et inntrykk av bokens innhold:

Cybernetic Serendipity

Kurator Jasia Reichardt introduserer her Cybernetic Serendipity, en utstilling ved Institute of Contemporary Arts, i London, 1968. Dette var den første utstillingen som tok for seg kunst skapt ved hjelp av datamaskiner.

Cybernetic Serendipity dealt broadly with the demonstration of how people can use computers and new technology to extend creativity and inventiveness. It was exhibited at the Institute of Contemporary Arts, Nash House, London, Aug. 2-Oct. 20, 1968.

Jasia Reichardt tar oss også gjennom "Cybernetic Serendipity, A Brief Tour" i forbindelse med utstillingens femtiårsjubileum. Fascinerende tatt i betraktning tiden dette ble laget:

Skape ulike estetiske utrykk ved hjelp av verbalspråk

For mange år siden skrev jeg en liten tekst der jeg så for meg at det å skrive manus, lage et storyboard og faktisk redigere en film ville smelte sammen. Tanker var at mye av det jeg skrev i et manus og storyboard er instruksjoner som kan minne om et høynivå kodespråk. Videre at kodens som ligger bak dataspill da vil kunne smelte helt sammen med film, og at denne koden kunne skrives via et avansert grensesnitt der en verbalt beskriver hva som skal skje, i konstant dialog med maskinen.

Jeg har tenkt på dette fra tid til annen, men det ligger så langt unna hva jeg er i stand til å realisere at det har vært en utopi.

Det nærmeste jeg kom var kanskje en prototype som Johanens Ringheim og jeg laget, for å styre sfæriske bilder til et filmatisk uttrykk. Jeg presenterte dette på medieforskerkonferansen i 2018, og endte opp med noen tanker om hvorvidt medieforskere bør lære seg å kode (mange gjør jo faktisk det, så det er kanskje vel så mye snakk om at undertegnende må ta et tak). Prototypen var vellykket, men som litt for ofte ender jeg opp med å la prosjektet ligge, uten å publisere noe - dermed finnes kun en uferdig artikkel.

Dvs, det kommer straks noe i boken Digitale medier og materialitet – i det hele ble det følgende svært så relevant for bokens aller siste kapittel "Kybernetisk materialitet". Jeg må bare holde meg i skinnet, og ikke skrive noe om. 

Det som åpnet denne skuffen i hukommelsen var denne videoen om OpenAI Codex (om du synes "Hello world"-eksemplet er litt trivielt [det er ikke det], så spol litt frem til der de koder et enkelt spill). Med denne videoen fikk ideene fra mange år siden nytt liv. Det jeg i alle fall ser er at det å lage sfærisk stillbildefilm med ett kan bli mer tilgjengelig, og at i forlengelsen av dette blir utopien om å kunne skrive frem en film gjennom verbalspråk mer sannsynlig. Det er faktisk litt vanskelig å forestille seg hav dette ikke kan brukes til i fremtiden. Det handler mest om hvilke grensesnitt vi bruker mellom menneske og maskin og hvilke estetiske uttrykksformer vi velger å anvende det til.

Å skrive skolestil blir neppe helt det samme når vi reelt skriver sammen med en datamaskin ....