Visuelle uttrykk med utgangspunkt i skrift

I Digitale medier og materialitet skriver jeg om en rekke forskjellige møter mellom digital teknologi og ulike estetiske uttrykk. Problemet med å skrive en bok på om digitaliseringens konsekvenser er at det stadig kommer nye eksempler. Et gjennomgående trekk er imidlertid hvordan samspillet mellom mennesker og maskiner kan føre til nye løsninger, som mennesker tidligere ikke har tenkt på og som vi kan inspireres av og kombinere på nye måter. Maskinlæring og kunstig intelligens byr i denne sammenhengen på enorme muligheter ved å tilby “råvarer” som mennesker kan benytte i skapende arbeid.

• Les anmeldelse av Digitale medier og materialitet

DALL·E mini (havner etter hvert her: craiyon.com) eksemplifiserer dette ved å lage bilder med tekststrenger som input. Forbildet er mer potente varianter som Open AIs Dall E 2 og Googles variant Imagen.

"Mini"-versjonen har den fordelen at den kan brukes fritt, men de virkelig spennende bruksområdene kan realiseres ved hjelp av originalen: DALL·E 2 kan lage originale, realistiske bilder og kunst med utgangspunkt i en tekstbeskrivelse. AIen kan videre gjøre realistiske endringer i eksisterende bilder, også dette med utgangspunkt i en tekstbeskrivelse. Den kan også lage nye varianter av et bilde inspirert av originalen. DALL·E 2 har lært ved å se på forholdet mellom bilder mellom bilder og tekster som  beskriver bildene. Deretter benyttes en prosess kalt "diffusjon", som starter med et mønster av tilfeldige prikker og gradvis endrer mønsteret mot et bilde når det gjenkjenner spesifikke aspekter ved bildet.

Med DALL·E mini blir dette er noen av resultatene med utgangspunkt i frasen "queen drinking beer in a cave with the moon above":

 

• Les også: Code in image - image in code

Der en setning på engelsk gjennomgående gir tegneserieaktige uttrykk blir de ganske annerledes med det norske "dronning drikker øl i en grotte med månen ovenfor" (til venstre nedenfor) gir snodige resultater. Fant etter hvert ut at det ikke var norsk som sådan som er problemet, men tegnene "æ, ø og å".  Dermed fungerer "dronning drikker beer i en grotte med the moon ovenfor" noe bedre:

 

Disse bildene er gjerne ikke så interessante i seg selv, men det kan bli mer smell i det dersom vi henter noe fra stor diktning, som James Joyce: "Moments of their secret life together burst like stars upon his memory." (fra The Dead). Her rommer ordene mye som det er krevende å fange i et visuelt bilde, men om samtidig begynner maskinen å gi oss noen konkrete utgangspunkt vi kan jobbe videre med: 

Eksemplene understreker også noe jeg har påpekt ganske lenge: vi må lære oss hvordan vi fører konstruktive dialoger med maskiner. Dette vil trolig føre til ulike "språk" som er tilpasset forskjellige brukssituasjoner. Skjønt resultatene ved å bruke litt lengre litterære sitater er også interessante:

He watched sleepily the flakes, silver and dark, falling obliquely against the lamplight. The time had come for him to set out on his journey westward. Yes, the newspapers were right: snow was general all over Ireland. It was falling on every part of the dark central plain, on the treeless hills, falling softly upon the Bog of Allen and, farther westward, softly falling into the dark mutinous Shannon waves. It was falling, too, upon every part of the lonely churchyard on the hill where Michael Furey lay buried. It lay thickly drifted on the crooked crosses and headstones, on the spears of the little gate, on the barren thorns. His soul swooned slowly as he heard the snow falling faintly through the universe and faintly falling, like the descent of their last end, upon all the living and the dead.

He asked himself what is a woman standing on the stairs in the shadow, listening to distant music, a symbol of. If he were a painter he would paint her in that attitude. Her blue felt hat would show off the bronze of her hair against the darkness and the dark panels of her skirt would show off the light ones. Distant Music he would call the picture if he were a painter.