"Bilderestaurering" med KI

Her om dagen var jeg medstudenter på to utstillinger. Den ene, Vibeke Tandberg på KODE, viste blant annet tidlige og interessante eksempler på digital bildebehandling. Utstillingen favner imidlertid langt videre, og anbefales varmt.

Deretter gikk turen til Bryggen museum, først og fremst for å se på Ragna Breiviks billedvever etter Gerhardt Munthes tegninger. 

Denne posten handler imidlertid ikke direkte om noe av dette, skjønt det handler både om middelalderens motivkrets og manipulasjon. På Bryggen museum finnes en del av en tavle fra gamle Dale kirke i Luster. Kirken er fra 1200-tallet, men tavlen er trolig fra 13-1400-tallet, og deler av motivene er forsvunnet.

Dermed et enkelt prompt: "Gjenskap de delene som er borte og fullfør bildet. Det er fra en altertavle fra middelalderen. Isoler motivet". 

Dette er neppe ikke helt korrekt, siden det nok ikke er en altertavle, men et antemensale / alterfrontal – en plate eller klede som danner forsiden av et alterbord i en kirke. Etter å ha rotet ganske mye rundt fant jeg The stave church paintings : mediaeval art from Norway, som jeg ikke får lov til å lese. De malte antemensaler i Norge, av samme forfatter, Martin Blindheim, er imidlertid tilgjengelig.

Men så "restaureringen", først med Grok:

Tidsbilder - en liten, kollektiv "bok"

Jeg la til rette for en liten workshop under årets Nettverkskonferanse for K&H i UH. Deltakerne laget et hefte med fotografier, tatt kl 14.05 den 27. januar, og korte tekster fra Phd-avhandlinger persentert udner konferansen:

 

Å lage slike små hefter om ulike tema bør være et nyttig møtepunkt mellom det digitale og det analoge. En kan fint se for seg at lærere, studenter og elever kan samarbeide om å fylle et hefte med faktainformasjon, og gjerne la det være blanke sider for personlige tilpasninger og notater. Slik kan en med enkle midler lage læremidler som tar opp i seg noe av det beste ved å jobbe digitalt (på skjerm) og lese og notere på papir.

Videolek

Ikke akkurat stor kunst, men jeg har i og for seg sett det verre...

Eksperimenter live med Sonic Greenhouse (ingen lydredigering i etterkant) og kombinerer det med noe videomateriale som lå på maskinen:

Test med obvara – baltisk raku

Jeg er ingen keramiker, men liker å utforske ulike materialmøter. For en tid tilbake gjorde kollega Gro Eide og jeg noen forsøk med fliser. Vi brukte blant annet noen 3D-printede pressformer, laget med utgangspunkt i en KI-generert illustrasjon av en strofe i Håvamål.

En blanding av digitalt og analogt altså, og med det en anledning til å linke til posten om "Digitalt håndlaget".

Tiden går, og flisene har blitt liggende råbrent i et par år. Når jeg nå finner de frem igjen er det fordi Gro og jeg skal brenne keramikk sammen med studenter. På samme måte som i fjor vil vi brenne i groper og tønner, der vi bruker ved, men i tillegg vil vi forsøke oss på raku-teknikker, der vi fyrer med gass.

I forkant tester jeg ut obvara, også kjent som baltisk raku, er en keramikkteknikk med røtter i Øst-Europa og Baltikum. I fjor sommer kjøpte jeg et vegghengt fat, laget med denne teknikken, fascinert av det spesielle utseendet. I år avsluttes sommeren med å teste teknikken selv.

Obvara er kjent tilbake til 1100-tallet. Metoden ligner på raku og innebærer å varme opp råbrent keramikk til omtrent 900 °C, før det raskt dyppes i en fermentert blanding av mel, vann, gjær og sukker, og deretter i kaldt vann for å stoppe reaksjonen. 

Mine tester tyder på at dette fungerer på lavere temperaturer, ned mot 700 °C (jf flisen oppe til høyre), og jeg ser at flere anbefaler å legge seg noe lavere enn 900 (jf flisen nede til høyre, som riktig nok fikk "steke" en stund før den havnet i vann). Høy temperatur kan muligens henge sammen med at teknikken antas å ha blitt brukt for å forlenge holdbarheten på matvarer. Ved høy temperatur brenner mer av melblandingen inn i keramikken, og jeg antar det kan gi en tettere overflate.

Dersom en kun dypper den varme keramikken raskt blir resultatet er unike, mønstrede overflater med fargetoner som spenner fra kremhvitt til svart, der den ferdige overflaten varierer mellom matt og blank, avhengig av variabler som temperatur og tid under behandlingen.

Lumina, en KI-fortelling

Et stort bilde, laget med Stable Diffusion. Så er bildet beskrevet ved hjelp av Grok (teksten nedenfor) og lest ved hjelp av naturalreaders.com. Musikken er laget med Suno, og det hele redigert med videoredigeringsprogrammet CapCut, med en bevegelse gjennom panoramaet (Ken Burns effekt).

Dermed ender jeg med en visuell fortelling. Jeg har ikke behandlet teksten, ut over å kutte den litt ned. Det er heller ikke gjort noe lydbehandling av den genererte stemmen, annet enn å legge inn noen små pauser. Uansett, det blir noe av dette:

Nå er dette i utgangspunktet ikke ment å være planlagt, og innhold laget ved hjelp av kunstig intelligens er enn så lenge ganske uforutsigbart. Jeg styrer til en viss grad uttrykket gjennom ledetekster (promts), men det meste dreier seg om å gjøre valg og tilpasninger. For eksempel begynner det enorme panoramabildet med en liten del (markert i skjermbildet nedenfor) og en svært enkel kommando: "A steamboat". Fra dette er det gjort noen hundre utvidelser av bildet, uten ytterligere ledetekster. De fleste forslagene som KIen kommer opp med har jeg godtatt.  Dette tar en del tid, men den kreative innsatsen er minimal. Når jeg senere ber Grok om å lage en fortelling basert på bildet gjør jeg svært få endringer, før teksten blir del av videoen ovenfor.

3D-printede trykkplater

I forlengelsen av forsøk jeg gjorde for et års tid siden (ting tar tid), men denne gangen  med en todelt trykkplate. Grunnen er rett og slett at 3D-printeren har noen betydelige begrensninger med hensyn til størrelsen på printene. Dermed må to plater skjøtes sammen. For å minimere sjansene for synlige skjøter er originalbildet tilpasset slik at platen kan deles der det er lite sverte som påføres – her midt på stammen, like under greinene.

PLA-plasten, printet med 100% innfill, der selve bunnplaten er 2mm og deretter flatene for høytrykket hevet ytterligere 2mm. Platen blir dermed rimelig solid, men tåler neppe å  printes særlig tynnere.

Trykksverten er basert på planteoljer, og fungerer på samme måte som tradisjonelle oljebaserte farger. Dermed ingen løsemidler og mindre miljøbelastning. Den dekker godt og fungerer fint sammen med PLA-plasten.

Einsam med turbiner

Stable Diffusion får ikke helt til dette, dvs lage en kommentar til den pågående striden mellom reindrift og vindturbiner på Fosen:

På sett og vis bedre der KI kreerer friere, her henholdsvis Craiyon.com og Stable Diffusion (Diffusion Bee):

Men John Savios originalbilde "Okto" (Einsam) står seg bedre:

Munchvariasjoner

Varianter av denne, selv om maskinen ikke helt kommer tilbake i det samme landskapet. Men mye spennende en kan jobbe videre med her ...

 

Feltforsøk med cyanotypi

Gjorde et forsøk i felt. Dvs papir og kjemi ble med en tur i kajakken. Dermed et utendørs forsøk med cyanotypi, der kjemien ble blandet på stedet og trykkene laget mens emulsjonen var våt. Dette fungerer, men jeg hadde ikke med glassplater til å holde planter mm nede. Dermed ble eksponeringene ganske diffuse. Vakrest var det egentlig underveis i prosessen:

Scener fra et ekte skap

Forsøker med på en slags Bergman-referanse her. Lek med Dall-E og EZGif:

Fremtidens kunst?

I en artikkel fra NRK – Er dette fremtidens kunst? – uttaler kunstkritiker Pahle Bjerke at dagens kunstverden ikke lenger bruker det håndverksmessige som målestokk for hva som er god kunst. Det er i større grad idéene bak kunstverkene som gjelder.

I lys av de siste dagenes eksperimenter med Dall-e mini og nå endelig Open AIs Dall-e. Jeg har nærmest gjort James Joyce sine ord fra The Dead til en en fellesnevner for mitt eget prosjekt: "He asked himself what is a woman standing on the stairs in the shadow, listening to distant music, a symbol of. If he were a painter he would paint her in that attitude. Her blue felt hat would show off the bronze of her hair against the darkness and the dark panels of her skirt would show off the light ones. Distant Music he would call the picture if he were a painter." Bildet viser et resultat fra Dall-e. Det synes som de har tilpasset den åpne delen av tjenesten slik at den ikke lenger generere fullt fotorealistiske bilder, noe Dall-e er fullt i stand til.

Jeg ser nå at det kan være på sin plass å peke til et innlegg jeg holdt på den nordiske lærerutdannerkonferansen i vår: 

Fremtidsutsikter med digital teknologi. Her snakket jog om konsekvensene av eksponentiell vekst og hvordan dette har muliggjort maskinlæring og kunstig intelligens, samt 

min utvidelse av Malcolm Ross sin modell for estetisk læring. Jeg plasserer dette i spennet mellom "Lek og teknologifikling" og "Systematikk og algoritmer". 

I Digitale medier og materialitet skriver jeg om mange slike eksempler, fra ulike felt, der samarbeidet mellom mennesker og maskiner anvendes for å skape forskjellige representasjoner.

Auditopenta

Hva er et «Auditiopenta»? Det lurer du forhåpentligvis såpass mye på at du leser litt til. En form for ideutvikling dette, der jeg har kommet et par hakk videre siden slutten av fjoråret.

Oppsettet skissert nedenfor er inspirert av iko.sonible.com. IKO er en høyttaler som sies å spille med rommet den står i. Alle høyttalere skaper i og for seg resonanser i et rom, men med mange membraner, som kan spille sammen og kontrolleres individuelt, gjør det mulig å skreddersy en komposisjon for rom med ulike egenskaper. Auditiopentaet blir dermed en sentral lydkilde, omgitt av et lydfelt. I stedet for å oppleve den avspilte lyden fra en ideell lytteposisjon, f eks slik som ved stereofonisk lyd, inviterer auditiopentaet snarere til at lytteren beveger seg og utforsker ulike lytteposisjoner.

Lydbildet kan også tilpasses ytterligere ved hjelp av reflektorer og ulike akustisk dempende materialer.

Selve høyttalerriggen – «Auditiopentaet» – kan sende ut lyd i mange retninger, da hver søyle i pentagrammet inneholder fire høyttalere. Tanken er at alle de totalt 20 høyttalerne kan kontrolleres individuelt og formidle fragmenter fra ulike lydkilder (lydspor i avspillingsprogrammet) som til sammen danner et hele.

Slik kan en “forme” et komplekst, romlig lydbilde, enten som en ferdig komposisjon eller fremført live – kun som avspilling, eller med musikere som en del av fremføringen. Lyden skapes i nært samspill med de akustiske forholdene i rommet der auditopentaet plasseres, og dette fremstår som en form for elektroakustisk instrument.

Inspirasjonskilden, IKO, har 20 fulltoneelementer, drevet av en forsterker med like mange utganger. Dette er et skikkelig high-end-oppsett med ditto pris. Det tjener som et forbilde, men vårt oppsett er et forsøk med mye enklere komponenter. Vi baserer oss på sett med aktive høyttalere, dvs at de inneholder en liten forsterker (Klasse D) som får signaler fra et lydkort med 10 stereoutganger.

Der IKO bruker en spesialprogramvare vil vi utforske hvordan vi kan skape lydbildene ved hjelp av standard programvare, fortrinnsvis Ableton Live da dette programmet byr på en rekke muligheter.

Tango og AI

Den litt rare overskriften viser til at jeg under UH-nett Vest sitt årlige seminar, som i disse tider er avlyst, skulle ha holdt et innlegg med tittelen Automatoner – elevers første møte med “AI”.

Meningen var å gi presentere noen tanker knyttet til kunstfagenes betydning når kunstig intelligens skal designes, og ideen var å innlede med to automatoner som danser en form for tango. Jeg hadde laget en litt alternativ tangomusikk og bygget automatonene, men de kom altså ikke lenger enn til hylla på kontoret.

Dette var jo synd, for jeg tror det hadde blitt et interessant innlegg og ikke minst et forsøk på en slags performance. Meningen var nemlig å "danse" med robotene, i alle fall i den forstand at jeg skulle guide dem i en slags "kostetango", dersom de ikke fant veien autonomt. Med det også et par innledende poeng: de fleste maskiner trenger ulike former for assistanse fra mennesker, samtidig som det fint lar seg gjøre å ha en meningsfull interaksjon med maskiner.

Dette kan dessuten tjene som et eksempel på et faglig møte mellom kunst og håndverk, drama og kroppsøving, musikk og legg gjerne til matematikk. Regner vi koding som språk har vi snart et prosjekt som favner alle fagene i skolen, siden tanker om automatoner absolutt kan tas opp i KRLE :)

I en helt annen sammenheng holder jeg på med å legge ut en veiledning for å vise hvordan en kan bruke Google Slides for å tegne vektorgrafikk, og ikke minst hvordan det kan benyttes som et enkelt animasjonsverktøy. Det går raskt å jobbe med dette, og selv om det selvsagt ikke er et dedikert animasjonsverktøy synes jeg funksjoner og fleksibilitet er tilfredstillende. Kanskje noe som kan utvikles til en kjekk oppgave for elever som i disse tider sitter hjemme i disse tider.

Jeg fikk dermed lyst/behov for å stressteste Google Slides, og jo da: en animasjon med et par hundre frames durer fint av gårde i nettleseren. Dermed et skjermopptak kombinert med lydfilen og med det danser to merkelige skapninger inn i aprilnatten. Ikke automatoner denne gangen, men det får vi nok til senere:

Musikk skapt av AI

En workshop i forrige uke inspirerte noen forsøk med maskinlæring.

Enten før, eller mens du hører på musikken nedenfor kan du lese Art in the Age of Machine Intelligence. Dette paperet diskuterer først go fremst det visuelle, men makinlæing påvirker potensielt alt somkan digitaliseres. Mer å lese på Artists and Machine Intelligence.

Tjenester som AIva.ai begynner å bli såpass bra at hvermansen kan få generert musikk som begynner å høres interessant ut. Og utviklingen går raskt. Musikk skapt med "kunstig intelligens", eller i det minste maskinlæring. Ikke helt optimal instrumentering, men her er komposisjonen eksportert som MIDI og tweaket i Garage Band:



Nå skinner det i og for seg gjennom hva AIen kan ha "lyttet" til (f eks et par minutter ut i videoen nedenfor). Det er et stykke igjen til forbildet, og AI-motoren henter "inspirasjon" fra mange kilder, men det aner en hvorfor Hans Zimmer kan beskyldes for å lage musikk etter oppskrift. Når det er sagt, oppskrift på bra saker:



En kan jo se for seg at Zimmer kun slår enkelte toner på flyglet, og orkesteret AIen fyller inn.

Lydsfære med RoundMe

Headset MÅ på, og trykk på høyttalerikonet dersom det ikke er lyd:



Dessverre ikke mer enn tre looper samtidig, men effekten er der likevel.

RoundMe har et grensesnittet for å legge inn og  bestemme utstrekning av lydene, som både er elegant og lett å jobbe med:

Drive-by Shooting (Photography)

Mobile camera, panorama function, passing at train station in high speed. The result is a "panorama", or more precise, a "stretch image", with quite a few glitches. I do like this one, where both time and space is influencing on the final image:

Originalbildet, 8730 piksler bredt, der feilene kan studeres i mer detalj.

Samme konsept, nå fra buss:

Og originalbildet.

Re-Vision in 180 Degrees

Ved ulike anledninger har jeg lekt meg med forholdet mellom bilde og kode. Ideen er enkelt, knyttet til at bilder kan redigeres som tekst i en vanlig teksteditor. I forsøket jeg gjorde tidligere fjernet jeg kode inntil bildeinformasjonen forsvant. Denne gangen er koden kun flyttet tilfeldig rundt, 180 ganger. Alle bildene lagt sammen til en video blir dermed som dette:

«Loving Vincent» møter deepart

«Loving Vincent» byr på overveldende animasjonskunst, ifølge Aftenposten. 125 kunstmalere fra hele verden har laget over 65.000 malerier som til slutt forteller historien om kunstner Vincent van Goghs liv.



Jeg har nylig skrevet en artikkel på bakgrunn av et prosjekt der studenter benytter en fitreringstjenste for å skape visualiseringer. Dette har vært en utforsking av teknikker og metoder som lar unge uttrykke seg visuelt med enkle digitale teknikker. Det å skape og oppmuntre til å skape har vært det sentrale. Samtidig har det vært et mål å teste noen måter å anvende lett tilgjengelige, digitale verktøy for å utvikle kunnskaper og arbeidsmåter og tilhørende undervisningsopplegg som kan brukes av lærere i skolen.

Artikkelen "Utforsking av visuell kultur gjennom remiksing av eventyr" kommer i antologien Redesign og multimodalitet i norskfaget, på Fagbokforlaget. Redaktører er Magne Rogne og Lars Rune Waage.

Jeg begynte med dette med dette med utgangspunkt i utviklingen av algoritmer for filtrering, beskrevet av Gatys et al (2015) i artikkelen "A Neural Algorithm of Artistic Style". teknikker som senere er adoptert av Snapchat m fl, og nettsteder som Lunapic.com (det studentene benyttet).

Så hvordan funger noenlunde samme metode sammenlienet med «Loving Vincent» ....

Slik foregikk animasjonsprosessen for «Loving Vincent»: Bildet til venstre er van Goghs maleri, i midten et foto av skuespiller Jerome Flynn som Dr. Paul Gauchet, mens bildet til høyre er fra filmen.

Dermed er spørsmålet: Hva skjer når tjenesten deepart.io får prøve seg med originalbildet og fotografiet ovenfor som utgangspunkt? Da ender det opp slik:

Studentene jobber mer sammensatt med dette, dvs de satte sammen bilder fra ulike kilder før filtrering. Filtrene gjør imidlertid at manipulasjonen ikke blir så krevende, samtidig som det visuelle resultatet blir ganske overbevisende. Forhåpentligvis med mestring og påfølgende fortellerglede som et resultat.

Sfærisk stillbildefilm - Arkitekturvandring

Forsetter der jeg slapp i går, men i en ny test i en helt annen sjanger. Her en blanding av egne sfæriske bilder og bilder rippet fra Google Streetview. Ideen er at en på denne måten skal kunne ta studentene til interessante steder, andre steder i verden, og snakke om arkitektur – uten å reise noen steder.



Gjorde litt forsøk på å justere lydbildet i Finalcut, men det er ikke all verden å hente med såvidt enkle spor. Burde i tilfelle hatt flere, mer distinkte og isolerte lyder.

Et lite mentalt notat: for lydlegging har jeg så langt benyttet Audacity og lydmanipulasjonen som er tilgjengelig i FinalCut. Skal en jobbe med ambisonisk lyd, som er neste steg, ser Reaper og SuperCollider ut til å være noen av alternativene. Begge disse ser ut til å kunne benyttes sammen med Ambisonic Toolkit. Så er det selvølgelig Facebooks Spatial Workstation. Ønsker å holde meg til fritt tilgjengelige løsninger, samtidig som jeg er ute etter å gjøre ting på enklest mulig måte, så valget er ikke helt åpenbart.

Spheric short film - "Last Snow"

Among the more existing things I can do at work is to surprise myself. That is not always easy, but with the help of technology it happens from time to time. Simple expressions can be transformed into something one did not expect.

I am currently working on a simple method to create spheric videos, and in order to test the concept I made a short fiction. I was quite pleased by the result, which actually surprised me and became close to as surreal as I had hoped for.



I am  not among those who will watch this kind of videos for a long time. But for a little more than two minutes I am willing to put on the VR-glasses.

Next phase will be to try to add ambisonic sound, as this is only a simple stereo track. That is actually what this test is really about: I will try to lead the viewer's attention by using sound.