KI og bildeskaping

Sammen med Gro Røsland diskuterer jeg bildeskaping med KI på Teams, og hvordan vi kan bruke KI-bilder i et undervisningsopplegg om livsmestring og psykisk helse. Videoen ble laget til HVL-konferansen 2024. Tema er høyere utdanning i framtiden – kunstig intelligens.



Via en rekke eksempler ender vi opp med dette bildet:

Mannsutvalgets rapport, 2024

Mannsutvalget kom med sin utredning i dag. Formålet med utredningen er tredelt:

1. Gi helhetlig oversikt over hvilke likestillingsutfordringer gutter og menn møter gjennom livsløpet.
2. Vurdere om pågående politikk og igangsatte prosesser som ivaretar kjønnsperspektivet.
3. Foreslå tiltak som vil bidra til et likestilt samfunn.

Rapporten ser ut til å inneholde mye viktig og konstruktivt. Her får jeg begrense meg til det som angår høyere utdanning, og lærerutdanning spesielt. Andelen menn i grunnskolen har sunket fra 36 prosent i 1999 til rundt 25 prosent, ifølge Utdanningsdirektoratet. Dette ser langt bedre ut i videregående skole.

Kun én av fem som søker grunnskolelærerutdanningen er menn, og av disse slutter over halvparten i løpet av studiet. En rapport fra OsloMet, 2019, Rekruttering av menn til grunnskolelærerutdanning for trinn 1–7 peker på at den viktigste årsaken er at jenter har mye mer erfaring med barn. Når menn får mer erfaring med barn, for eksempel etter å ha jobbet litt i barnehage eller skolefritidsordning, velger de i større grad å bli lærere.

Jeg merker meg at rapporten slår fast "at tidspunktet for utdanningsvalg spiller en rolle: desto senere et utdanningsvalg tas, desto større er sjansen for å velge kjønnsutypisk." I dag forestiller vi oss at en 19-åring skal velge rett yrkesvei som 19-åring. I lærerutdanningen forventes det også at studentene skal velge hvilket fag de vil ta master i, når det tas opp til første studieår. Det er tullete, kun begrunnet ut fra institusjonenes økonomi – som igjen peker på en underfinansiert masterutdanning i grunnskolelærerutdanningen.

Utvalget foreslår følgende for å minske kjønnsforskjeller i utdanning:

Generativ KI og kreativitet

Kontorveggen min fremstår nok som kaotisk, men jo mer jeg tenker på det desto viktigere blir dette, som en trening for og oppdatering av tenkningen omkring eksisterende og kommende prosjekter. Les: visuell trening (og for min del: vedlikehold) av nevrale nettverk.

Kreativitet er et begrep som noen fag synes å mene de har mer hevd på enn andre. Som underviser og forsker i et såkalt "kreativt" fag, undrer jeg meg ofte over dette. Kanskje er noe av grunnen at jeg  er ingeniør i bunn, fag som av en for meg merkelig grunn ikke betegnes som "kreative".

Ser forresten at jeg har skrevet om Kunstig intelligens og kreativitet tidligere. Det kan hende dette blir en gjenganger.

Meningene er trolig mange om hva kreativitet egentlig er, men i denne sammenhengen definerer jeg det som evne og trang til å finne og utforske problemer. Kanskje går skillet mellom kunstneren og ingeniørens kreativitet ved at kunstneren er mer på jakt etter problemer, mens ingeniøren løser problemer som allerede er identifisert. Så ligger det samtidig mye kreativitet i problemløsning.

Det alle nok kan enes om er at det finner forskjellige former og nivåer for kreativitet. Den kreativiteten som kjennetegner en god kunstner eller ingeniør, arter seg annerledes når de bruker sin kreativitet på sine områder. 

Virkelig bra ting oppstår kanskje på områder der ulike former for kreativitet møtes og blandes. Hvilket bringer meg til maskiner og kreativitet. Tradisjonelt knyttes kreativitet knyttes til mennesker, men dette utfordres av maskiner som benytter kunstig intelligens (KI), som allerede frembringer objekter som fremstår som resultat av kreative prosesser. 

Noe som kjennetegner maskiner er at de er agnostiske når det gjelder tradisjonelle fagområder. En industrirobot bryr seg ikke om den lakkerer en bil eller maler en form for bilde. Ikke minst ser en dette når en begynner å trene fysiske roboter med samme type nevrale nettverk som benyttes i store språkmodeller. På samme vis blir det virkelig fart i resultatene som kommer ut når KI-modeller, i utganspunktet utviklet for verbaltekst, trenes med visuelle data,

KI-teknikkene, basert på såkalt Reinforcement Learning (forsterkende læring), kommer frem til alternative løsninger som fremstår som ytterst kreative – løsninger som kan fremstå som nyskapende og overraskende. Dette kommer nær essensen av "kreativitet".

God Påske

En liten NeRF-test på påskefjellet:

Jeg tester stadig ut teknikken som jeg håper kan bli kjernen i den virtuelle delen av Fysiske og virtuelle visningsrom.

Dialoger med maskiner

Første menneske som tar i bruk Neuralink:

https://t.co/OMIeGGjYtG

— Neuralink (@neuralink) March 20, 2024

Skjerpet lytting til omgivelsene

Lydgalleriet og Borealis presenterer en lydinstallasjon av den samiske kunstneren Ánndaris Rimpi. Birástiddje beljustallam (oversatt: skjerpet lytting til omgivelsene dine) fremføres via Lydgalleriets skreddersydde surroundlydsystem.

  

Jeg kom med en forventning om å høre et verk med feltopptak som bærende element. I et ellers fint lydlanskap var det imidlertid på dette punktet det skuffet litt. Feltopptakene fremsto mest som kulisser for andre, men tonale lyder. Fint satt sammen, men jeg tror veket hadde stått seg enda bedre dersom feltopptakene ble gitt en mer fremtredende plass. 

Ellers slo det meg at det er lenge siden jeg har besøkt Lydgalleriet. Sist holdt det til i Skostredet. De nye lokalene er imidlertid fine, og jeg begynte å leke med tanken om å foreslå å sette opp Auditopentaet med en mer strengt komponert versjon av Aquafoni. Da gjerne kun basert på feltopptak, og en enklere interaksjon med lydlandskapet.

Estetiske læringsprosesser med KI

Noenlunde samme opplegg som for et år siden, men denne gangen benyttet studentene KI-tjenester for å skape bilder som "gir en stemme til de stemmeløse".

Studentene bygger først en mengde tetraedre av avispapir, som deretter settes sammen til større konstruksjoner. Med mange studenter blir dette ganske store saker, og studentene får dermed kjenne litt på hvordan det kan være å bidra inn i et kollektivt verk.

I andre fase velger studentgruppene hvem eller hva de vil gi en "stemme". Dermed blir dette uforutsigbart også for vår del. Jeg opplever imidlertid at det ble mer poengterte illustrasjoner sammenlignet med i fjor, da studentene fant bilder på nettet. Ved å ta i bruk KI-tjenester for bildeskaping må studentene formulere egenskaper ved illustrasjonene i skrift. Det er bevisstgjørende og dermed en fin øvelse i seg selv.

Ved fremvisningen benyttet vi denne gangen tre projektorer: en stor, som projiserer direkte mot lerretet, supplert med to mindre projektorer, en fra hver side. Animasjonen nedenfor antyder bildene fra den ene sideprojeksjonen. Det blir ganske fine visuelle effekter, når projeksjonene overlapper og samtidig brytes opp i et skyggespill gjennom papirkonstruksjonene. Bildene projiseres litt asynkront og skaper dermed ulike verbale visuelle kontrapunkt.

Det var såpass mye å holde i underveis at jeg misset i forhold til dokumentasjonen. Jeg satser derfor på å supplere denne posten etter andre gangs gjennomføring om en uke.

Uttrykkninger fra Fosshaugane

Illustrasjon med KI-bildegeneratorer

Etter i ha fått fingrene i ChatGPT4 triller det ut bilder til ulike formål. For en som har vært vant til å fikle med bilder i timesvis, ofte uten å komme til et brukbart resultat er prosessen med å generere bilder ved hjelp av KI en ganske merkelig opplevelse. På den ene siden svært effektiv og spennende, på den andre siden litt skremmende. Uansett interessant og tankevekkende.

Det mest interessante opplever jeg den stadig tettere koblingen mellom verbalspråk og visualisering. Her finner jeg Diktillustrasjon med kunstig intelligens særlig interessant. Først når bildet får en personlig touch blir det spennende. I mitt tilfelle har dette oftest skjedd i møte mellom de digitale KI-genererte bildene og analoge teknikker, der utgangspunktet er kopierbart, men den enkelte kopien blir original. I dette eksemplet er bildet printet på ecoprint/botanisk trykk – en teknikk som i seg selv er vel verd å utforske.

I tilfellet med bildet som endte med å pryde plakaten for årets Global Science Opera er dialogen enklere. Jeg begynte her med følgende prompt:

– En astronaut i romdrakt. Glasset i romdraktens hode er bytte med en sfære som viser jordkloden

Jeg ender med et bilde som virker lovende, men ber om

– Vis astronauten halvt fra siden

Pappelonia under Festspillene 2024

Samme dag som vi avsluttet en svært vellykket workshop med studenter og elever kommer Pappelonia i årets festspillprogram. Dermed er det bare å sitere:

Tårnene i Pappelonia ruver over en by som store og små publikummere kan utforske og bygge videre på. Inne i et av Grieghallens mange rom kan man boltre seg med papp, konstruere et eget mesterverk og bidra til at denne forunderlige byen stadig endrer seg og vokser. Pappdelene er utstyrt med enkle festemekanismer som gjør at selv de minste kan bli store pappitekter.

Ekstra spennende er det å gå på oppdagelsesferd blant byggverkene og finne ut hva som skjuler seg inne i tårnene, som troner flere meter over bakken.

Løslat Julian Assange

I disse dager går siste og avgjørende høring i saken om utlevering av varsleren og publisisten Julian Assange til USA i britisk høyesterett, i London 20.-21. februar. 

I USA er Assange siktet etter spionasjeloven (Espionage Act) og risikerer 175 års fengsel.

Saken reiser alvorlige, prinsipielle og menneskerettslige spørsmål:

Under Assanges ledelse publiserte WikiLeaks blant annet innhold fra offisielle dokumenter om krigsforbrytelser begått av amerikanske styrker og deres allierte. Dersom Assange utleveres til USA, innebærer siktelsen å sidestille journalistiske avsløringer med spionasje, fordi handlingene som beskrives i siktelsen i hovedsak er former for innhenting av informasjon som er vanlige metoder for journalister. Dette inkluderer avsløring av lekket, hemmeligstemplet informasjon. Det vil være første gang amerikanske myndigheter bruker spionlovgivning mot en publisist. 

En utlevering og mulig fengselsstraff i USA vil ha en svært nedkjølende effekt på varslere og kilder som avslører eller bidrar til å avsløre krigsforbrytelser og informasjon om statlig maktmisbruk.

Kilde: Norsk Pen

Monotypi

Monotypi betegner ulike teknikker der farge påføres en plate for å kunne trykkes én gang. En kan male direkte på platen, men også bygge opp et motiv ved å legge på flere lag med materiale påført ulike farger. Her er det denne siste teknikken som er testet, noe jeg ble introdusert for gjennom en workshop med Hilde Hermansen, under årets Nettverkskonferanse for K&H i UH.

Hensikten her er å holde det så enkelt som mulig og bruke rimelige materialer. Her har HVLs mapper i glanset papir endt opp som trykkemateriale. Eneste krav er egentlig at materialet slipper farge. Det fungerte rimelig bra for raske, abstrakte trykk.

Roboter som tegner

På vei ut fra HVL på Kronstad i dag, vakte denne roboten min interesse i dag. Ikke minst fordi jeg til tider har holdt på med roboter som tegner. På et helt annet presisjonsnivå og med et helt annet formål, men like fullt svært vellykkete prosjekter – Auditolocomotiver.

Denne roboten, HP SitePrint, ble demonstrert av Skanska Survey. Den kommuniserer med en totalstasjon som sørger for at den posisjonerer seg med millimeterpresisjon. Samtidig tegner den ut plantegninger i 1:1.

Min første skikkelige jobb var i Selmer Furholmen, som senere ble en del av nettopp Skanska. Mye av det jeg holdt på med var å rive og/eller flikke på ting som var bygget feil. Mange av disse byggfeilene ville aldri oppstått dersom plasseringer av vegger, utsparinger, gjennomføringer, døråpninger mm som av ulike grunner var bygget på feil sted. Ofte mindre feil, men som uansett måtte rettes fordi følgefeilene ble omfattende. De fleste slike feil blir trolig historie med teknologi som dette.

Min spådom er at neste fase blir inspeksjonsroboter, som hver eneste dag går gjennom byggeplassen, skanner den og sammenholder en 3D-modell med BIM-modellen det bygges på grunnlag av. Slike 3D-modeller behøver ikke være millimeterpresise for å gjøre betydelig nytte.  Fotogrammetri vil trolig gjøre jobben, f eks ved å bruke sfærisk video til NERF, til 3D-modell. Deretter kan en koble informasjon om feil til AR-briller og med det gi riktformasjon til folk på byggeplassen, på rett sted til riktig tid.

Sonic Greenhouse, i (fantasi)felt

Sammen med Dall-E3 forsøker jeg å visualisere hvordan det kanskje kan komme til å arte seg å jobbe med Sonic Greenhouse i felt. Forestill deg at dette er i skogen ved Siljustøl eller Troldhaugen. Ideelt sett med en fremføring i Troldsalen etterpå, der studentene har skapt lydbilder sammen med elever ...

Turn Your Voice Into Any Instrument with AI

Wow!

Fine refleksjoner omkring det å spille instrumenter på slutten.

Om tekstlikhet og tilhørende trøbbel

“– God morgen!”, sto det i eposten jeg fikk i dag morges.

Den fortsatte:

“Som mange andre journalister sitter jeg og finner stadig nye påfallende passasjer [link satt inn] fra Ingvild Kjerkols masteroppgave. En bruker på Reddit har oppdaget et avsnitt som er identisk med din Digitale medier-bok på side 38.”

Teksten forelagt meg av journalisten, som jeg også hadde en prat med:

To sentrale begreper knyttet til ANT er inskripsjon og oversettelse. En inskripsjon refererer til hvordan et teknisk objekt legger til rette for at det skal brukes på en bestemt måte. En sterk inskripsjon vil tvinge brukeren til å følge et gitt mønster, mens en svak inskripsjon vil åpne for at objektet kan brukes på andre måter enn hva den som designet det opprinnelig planla. En oversettelse kan forklares som det å skape en inskripsjon, med det formål å lede objektet eller nettverket objektet er en del av, mot et bestemt mål Latour (1991).

To veier til AR

Meta Ray-Ban 2 – formfaktoren briller har mange fordeler, mens funksjonaliteten har mange av de samme kvalitetene som Rabbit R1. Begge disse knytter det meste av interaksjonen til muntlig språk og respons via språkmodeller (LLMs), ala ChatGPT. Demoen av Rabbit R1 er som et flashback til Apples Knowledge Navigator, mens Metas briller kun opererer med lyd.

Samtidig selger Meta Quest 3 som presenterer omgivelsene på en skjerm, via innebygde kameraer. Disse er designet svært forskjellig fra Ray-Ban-brillene, men søker å oppnå noe av det samme: koble medierte representasjoner best mulig til omgivelsene.

Dette er enheter som også kan endre hvordan vi forholder oss til mange analoge informasjonkilder, slik vi skisserer i Utvidet virkelighet i bøker for barn«Augmented Reality» og analoge bøker, og høyst aktuelt for prosjektet Fysiske og virtuelle utstillingsrom.

Det er all mulig grunn til å se for seg en form for hardware-konvergsens, der stadig mer teknologi plasseres i de tradisjonelle brillene mens størrelsen er holdes slik den er i dag. Fra motsatt hold vil Quest bli stadig mer kompakt, og få en gjennomsiktig skjerm - ala Apples Vision Pro.

At Apple jobber for harde livet med kompakte briller er også rimelig opplagt. Det er fremtidens telefon vi ser her.

Vinterdag i Bergen

Skikkelig klassisk vinter. Får håpe det holder seg noen dager.

Panorama glitches

Robert Barker lanserte begrepet "panorama" (av gresk pan (alt) + horama (utsikt) ) i 1792 som en betegnelse på hans malte bilde av Edinburgh: 

,Jeg har holdt på med digitale panoramabilder i nærmere 25 år. De første laget helt på slutten av 90-tallet, ved å skanne inn analoge dias for så å brukes timesvis på å stitche ett enkelt bilde. Det hele havnet på web ved hjelp av Quick Time VR (en løsning som kom allerede i 1995 og varte i ti år). Historie det hele. Jeg finner kun kopier av websidene med stedene hvor panoramabildene ble tatt, mens selve panoramaene er dessverre borte:

Siden den gang har det blitt trivielt å lage panoramabilder, i dag med mobiltelefonen eller et sfærisk kamera. Bilder som dette lages dirkete i kameraet ved å setet sammen en rekke delbilder ved siden hverandre. Dette antydes i de lyse partiene på himmelen i bildet nedenfor, der stitchingen i mobilkameraet ikke er blitt helt perfekt:

Feilene som kan oppstå når kameraet setter sammen delbilder som vertikal bånd kan gi spennende resultater. Slike feil blir særlig tydelige dersom en fraviker fra hvordan kameraet egentlig skal brukes. Det er basert på at en tar alle delbildene fra samme punkt, dvs at bildene tas fra samme perspektiv.

Dersom en endrer posisjon mellom delbildene oppstår parallakseforskyvning. Dette er den tilsynelatende endringen av posisjonen til et objekt i forhold til en bakgrunn på grunn av endringer i observatørens posisjon. Det gjelder imidlertid å kontrollere bevegelsen, og en bil eller et tog er slik sett en måte å sikre at kameraet horisontalt. Dermed kan vi få resultater som dette:

Taglharpe og 3D-printing

Dette prosjektet får muligens instrumentbyggere til å gremmes, men jeg håper det er et og annet interessant innimellom. Målet er å lage et tradisjonelt strenginstrument, en taglharpe, i en enkel form og med noen 3D-printede deler.

Deler av prosessen er ekte håndarbeid, til noe får jeg god hjelp av tradisjonelle maskiner i snekkerverkstedet, mens noe er laget på måter som er forbløffende effektive, men som ligger ganske langt unna tradisjonelt håndverk. Jeg tror likevel at kombinasjonen av teknikker peker i en fornuftig retning.

Første fase er en ramme i bjørk, med høvlede lokk i gran. Gitt de materialene jeg hadde prioriterte jeg treverkets tegninger, der årringene kommer til syne i bredden. Det blir pent, men for best mulig klang skal det være bedre å skjære topp og bunn mest mulig på tvers av årringene, slik at disse blir liggende vertikalt. Lokket er høvlet helt jevnt, uten den hvelvingen som kjennetegner mange strenginstrumenter. Det meste av jobben kan dermed gjøres med en maskinhøvel.

Så er tanken å fylle hullet i toppen med en akustisk demper. Tradisjonelt ville dette blitt skjært ut i tre, men i min versjon blir det 3D-printet i PLA-plast.

Fysiske og virtuelle utstillingsrom

Vi har fått støtte til prosjektet Fysiske og virtuelle utstillingsrom med sikte på å utvikle rammer for utstilling og dokumentasjon, på tvers av flere undervisningssteder. Siden domenet faktisk var ledig lot vi oss friste til å bruke Nettgalleri.no – svakt misvisende, gitt at dette i høy grad handler om å legge til rette for fysiske utstillingsrom.

Noe av bakgrunnen er at en ved Høgskolen på Vestlandet har fått på plass en ordning for å fagfellevurdere kunstfaglige forskningsformer. I mange fag kommer vi frem til resultater som på ulike måter er materialbaserte og kroppslige.