JON HOEM

Professor ved Institutt for kunstfag, Høgskulen på Vestlandet – Bergen.

Underviser i kunst og håndverk, og forsker på og med nye kunst- og medieformer. Leder forskergruppen MaTecSus.

Jeg er interessert i forholdet mellom medier og fysiske materialer: i 2021 kom boken Digitale medier og materialitet med en grundig diskusjon av denne tematikken.

Fremover jobber jeg særlig med den telematiske operaen Zosimos (2023-26) og (støy)instrumentet Sonic Greenhouse.

Nylig avsluttede prosjekter: KI-Storyline, Pappelonia, Sonus (2023), Sampling av lyd og bærekraft (2022-), "Auditomosjon" (2021-23) og "Aquafoni" (2022).

Videre sfæriske medier, ulike former for roboter, mm.

Min Dr.-avhandling om personlig publisering (2009).

Siterte artikler og publikasjoner i Cristin.

19. mars 2025

KI og utdanning

Noe å snakke rundt for lærere ved Askvoll skule:

12. mars 2025

KI - verktøy eller veileder?

I det jeg begynner å skrive på dette kommer jeg fra et møte med en følelse av uro, og medansvar. Medansvar for HVLs retningslinger for KI, om enn med et forbehold om at dette er prisen en betaler for å sitte i en komite.

Uro, fordi jeg ikke tror på det jeg selv har navnet mitt på, som f eks siste punkt i retningslinjene:

Som eit kvart anna verktøy!
KI-baserte verktøy er ikkje ulike andre digitale verktøy og hjelpemiddel. Hugs at eventuelt fagleg innhald som blir generert alltid må sjekkast opp mot ei truverdig kjelde.

Det blir stadig klarere for meg at KI ikke er som andre verktøy. Den tydeligste definisjonen på verktøy er kanskje: "redskaper som er spesialisert til en bestemt bruk". Lenge før vi kan snakke om noen form for generell kunstig intelligens kan vi allerede en nærmest uendelig rekke av eksempler på hvordan KI kan brukes på måter som ikke er spesialiserte. Et eksempel kan være hvordan språkmodeller kan brukes for å styre autonome roboter. Et enklere eksempel er alle de ulike måten vi kan anvende generativ KI kan skape så ulike uttrykk, så forskjellige at det ikke gir særlig mening å tenke at det handler om at løsningene er spesialisert  til en bestemt bruk.

Jeg tenker derfor at det gir mer mening å forstå KI som en form for partner (en som tar del i, medvirker i noe), eller veileder. Om ikke lenge vil agent trolig være en egnet metafor, straks KI begynner å utføre oppgaver på våre vegne, uten spesifikke instruksjoner.

Jeg finner veileder-metaforen nyttig i eget virke, fordi jeg som veileder av studenter, som skal levere noe til vurdering (eksamen), må tenke gjennom grensegangen mellom å vise vei og legge konkrete formuleringer til en tekst. Ofte handler det om å vise vei i en tekst, gjennom å skrive begynnelsen på noe ... og overlate fortsettelsen til studenten. KI er ofte glimrende til dette, men kan lett være en veileder som gjør for mye av arbeidet.

Jeg tror KI på kort og mellomlang sikt trekker i retning av avvikling av hjemmeoppgaver, (dessverre) mer skoleeksamen, men forhåpentligvis også en revitalisering av praktiske oppgaver, reell problemløsning og fysiske materialer.

Samtidig kommer vi til å bruke KI til svært mange oppgaver, og studenter og elever må lære om bruk og teknologiens egenskaper.

Digitaliserings- og forvaltningsminister, Karianne Tung, og Forsknings- og høyere utdanningsminister, Sigrun Aasland, spør i Khrono: Kan KI svekke likestillingskampen. De tar opp et viktig spørsmål, knyttet til hvordan KI vil gjenspeile fordommer og forutinntatthet (bias) i treningsdataene. De viser til et eksempel der de ba Chat GPT lage et bilde av en toppleder. Tilbake kom et bilde av en mann i mørk dress. En kan argumentere med at det gjenspeiler virkeligheten, men jeg tar noe av poenget.

I forsøket på å komme med en løsning, går det imidlertid litt over styr:

Så la oss heller snu eksempelet fra Chat GPT: I stedet for å la KI gjenspeile gamle fordommer, kan vi programmere den til å utfordre dem. Tenk deg en KI som genererer bilder av mangfoldige toppledere, kvinnelige leger og mannlige sykepleiere. Dette kan bidra til å bryte ned stereotypier og skape nye forbilder.

Det kan gå riktig galt. Googles tidligere tabbe med Gemini er et karikert eksempel, men illustrerer hvor galt det kan gå dersom en forsøker å legge inn funksjoner for å korrigere for de problemene som de to ministrene adresserer. 

Jeg tror derfor forslaget fra ministrene er en særdeles dårlig ide. Det er mye annet å være enig i i innlegget, men akkurat dette synet gjør meg oppriktig bekymret. Først og fremst fordi det kommer fra de to som for tiden har størst påvirkningskraft på bruken av KI i utdanning.

En kan ende opp med KI som en særdeles upålitelig veileder. Tilsynelatende kan jo det løse et problem, ved at informasjonen stort sett inneholder feil, men dette er jo på ingen måte realistisk. Vi vil trekkes mot de beste, og lettest tilgjengelige tjenestene...

6. mars 2025

Du kan bare virkelig tenke om å lage noe, ved å lage noe mens du tenker

En lek med ord, som er lånt og avledet. Ikke helt lett tilgjengelig.

I introduksjonen til boken Mindstorms: children, computers, and powerful ideas (1980), skriver Seymour Papert: "Du kan ikke virkelig tenke om å tenke, uten å tenke på å tenke på noe" (min oversettelse)

Det fulle sitatet i sammenheng (på side 10):

But I think that the best way to understand learning is first to understand specific, well-chosen cases and then to worry afterward about how to generalize from this understanding. You can't think seriously about thinking without thinking about thinking about something. And the something I know best how to think about is mathematics. 

Jeg kommer sikkert til å revidere denne (overskriften), men poenget jeg forsøker å formulere i Paperts ånd, er at det knapt lar seg gjøre å planlegge å lage noe fullt ut. Du vil møte på ulike problemer i det materialer skal omsettes til noe. Det krever tilpasninger underveis ,eller at du begynner på nytt. Først når noe er laget kan du se tilbake og fullstendig beskrive en metode, som så du eller andre kan bruke for å gjenskape noe.

23. februar 2025

KI-modeller ble med ett rimelige

OpenAI satser enn så lenge på "closed source", men tjenester som er tilgjengelige på nettet viser seg i praksis å være åpne, dvs de kan trenes ved hjelp av såkalt Knowledge distillation. Kunnskapsdestillasjon er en maskinlæringsteknikk som overfører læringen fra en stor forhåndstrent modell (lærermodell) til en mindre modell (elevmodell).

Ved å benytte denne teknikken har Deepseek, flere forskningsinstitutter og Huggingface demonstrert at svært gode modeller kan skapes med minimale økonomiske ressurser. Huggingface skriver følgende om sin modell, som kan testes her:

OpenAI just published Deep Research, a very nice assistant that can perform deep searches on the web to answer user questions.

However, their agent has a huge downside: it's not open. So we've started a 24-hour rush to replicate and open-source it. Our resulting open-Deep-Research agent took the #1 rank of any open submission on the GAIA leaderboard!

Ganske raskt kommer vi nok dit at de generelle modellene blir allemannseie, samtidig som vi vil se en lang rekke ytterst spesialiserte modeller.

20. februar 2025

Umbraludu

Med hjelp fra studenter i kunst og håndverk (GLU3) har elever ved Christi Krybbe skoler laget sin versjon av Umbraludu, en verden befolket av luduer (fargerike, lekne vesener med mange forskjellige egenskaper). Alle luduer er fulgt av umbraer (som kun er i gråtoner). En ludu og en umbra henger sammen. De er to sider av samme skapning, men med ulike egenskaper.

Ingvard Bråten har skrevet en liten fiksjon, som plasserer Umbraludu og det som kan foregå der. Sammen med beskrivelser av elevenes luduer og umbraer, kan denne teksten kan leses ved inngangen til installasjonen.

Elevene har beskrevet sine skapninger, i form av todimensjonale skisser av papirbiter og egene tekster. Deretter bygger elevene tredimensjonale, bevegelige modeller. Det hele ble så satt sammen til en installasjon, med lyd og projeksjonsvisninger.

Vi rakk dessverre ikke å arbeide med lydsiden, sammen med elevene. Prosjektet kunne her vært utvidet, blant annet ved å benytte kontaktmikrofoner (jf. prosjektet Sampling av lyd og bærekraft), for å fange lyder av treverk og manipulere dette. Videre eksperimentere med KI-generert musikk, som en del av et helhetlig lydbilde.

Denne gangen endte det med at jeg gjorde opptak og lyddesign, men dette er åpenbart noe å jobbe videre med – med klar relevans for Sonic Greenhouse også.

Installasjonen kan oppleves på Høgskolen på Vestlandet (Kronstad, Bergen), denne og neste uke (uke 8 og 9). Dørene er åpne fra klokken 10, og stenger tidligst kl 13.

15. februar 2025

KI-video

Det florerer med lignende verktøy. Først ut her er pollo.ai. Utgangspunktet er et bilde generert med Grok. Ledeteksten er rimelig enkel: "Make the persons hug each other. Rotate the scene".

Den er ikke helt enkel denne, og i videoen nedenfor surrer det seg med kvinnens høyre arm. Skulle bevegelsen blitt naturlig måtte armen trekkes tilbake, før den kommer rundt mannens nakke. Her går armen rake veien, rett gjennom.


8. februar 2025

Lumina, en KI-fortelling

Et stort bilde, laget med Stable Diffusion. Så er bildet beskrevet ved hjelp av Grok (teksten nedenfor) og lest ved hjelp av naturalreaders.com. Musikken er laget med Suno, og det hele redigert med videoredigeringsprogrammet CapCut, med en bevegelse gjennom panoramaet (Ken Burns effekt).


Dermed ender jeg med en visuell fortelling. Jeg har ikke behandlet teksten, ut over å kutte den litt ned. Det er heller ikke gjort noe lydbehandling av den genererte stemmen, annet enn å legge inn noen små pauser. Uansett, det blir noe av dette:


Nå er dette i utgangspunktet ikke ment å være planlagt, og innhold laget ved hjelp av kunstig intelligens er enn så lenge ganske uforutsigbart. Jeg styrer til en viss grad uttrykket gjennom ledetekster (promts), men det meste dreier seg om å gjøre valg og tilpasninger. For eksempel begynner det enorme panoramabildet med en liten del (markert i skjermbildet nedenfor) og en svært enkel kommando: "A steamboat". Fra dette er det gjort noen hundre utvidelser av bildet, uten ytterligere ledetekster. De fleste forslagene som KIen kommer opp med har jeg godtatt.  Dette tar en del tid, men den kreative innsatsen er minimal. Når jeg senere ber Grok om å lage en fortelling basert på bildet gjør jeg svært få endringer, før teksten blir del av videoen ovenfor.



7. februar 2025

Animasjonstest

Jeg skrev en post om Videostillbilder for 12 år siden, et slags bakteppe for denne animasjonen. Jeg liker fremdeles de reduserte uttrykket av duotone GIFer, ikke minst når de er animert. 

Animert GIF bringer tankene tilbake til websider på 1990-tallet, da Netscape gjorde små animasjoner til en farsott. Heldigvis er de borte, men GIF-formatet byr fremdeles på noen kvaliteter. 

Enkelt å anvende, og fremdeles universelt – dvs: alle nettlesere støtter det, selv snart 40 år etter at formatet ble lansert.

24. januar 2025

Bare å skrote tradisjonell bildebehandling

Lignende løsninger har vært i farvannet en stund, men MagicQuill er det mest brukervennlig jeg har sett. Gratis å bruke og laste ned er det også. 

Du kan teste MagicQuill direkte, ved hjelp av Huggingface. Jeg testet med et dårlig bilde (gjengitt nedenfor) og endte med dette >>>

Lignende funksjonalitet finner helt sikkert veien til så godt som alle bildebehandlingsprogrammer. Hvis ikke kan de trolig bare pakke sammen.

Jeg har sagt det en stund, og det nærmer seg stadig. Om ikke lenge kommer vi til å snakke til bildebehandlingsprogrammer i sanntid, mens vi tegner sammen med KI.


Presentasjon - Digital fabrikasjon

Jeg er snart på vei til Nettverkskonferanse for Kunst og håndverk i UH-sektoren. To innlegg, der det ene handler om studenters arbeid med design og konstruksjon av lydgartnerier (se innovasjonsprosjektet Sonic Greenhouse) og fremføring på Siljustøl.

Jeg rammer inn dette innenfor det som kan betegnes som digital fabrikasjon, med et nikk til kollega Frikk Fossdal, som også deltar i prosjektet Sonic Greenhouse. Videre er konstruksjonisme en viktig referanse (jf Seymour Papert): mennesker lærer best når læring skjer i sammenhenger der en konstruerer noe som oppleves som meningsfylt.

Fysiske og virtuelle visningsrom - Nettverkskonferansen

Ingvard og jeg presenterer det som blir en avslutning på prosjektet Fysiske og virtuelle visningsrom. Prosjektet har vært støttet med nettverksmidler fra UH-nett Vest. Vi har ikke kommet fullt så langt som vi håpet, men har kommet til en prototypefase der ting er blitt temmelig konkrete. Ikke minst fordi Ingvard har laget fysiske montere, som vi fyller med litt elektronikk og kode laget av Johannes Ringheim.

Presentasjonen under Nettverkskonferansen for K&H i UH er like mye en invitasjon som en presentasjon. Så langt har vi samarbeidet med UiS, noe vi vil bygge videre på, men også gjerne involvere flere. Ambisjonen er et nettverk av visningssteder, som kan knyttes sammen virtuelt. Objektene som stilles ut lokalt kan ses i andre gallerier, og oppleves sammen med objekter som fysisk befinner seg andre steder.

X (Twitter) + Grok


Jo, Elon Musk, durer på og mener (ofte litt for) mye om mangt. Som eier av X.com (tidligere Twitter), og 214 millioner mennesker som følger ham, har han åpenbart stort nedslagsfelt.

Det er både noe befriende, og noe skummelt med en mektig person som sier hva han mener, og prøver seg frem i offentligheten. Jeg er langt fra enig i alt, men kan ikke fri meg for å være sympatisk innstilt til mennesker som flagger hva de tenker, fremfor å holde på i skyggene.

Her om dagen nådde Musk sin "nazihilsen" til og med Dagsnytt 18, med resonnementer som at dette var en gjennomtenkt "hilsen hjem" til nynazistiske miljøer i USA. Mon det, men det er i alle fall ikke en vennlig innstilt tolkning. Det var vel ikke kommentatorens mening heller. Bildet i toppen er en X-post med mengder av eksempler som kunne vært tolket likedan, dersom de ble tatt ut av sammenhengen. Poenget er nettopp hvilken sammenheng vi rammer folk inn i.

Tjenesten X.com (altså Twitter etter at Musk kjøpte denne) får mye kritikk for å flomme over av hatprat og annet som ikke er bra. Selv ser jeg faktisk ikke mye av det, men det kommer jo an på hva en følger. Jeg leter ikke etter det. Når det er sagt, det er et åpenbart problem at alle sosiale medier raskt gir deg mer av det samme. Begynner du å klikke deg i en retning, kan det være en stri tørn å komme tilbake. 

Noe jeg synes er forbilledlig på X er Community Notes og koblingene til KIen Grok. Merk at også Meta (Facebook og Instagram mm) synes å gå i retning av et lignende system.

Til posten gjengitt ovenfor finner jeg ikke noen slike  "community notes", kanskje fordi denne posten i seg selv ikke inneholder noe som det er tvil om. Jeg lurer likevel på om klippet med Macron er ekte og innleder en liten samtale med Grok.

Jeg opplever mye av det Musk sier (ikke i kortform på X) som en form for liberalisme, men samtalen med Grok gir meg ikke støtte for at dette er en moderne liberalisme på linje med John Rawls. Men Musk er trolig på venstresiden i det Republikanske partiet. For de som har fulgt med litt kan det uansett ikke overraske at han ikke var særlig fornøyd med hvordan han ble omtalt under Bidens presidentskap. Videre gir samtalen meg litt informasjon om det som synes å være kilden til videoen av Macron. Jeg følger ikke saken til ende, men føler meg rimelig sikker på at det dreier seg om et ekte klipp. Macron, eller Musk for den saks skyld, er uansett ikke poenget. Det er min egen, raske faktasjekk som er poenget
 
◄ Free Blogger Templates by The Blog Templates | Design by Pocket