JON HOEM

Professor ved Institutt for kunstfag, Høgskulen på Vestlandet – Bergen.

Underviser i kunst og håndverk, og forsker på og med nye kunst- og medieformer. Leder forskergruppen MaTecSus.

Jeg er interessert i forholdet mellom medier og fysiske materialer: i 2021 kom boken Digitale medier og materialitet med en grundig diskusjon av denne tematikken.

Fremover jobber jeg særlig med den telematiske operaen Zosimos (2023-26) og (støy)instrumentet Sonic Greenhouse.

Nylig avsluttede prosjekter: KI-Storyline, Pappelonia, Sonus (2023), Sampling av lyd og bærekraft (2022-), "Auditomosjon" (2021-23) og "Aquafoni" (2022).

Videre sfæriske medier, ulike former for roboter, mm.

Min Dr.-avhandling om personlig publisering (2009).

Siterte artikler og publikasjoner i Cristin.

23. februar 2025

KI-modeller ble med ett rimelige

OpenAI satser enn så lenge på "closed source", men tjenester som er tilgjengelige på nettet viser seg i praksis å være åpne, dvs de kan trenes ved hjelp av såkalt Knowledge distillation. Kunnskapsdestillasjon er en maskinlæringsteknikk som overfører læringen fra en stor forhåndstrent modell (lærermodell) til en mindre modell (elevmodell).

Ved å benytte denne teknikken har Deepseek, flere forskningsinstitutter og Huggingface demonstrert at svært gode modeller kan skapes med minimale økonomiske ressurser. Huggingface skriver følgende om sin modell, som kan testes her:

OpenAI just published Deep Research, a very nice assistant that can perform deep searches on the web to answer user questions.

However, their agent has a huge downside: it's not open. So we've started a 24-hour rush to replicate and open-source it. Our resulting open-Deep-Research agent took the #1 rank of any open submission on the GAIA leaderboard!

Ganske raskt kommer vi nok dit at de generelle modellene blir allemannseie, samtidig som vi vil se en lang rekke ytterst spesialiserte modeller.

20. februar 2025

Umbraludu

Med hjelp fra studenter i kunst og håndverk (GLU3) har elever ved Christi Krybbe skoler laget sin versjon av Umbraludu, en verden befolket av luduer (fargerike, lekne vesener med mange forskjellige egenskaper). Alle luduer er fulgt av umbraer (som kun er i gråtoner). En ludu og en umbra henger sammen. De er to sider av samme skapning, men med ulike egenskaper.

Ingvard Bråten har skrevet en liten fiksjon, som plasserer Umbraludu og det som kan foregå der. Sammen med beskrivelser av elevenes luduer og umbraer, kan denne teksten kan leses ved inngangen til installasjonen.

Elevene har beskrevet sine skapninger, i form av todimensjonale skisser av papirbiter og egene tekster. Deretter bygger elevene tredimensjonale, bevegelige modeller. Det hele ble så satt sammen til en installasjon, med lyd og projeksjonsvisninger.

Vi rakk dessverre ikke å arbeide med lydsiden, sammen med elevene. Prosjektet kunne her vært utvidet, blant annet ved å benytte kontaktmikrofoner (jf. prosjektet Sampling av lyd og bærekraft), for å fange lyder av treverk og manipulere dette. Videre eksperimentere med KI-generert musikk, som en del av et helhetlig lydbilde.

Denne gangen endte det med at jeg gjorde opptak og lyddesign, men dette er åpenbart noe å jobbe videre med – med klar relevans for Sonic Greenhouse også.

Installasjonen kan oppleves på Høgskolen på Vestlandet (Kronstad, Bergen), denne og neste uke (uke 8 og 9). Dørene er åpne fra klokken 10, og stenger tidligst kl 13.

15. februar 2025

KI-video

Det florerer med lignende verktøy. Først ut her er pollo.ai. Utgangspunktet er et bilde generert med Grok. Ledeteksten er rimelig enkel: "Make the persons hug each other. Rotate the scene".

Den er ikke helt enkel denne, og i videoen nedenfor surrer det seg med kvinnens høyre arm. Skulle bevegelsen blitt naturlig måtte armen trekkes tilbake, før den kommer rundt mannens nakke. Her går armen rake veien, rett gjennom.


8. februar 2025

Lumina, en KI-fortelling

Et stort bilde, laget med Stable Diffusion. Så er bildet beskrevet ved hjelp av Grok (teksten nedenfor) og lest ved hjelp av naturalreaders.com. Musikken er laget med Suno, og det hele redigert med videoredigeringsprogrammet CapCut, med en bevegelse gjennom panoramaet (Ken Burns effekt).


Dermed ender jeg med en visuell fortelling. Jeg har ikke behandlet teksten, ut over å kutte den litt ned. Det er heller ikke gjort noe lydbehandling av den genererte stemmen, annet enn å legge inn noen små pauser. Uansett, det blir noe av dette:


Nå er dette i utgangspunktet ikke ment å være planlagt, og innhold laget ved hjelp av kunstig intelligens er enn så lenge ganske uforutsigbart. Jeg styrer til en viss grad uttrykket gjennom ledetekster (promts), men det meste dreier seg om å gjøre valg og tilpasninger. For eksempel begynner det enorme panoramabildet med en liten del (markert i skjermbildet nedenfor) og en svært enkel kommando: "A steamboat". Fra dette er det gjort noen hundre utvidelser av bildet, uten ytterligere ledetekster. De fleste forslagene som KIen kommer opp med har jeg godtatt.  Dette tar en del tid, men den kreative innsatsen er minimal. Når jeg senere ber Grok om å lage en fortelling basert på bildet gjør jeg svært få endringer, før teksten blir del av videoen ovenfor.



7. februar 2025

Animasjonstest

Jeg skrev en post om Videostillbilder for 12 år siden, et slags bakteppe for denne animasjonen. Jeg liker fremdeles de reduserte uttrykket av duotone GIFer, ikke minst når de er animert. 

Animert GIF bringer tankene tilbake til websider på 1990-tallet, da Netscape gjorde små animasjoner til en farsott. Heldigvis er de borte, men GIF-formatet byr fremdeles på noen kvaliteter. 

Enkelt å anvende, og fremdeles universelt – dvs: alle nettlesere støtter det, selv snart 40 år etter at formatet ble lansert.

 
◄ Free Blogger Templates by The Blog Templates | Design by Pocket