Sonic Greenhouse – kontortest

Det er i og for seg ikke så mye nytt her, i forhold til tidligere tester. Dette er et av instrumentene, bygget og tatt i bruk av studenter í fjor høst. Jeg satte opp dette for å teste en effektpedal inn i signalkjeden. Det var i seg selv ikke vellykket, så dette er en test uten at denne pedalen er aktiv. Alle lyder kommer dermed direkte, slik de blir manipulert på lydgartneriet.

Jeg leker meg litt med å skape lyder ved hjelp av ulike ting jeg har på kontoret. Fullstendig uten å planlegge på forhånd, noe som viser hvor lett en kommer i gang. Dunket fra stiftemaskinen er nærmest en referanse til det som i sin tid var en av inspirasjonskildene (Trent Reznor, som "snekrer" filmmusikken til Gone Girl) for å sette i gang dette prosjektet. Reznor benytter en forløper til Folkteks Resonant Garden (det er imidlertid et instrument som koster tusen dollar).

Søk stipendiatstilling: KI i estetiske fag

Neppe et typisk norsk klasserom, men la dette være en illustrasjon på noen av de mulighetene, og utfordringene som generativ KI bringer med seg. Et spennende felt å undersøke i hele utdanningsløpet.

HVL har lyst ut Stipendiat innan studiar av danning og didaktiske praksisar. I denne sammenhengen viser "danning og didaktiske praksisar" til skole og høyere utdanning. Utlysningen er ikke knyttet til bestemte fagfelt eller tematikk.

Er du lærer (eller kjenner du noen) med avlagt mastergrad de siste fem årene, og interessert i bruk av KI i estetiske fag (primært bilde, levende bilde og lyd)? Har du lyst til å bruke de neste tre årene på et faglig dypdykk? Send meg i tilfelle en epost: joh@hvl.no, så kan vi se om det er mulig å få til en søknad.

HVL starter i disse dager til europeiske prosjekter (Erasmus) der KI er tema. En stipendiat vil trolig kunne knyttes til disse prosjektene. Jeg er involvert i et av disse: AI-teach. I tillegg foregår det mye knyttet til KI, i skoler i regionen, og i ulike fag ved HVL. Vi er kanskje særlig interessert i hvordan vi kan utvikle bruk av KI, slik at det treffer godt både i skole og lærerutdanning. Merk: jeg skriver dette på norsk – i min bok må en eventuell kandidat snakke skandinavisk, gitt at vi skal jobbe mot utdanningsfeltet i Norge.

Min interesse er særlig knyttet til generativ KI for bilde- og video. Det hele sett fra et brukerperspektiv. Du behøver altså ikke dyp teknisk forståelse i denne sammenhengen, selv om en viss teknisk interesse og nysgjerrighet åpenbart er en fordel. Når det er sagt: min hovedinteresse ligger i skjæringspunktene mellom hva som kan løses med datamaskiner og det som kommer til uttrykk analogt. KI byr på nye muligheter her.

Alternativer til programvare fra amerikanske leverandører

Jeg sitter i glasshus, som trofast bruker av Google Docs siden starten, i 2006. Faktisk enda tidligere, da jeg ble med fra tjenesten Writely, som begynte å tilby sin tjeneste i 2005. Nærmere tyve år....

Tanken er også at dette blir rimeligere over tid.

Men, her gjelder det spørsmålet om europere og andre bør planlegge en digital exit, og frigjøre oss fra de amerikanske teknologigigantene. Den tyske delstaten Schleswig-Holstein deler sin liste over alternativer og sin open-source-strategi:

• LibreOffice i stedet for Microsoft Office
• Thunderbird i stedet for Microsoft Outlook
• Open-Xchange i stedet for Microsoft Exchange
• Nextcloud i stedet for Microsoft SharePoint
• Linux som operativsystem fremfor Microsoft Windows
• Jeg føyer til Vivaldi, som er en utmerket nettleser
  

EU lister ellers opp en rekke europeiske alternativer.

KI og utdanning

Noe å snakke rundt for lærere ved Askvoll skule:

Estetiske læringsprosesser

Det spørs om det blir siste gang vi kjører akkurat dette opplegget, dermed er det like greit å legge det ut.

KI - verktøy eller veileder?

I det jeg begynner å skrive på dette kommer jeg fra et møte med en følelse av uro, og medansvar. Medansvar for HVLs retningslinger for KI, om enn med et forbehold om at dette er prisen en betaler for å sitte i en komite.

Uro, fordi jeg ikke tror på det jeg selv har navnet mitt på, som f eks siste punkt i retningslinjene:

Som eit kvart anna verktøy!
KI-baserte verktøy er ikkje ulike andre digitale verktøy og hjelpemiddel. Hugs at eventuelt fagleg innhald som blir generert alltid må sjekkast opp mot ei truverdig kjelde.

Det blir stadig klarere for meg at KI ikke er som andre verktøy. Den tydeligste definisjonen på verktøy er kanskje: "redskaper som er spesialisert til en bestemt bruk". Lenge før vi kan snakke om noen form for generell kunstig intelligens kan vi allerede en nærmest uendelig rekke av eksempler på hvordan KI kan brukes på måter som ikke er spesialiserte. Et eksempel kan være hvordan språkmodeller kan brukes for å styre autonome roboter. Et enklere eksempel er alle de ulike måten vi kan anvende generativ KI kan skape så ulike uttrykk, så forskjellige at det ikke gir særlig mening å tenke at det handler om at løsningene er spesialisert  til en bestemt bruk.

Jeg tenker derfor at det gir mer mening å forstå KI som en form for partner (en som tar del i, medvirker i noe), eller veileder. Om ikke lenge vil agent trolig være en egnet metafor, straks KI begynner å utføre oppgaver på våre vegne, uten spesifikke instruksjoner.

Jeg finner veileder-metaforen nyttig i eget virke, fordi jeg som veileder av studenter, som skal levere noe til vurdering (eksamen), må tenke gjennom grensegangen mellom å vise vei og legge konkrete formuleringer til en tekst. Ofte handler det om å vise vei i en tekst, gjennom å skrive begynnelsen på noe ... og overlate fortsettelsen til studenten. KI er ofte glimrende til dette, men kan lett være en veileder som gjør for mye av arbeidet.

Jeg tror KI på kort og mellomlang sikt trekker i retning av avvikling av hjemmeoppgaver, (dessverre) mer skoleeksamen, men forhåpentligvis også en revitalisering av praktiske oppgaver, reell problemløsning og fysiske materialer.

Samtidig kommer vi til å bruke KI til svært mange oppgaver, og studenter og elever må lære om bruk og teknologiens egenskaper.

Digitaliserings- og forvaltningsminister, Karianne Tung, og Forsknings- og høyere utdanningsminister, Sigrun Aasland, spør i Khrono: Kan KI svekke likestillingskampen. De tar opp et viktig spørsmål, knyttet til hvordan KI vil gjenspeile fordommer og forutinntatthet (bias) i treningsdataene. De viser til et eksempel der de ba Chat GPT lage et bilde av en toppleder. Tilbake kom et bilde av en mann i mørk dress. En kan argumentere med at det gjenspeiler virkeligheten, men jeg tar noe av poenget.

I forsøket på å komme med en løsning, går det imidlertid litt over styr:

Så la oss heller snu eksempelet fra Chat GPT: I stedet for å la KI gjenspeile gamle fordommer, kan vi programmere den til å utfordre dem. Tenk deg en KI som genererer bilder av mangfoldige toppledere, kvinnelige leger og mannlige sykepleiere. Dette kan bidra til å bryte ned stereotypier og skape nye forbilder.

Det kan gå riktig galt. Googles tidligere tabbe med Gemini er et karikert eksempel, men illustrerer hvor galt det kan gå dersom en forsøker å legge inn funksjoner for å korrigere for de problemene som de to ministrene adresserer. 

Jeg tror derfor forslaget fra ministrene er en særdeles dårlig ide. Det er mye annet å være enig i i innlegget, men akkurat dette synet gjør meg oppriktig bekymret. Først og fremst fordi det kommer fra de to som for tiden har størst påvirkningskraft på bruken av KI i utdanning.

En kan ende opp med KI som en særdeles upålitelig veileder. Tilsynelatende kan jo det løse et problem, ved at informasjonen stort sett inneholder feil, men dette er jo på ingen måte realistisk. Vi vil trekkes mot de beste, og lettest tilgjengelige tjenestene...

Du kan bare virkelig tenke om å lage noe, ved å lage noe mens du tenker

En lek med ord, som er lånt og avledet. Ikke helt lett tilgjengelig.

I introduksjonen til boken Mindstorms: children, computers, and powerful ideas (1980), skriver Seymour Papert: "Du kan ikke virkelig tenke om å tenke, uten å tenke på å tenke på noe" (min oversettelse)

Det fulle sitatet i sammenheng (på side 10):

But I think that the best way to understand learning is first to understand specific, well-chosen cases and then to worry afterward about how to generalize from this understanding. You can't think seriously about thinking without thinking about thinking about something. And the something I know best how to think about is mathematics. 

Jeg kommer sikkert til å revidere denne (overskriften), men poenget jeg forsøker å formulere i Paperts ånd, er at det knapt lar seg gjøre å planlegge å lage noe fullt ut. Du vil møte på ulike problemer i det materialer skal omsettes til noe. Det krever tilpasninger underveis ,eller at du begynner på nytt. Først når noe er laget kan du se tilbake og fullstendig beskrive en metode, som så du eller andre kan bruke for å gjenskape noe.

KI-modeller ble med ett rimelige

OpenAI satser enn så lenge på "closed source", men tjenester som er tilgjengelige på nettet viser seg i praksis å være åpne, dvs de kan trenes ved hjelp av såkalt Knowledge distillation. Kunnskapsdestillasjon er en maskinlæringsteknikk som overfører læringen fra en stor forhåndstrent modell (lærermodell) til en mindre modell (elevmodell).

Ved å benytte denne teknikken har Deepseek, flere forskningsinstitutter og Huggingface demonstrert at svært gode modeller kan skapes med minimale økonomiske ressurser. Huggingface skriver følgende om sin modell, som kan testes her:

OpenAI just published Deep Research, a very nice assistant that can perform deep searches on the web to answer user questions.

However, their agent has a huge downside: it's not open. So we've started a 24-hour rush to replicate and open-source it. Our resulting open-Deep-Research agent took the #1 rank of any open submission on the GAIA leaderboard!

Ganske raskt kommer vi nok dit at de generelle modellene blir allemannseie, samtidig som vi vil se en lang rekke ytterst spesialiserte modeller.

Umbraludu

Med hjelp fra studenter i kunst og håndverk (GLU3) har elever ved Christi Krybbe skoler laget sin versjon av Umbraludu, en verden befolket av luduer (fargerike, lekne vesener med mange forskjellige egenskaper). Alle luduer er fulgt av umbraer (som kun er i gråtoner). En ludu og en umbra henger sammen. De er to sider av samme skapning, men med ulike egenskaper.

Ingvard Bråten har skrevet en liten fiksjon, som plasserer Umbraludu og det som kan foregå der. Sammen med beskrivelser av elevenes luduer og umbraer, kan denne teksten kan leses ved inngangen til installasjonen.

Elevene har beskrevet sine skapninger, i form av todimensjonale skisser av papirbiter og egene tekster. Deretter bygger elevene tredimensjonale, bevegelige modeller. Det hele ble så satt sammen til en installasjon, med lyd og projeksjonsvisninger.

Vi rakk dessverre ikke å arbeide med lydsiden, sammen med elevene. Prosjektet kunne her vært utvidet, blant annet ved å benytte kontaktmikrofoner (jf. prosjektet Sampling av lyd og bærekraft), for å fange lyder av treverk og manipulere dette. Videre eksperimentere med KI-generert musikk, som en del av et helhetlig lydbilde.

Denne gangen endte det med at jeg gjorde opptak og lyddesign, men dette er åpenbart noe å jobbe videre med – med klar relevans for Sonic Greenhouse også.

Installasjonen kan oppleves på Høgskolen på Vestlandet (Kronstad, Bergen), denne og neste uke (uke 8 og 9). Dørene er åpne fra klokken 10, og stenger tidligst kl 13.

KI-video

Det florerer med lignende verktøy. Først ut her er pollo.ai. Utgangspunktet er et bilde generert med Grok. Ledeteksten er rimelig enkel: "Make the persons hug each other. Rotate the scene".

Den er ikke helt enkel denne, og i videoen nedenfor surrer det seg med kvinnens høyre arm. Skulle bevegelsen blitt naturlig måtte armen trekkes tilbake, før den kommer rundt mannens nakke. Her går armen rake veien, rett gjennom.

Lumina, en KI-fortelling

Et stort bilde, laget med Stable Diffusion. Så er bildet beskrevet ved hjelp av Grok (teksten nedenfor) og lest ved hjelp av naturalreaders.com. Musikken er laget med Suno, og det hele redigert med videoredigeringsprogrammet CapCut, med en bevegelse gjennom panoramaet (Ken Burns effekt).

Dermed ender jeg med en visuell fortelling. Jeg har ikke behandlet teksten, ut over å kutte den litt ned. Det er heller ikke gjort noe lydbehandling av den genererte stemmen, annet enn å legge inn noen små pauser. Uansett, det blir noe av dette:

Nå er dette i utgangspunktet ikke ment å være planlagt, og innhold laget ved hjelp av kunstig intelligens er enn så lenge ganske uforutsigbart. Jeg styrer til en viss grad uttrykket gjennom ledetekster (promts), men det meste dreier seg om å gjøre valg og tilpasninger. For eksempel begynner det enorme panoramabildet med en liten del (markert i skjermbildet nedenfor) og en svært enkel kommando: "A steamboat". Fra dette er det gjort noen hundre utvidelser av bildet, uten ytterligere ledetekster. De fleste forslagene som KIen kommer opp med har jeg godtatt.  Dette tar en del tid, men den kreative innsatsen er minimal. Når jeg senere ber Grok om å lage en fortelling basert på bildet gjør jeg svært få endringer, før teksten blir del av videoen ovenfor.

Animasjonstest

Jeg skrev en post om Videostillbilder for 12 år siden, et slags bakteppe for denne animasjonen. Jeg liker fremdeles de reduserte uttrykket av duotone GIFer, ikke minst når de er animert. 

Animert GIF bringer tankene tilbake til websider på 1990-tallet, da Netscape gjorde små animasjoner til en farsott. Heldigvis er de borte, men GIF-formatet byr fremdeles på noen kvaliteter. 

Enkelt å anvende, og fremdeles universelt – dvs: alle nettlesere støtter det, selv snart 40 år etter at formatet ble lansert.

Bare å skrote tradisjonell bildebehandling

Lignende løsninger har vært i farvannet en stund, men MagicQuill er det mest brukervennlig jeg har sett. Gratis å bruke og laste ned er det også. 

Du kan teste MagicQuill direkte, ved hjelp av Huggingface. Jeg testet med et dårlig bilde (gjengitt nedenfor) og endte med dette >>>

Lignende funksjonalitet finner helt sikkert veien til så godt som alle bildebehandlingsprogrammer. Hvis ikke kan de trolig bare pakke sammen.

Jeg har sagt det en stund, og det nærmer seg stadig. Om ikke lenge kommer vi til å snakke til bildebehandlingsprogrammer i sanntid, mens vi tegner sammen med KI.

Presentasjon - Digital fabrikasjon

Jeg er snart på vei til Nettverkskonferanse for Kunst og håndverk i UH-sektoren. To innlegg, der det ene handler om studenters arbeid med design og konstruksjon av lydgartnerier (se innovasjonsprosjektet Sonic Greenhouse) og fremføring på Siljustøl.

Jeg rammer inn dette innenfor det som kan betegnes som digital fabrikasjon, med et nikk til kollega Frikk Fossdal, som også deltar i prosjektet Sonic Greenhouse. Videre er konstruksjonisme en viktig referanse (jf Seymour Papert): mennesker lærer best når læring skjer i sammenhenger der en konstruerer noe som oppleves som meningsfylt.

Fysiske og virtuelle visningsrom - Nettverkskonferansen

Ingvard og jeg presenterer det som blir en avslutning på prosjektet Fysiske og virtuelle visningsrom. Prosjektet har vært støttet med nettverksmidler fra UH-nett Vest. Vi har ikke kommet fullt så langt som vi håpet, men har kommet til en prototypefase der ting er blitt temmelig konkrete. Ikke minst fordi Ingvard har laget fysiske montere, som vi fyller med litt elektronikk og kode laget av Johannes Ringheim.

Presentasjonen under Nettverkskonferansen for K&H i UH er like mye en invitasjon som en presentasjon. Så langt har vi samarbeidet med UiS, noe vi vil bygge videre på, men også gjerne involvere flere. Ambisjonen er et nettverk av visningssteder, som kan knyttes sammen virtuelt. Objektene som stilles ut lokalt kan ses i andre gallerier, og oppleves sammen med objekter som fysisk befinner seg andre steder.

X (Twitter) + Grok

Jo, Elon Musk, durer på og mener (ofte litt for) mye om mangt. Som eier av X.com (tidligere Twitter), og 214 millioner mennesker som følger ham, har han åpenbart stort nedslagsfelt.

Det er både noe befriende, og noe skummelt med en mektig person som sier hva han mener, og prøver seg frem i offentligheten. Jeg er langt fra enig i alt, men kan ikke fri meg for å være sympatisk innstilt til mennesker som flagger hva de tenker, fremfor å holde på i skyggene.

Her om dagen nådde Musk sin "nazihilsen" til og med Dagsnytt 18, med resonnementer som at dette var en gjennomtenkt "hilsen hjem" til nynazistiske miljøer i USA. Mon det, men det er i alle fall ikke en vennlig innstilt tolkning. Det var vel ikke kommentatorens mening heller. Bildet i toppen er en X-post med mengder av eksempler som kunne vært tolket likedan, dersom de ble tatt ut av sammenhengen. Poenget er nettopp hvilken sammenheng vi rammer folk inn i.

Tjenesten X.com (altså Twitter etter at Musk kjøpte denne) får mye kritikk for å flomme over av hatprat og annet som ikke er bra. Selv ser jeg faktisk ikke mye av det, men det kommer jo an på hva en følger. Jeg leter ikke etter det. Når det er sagt, det er et åpenbart problem at alle sosiale medier raskt gir deg mer av det samme. Begynner du å klikke deg i en retning, kan det være en stri tørn å komme tilbake. 

Noe jeg synes er forbilledlig på X er Community Notes og koblingene til KIen Grok. Merk at også Meta (Facebook og Instagram mm) synes å gå i retning av et lignende system.

Til posten gjengitt ovenfor finner jeg ikke noen slike  "community notes", kanskje fordi denne posten i seg selv ikke inneholder noe som det er tvil om. Jeg lurer likevel på om klippet med Macron er ekte og innleder en liten samtale med Grok.

Jeg opplever mye av det Musk sier (ikke i kortform på X) som en form for liberalisme, men samtalen med Grok gir meg ikke støtte for at dette er en moderne liberalisme på linje med John Rawls. Men Musk er trolig på venstresiden i det Republikanske partiet. For de som har fulgt med litt kan det uansett ikke overraske at han ikke var særlig fornøyd med hvordan han ble omtalt under Bidens presidentskap. Videre gir samtalen meg litt informasjon om det som synes å være kilden til videoen av Macron. Jeg følger ikke saken til ende, men føler meg rimelig sikker på at det dreier seg om et ekte klipp. Macron, eller Musk for den saks skyld, er uansett ikke poenget. Det er min egen, raske faktasjekk som er poenget

Sound in the Garden: Bendik Giske

Jeg fikk dessverre ikke med meg Bendik Giske under Festspillene i fjor. Det angrer jeg på, men noe kom nok i veien. En mager erstatning kan være dette:

Nytt teknologifag i skolen?

Regjeringen har satt seg som mål å sikre at Norge har tilgang til nødvendig digital kompetanse innen 2030. Det har kommet forslag om å innføre et eget teknologifag som kan øke den digitale kompetansen hos norske elever. Nå står det kanskje ikke så dårlig til med IKT-kompetansen, men den kan nok uansett bli bedre.

På videregående omfatter faget Informasjonsteknologi og medieproduksjon programmering, brukerstøtte, IT-sikkerhet, nettverk, og kreative aspekter som innholdsproduksjon og mediedesign. Det er også fokus på å styrke lærernes profesjonsfaglige digitale kompetanse gjennom lærerutdanning og videreutdanning. Mange ting med andre ord, og selv om ikke alt dette skal inn i grunnskolen må det tas noen tak for å få dette på plass i lærerutdanningen.

Men så spørs det da: hvor skal faget plasseres, dvs hvor skal tiden tas fra? Både i lærerutdanning og skole. Og er det dette vi tenker på når "Alle vil jobbe mer praktisk i skolen". Kanskje kan vi få på plass skaperverksteder i lærerutdanningen. Det er en stund siden jeg sist forsøkte å holde i den tanken, men den er verd å ta opp igjen,

Også verd å kikke på, selv om artikkelen er noen år gammel: "Utprøving og innføring av ny teknologi i skolen – hva har vi lært?".

Og den rykende ferske "Hva vil vi med estetiske fag i skolen?", der det blant annet argumenteres for betydningen av at vi involverer det kroppslige i skapende praksiser. 

Unitree Go2 – "Rat Things" kommer nærmere

Boston Dynamics robothund Spot kostet 75.000 US dollar i 2020. Jeg finner ikke ut hva den koster nå, men har grunn til å to at det fremdeles er flere titusen dollar. Så kommer kinensiske Unitree med Go2, med en pris som begynner på 1.600 dollar. Den reelle prisen blir sikkert det doble, men uansett oppsiktsvekkende lite for det som fremstår som en svært kapabel maskin.

Kinesiske DJI sine droner brukes i massiv grad i krigen i Ukraina. En kan bli skjelven av å tenke på hva en firbent maskin, som kan bære med seg 10 kilo, kan utrette.

Dette er ganske vilt:, og minner meg om en bloggpost jeg skrev for ti år siden. Denne tok utgangspunkt i vente Boston Dynamics og "Rat Things", sistnevnte fra Neal Stephensons roman Snowcrash. Rat Things er robothunder med det biologiske grunnlaget fra virkelige hunder. Snowcrash ble skrevet i 1992, men er fremdeles noe vel verd å lese. Koblingen KI, biologi og fysiske roboter kommer, og tilsynelatende er det ganske nær:

Artificial Aesthetics: Generative AI, Art and Visual Media

Lev Manovich og Emanuele Arielli har skrevet om visuelle medier og generativ kunstig intelligens. Alle kapitlene er skrevet i perioden 2021-2024, og kan fritt lastes ned:

1. Even an AI Could Do That
   Emanuele Arielli. Published 12/15/2021.
2. Who is an Artist in AI Era?
   Lev Manovich. Published 01/18/2022.
3. Techno-animism and the Pygmalion Effect.
   Emanuele Arielli. Published 03/28/2022.
4. AI and Myths of Creativity.
   Lev Manovich. Published 05/18/2022.
5. Seven Arguments about AI Images and Generative Media
   Lev Manovich. Published 04/20/2023.
6. Human Perception and The Artificial Gaze
   Emanuele Arielli. Published 01/15/2024.
7. Separate and Reassemble: Generative AI and Media History
   Lev Manovich. Published 03/27/2024.
8. From Tools to Authors
   Emanuele Arielli. Published 09/24/2024.
9. .Made by and for humans? The Issue of Aesthetic Alignment
   Emanuele Arielli. Published 09/27/2024.

Tre arbeider – kunstfaglige forskningsformer 2024

Jeg åpner det nye året med tre arbeider innenfor ordningen med kunstfaglige forskningsformer (KFF). Alle arbeidene stammer fra 2023, og vurdert i 2024. Komiteen vurderer arbeidenes omfang og kvalitet, samt den eksplisitte refleksjonen og dokumentasjon av prosjektene. Jeg håper og tror at disse rapportene gir nyttige innsikter i prosjektene, både i forhold til hvordan det er tenkt konseptuelt, hva som har inspirert og påvirket prosjektene, og hvordan dette er løst i praksis.

I 2024 ga dette svært godt uttelling for min del: Pappenheim og Sonus ble begge vurdert på Nivå 2, mens Shadows of an Icebound Dream er på Nivå 1. 

Verd å nevne er at prosjektet Kartfaring også er vurdert til Nivå 2. Alle prosjektene springer ut av forskergruppen MaTecSus.