Jon Hoem - CV

Førsteamanuensis ved Institutt for kunstfag, Høgskulen på Vestlandet – Bergen.

Underviser i og forsker på nye, digitale medier.

Jeg er opptatt av forholdet mellom medier og fysiske steder. For tiden jobber jeg blant annet med sfæriske medier, Robotassistert undervisning og utvikling av skaperverksted.

Min Dr.-avhandling om personlig publisering.

Siterte artikler og publikasjoner i Cristin.

Annet

16. januar 2020

Nasjonal strategi for kunstig intelligens

En OECD-rapport fra 2018 anslår t 6% av norske arbeidsplasser som vil forsvinne som følge av automatisering. Dette er lavest av alle landene i OECD. Dette skyldes at norske arbeidstakere er blant de i verden som får mest opplæring på arbeidsplassen. Vi er med andre ord ikke så verst når det gjelder å holde oss oppdaterte. Det er en fordel, i møter med maskiner.

I dag lanserte regjeringen en Nasjonal strategi for kunstig intelligens. Der kan vi blant annet lese at digital kompetanse og teknologiforståelse skal få en tydeligere plass allerede i grunnskolen. I «Fagfornyelsen» legges det allerede på barnetrinne opp til at naturfag skal bli et mer utforskende og praktisk fag, med en tydelig teknologidel som også omfatter programmering.

Programmering kommer inn i flere fag. Min primære interesse er hvordan det digitale kommer inn i kunst og håndverk. Dette handler selvsagt om mer enn programmering, men ulike tilnærminger til programvare vil uansett ligge i bunn av alt vi gjør digitalt. jeg bedre vi kjenner de digitale verktøyene, desto bedre rustet er vi for å kunne bruke dem i konstruktivt, skapende arbeid.

Jeg legger merke til at illustrasjonene som er brukt i presentasjonen er hentet fra Ars Electronica, som også har sin egen satsing på AI. Videre en utstilling som tar for seg AI og egen seksjon viet teknologi i skolen. Her finner du masser av spennende prosjekter, i grenselandet mellom kunst og digitale maskiner. en god porsjon fysisk håndverk også. Det mest spennende ligger gjerne i kombinasjoner av disse tilnærmingene.

Jeg likte NORAA – Machinic Doodles, som jeg selvsagt ser i lys av auditolocomotivene våre.


10. januar 2020

Årets eneste snødag

Det er ennå håp, men enn så lenge er forrige helg min eneste opplevelse av skikkelig snø, så langt i vinter:



21. desember 2019

DIY 3D-høyttaler – Auditomonster

En passe amatørmessig visualisering av et auditomonster, her tenkt plassert i festsalen ved Austråttborgen.
Å komponere for et rom og med et rom er noen jeg har fascinert meg siden jeg som byggingeniør og lydinteressert kom på at det jeg skulle gjøre i livet var å designe og bygge lytterom for for folk. Jeg kom ikke stort lenger enn at jeg tok noen vekttall i elektroakustikk for rundt tredve år siden. Så tok yrkeslivet en annen litt annen vei, selv om det sneier innom lyd ganske ofte.

Kanskje på tide å finne skikkelig tilbake – ved hjelp av et "auditomonster" for atten kanaler. Med tilhørende sensorer kanskje også et lydbilde som transformeres gjennom lytternes bevegelser.

Nedenfor litt høyttenking. Se på det som idenotater...

Oppsettet nedenfor  er inspirert av et system med tyve høyttalere, bygget inn i ett kabinett, med en separat forsterkerutgang knyttet til hver høyttaler. Denne forsterkeren lukter det penger av. . Mitt tenkte oppsett er med aktive høyttalere – budsjettversjon med en forsterker innebygget i hvert stereopar. Det fleste slike monitorer har imidlertid et system med bassrefleks (for å få mer bass ut av små kabinetter). En forutsetning for mitt foreslåtte oppsett er dermed at bassrefleksporten kommer ut på frontbaffelen, noe som ikke er så vanlig.

Høyttalerkandidater i budsjettklassen er Behringer MS-20 eller Pioneer DM-40. I alt er det 18 høyttalere, dvs 9 stereopar. Trenger altså et lydkort som kan gi linjesignal ut i atten kanaler. Her er jeg igjen på jakt etter "the sweet spot" mellom pris og ytelse – kanskje Behringer UMC1820 kan gjøre jobben. Når det gjelder selve lydavspillingen håndterer programvare som Ardour normalt flerspors avspilling på en svært fleksibel måte. Samtidig, dersom lydbildet skal formes live, må en kunne rute og styre bestemte lyder til høyre og venstre kanal for hvert stereospor, og til flere spor parallelt. Altså ikke bare panorere. Komplisert, slik det forklares i podcasten embeddet nedenfor.



Auditomonsteret er inspirert, etter tips fra kollega Jostein Stalheim, av denne. IKO er en høyttaler som sies å spille med rommet den står i. Det gjør i og for seg alle høyttalere, men mange membraner, som kan spille sammen og kontrolleres individuelt, gjør det mulig å skreddersy en komposisjon for et rom, som en også kan ytterligere tilpasses akustisk ved hjelp av reflektorer og ulike dempende materialer.

Jeg får assosiasjoner til Philippe Parrenos prosjekt Anywhen.

28. november 2019

Rettspraksis.no – tapte slaget, vinner til slutt

Rettspraksis.no la ut avsagte dommer gratis på nettet. Et nyttig og prisverdig prosjekt. Dette førte imidlertid til søksmål fra Lovdata, noe som til slutt endte med tapte i Høyesterett i høst. Nå gjør justiskomiteen på Stortinget noe med problemet, og går inn for å gjøre alle rettsavgjørelser tilgjengelige for alle.

– I Norge er alle lover åpne for alle. Men dommer er også en veldig viktig rettskilde. For å vite hva som er rett og galt, må vi vite hvilke dommer som er avsagt. /../ De fleste vestlige land har skjønt at dette er et viktig prinsipp, men av en eller annen merkelig grunn har vi i Norge valgt å ha dommene gjemt bak høye betalingsmurer. Det holder ikke prinsipielt sett og er rett og slett ikke godt nok, sier justiskomiteens nestleder Peter Frølich (H) til Aftenposten.

I første omgang skal det gjelde alle dommer i norske tingretter, lagmannsretter og Høyesterett. Ifølge Domstolsadministrasjonen avsies det ca. 30.000 tingrettsdommer i året, 3000 lagmannsrettsdommer og 105 dommer i Høyesterett. Basen vil også omfatte andre rettsavgjørelser som kjennelser og andre beslutninger og vedtak.

God å se at politikerne tar tak i dette.

18. november 2019

Nye læreplaner – det digitale i kunst og håndverk

Nye læreplaner skal tas i bruk fra skolestart neste høst. Dette blir den største endringen av skolens innhold siden Kunnskapsløftet i 2006.

– Samfunnet endrer seg med ny teknologi, ny kunnskap og nye utfordringer. Dette stiller krav også til fremtidens skole. Derfor har blant annet digitale ferdigheter fått en tydeligere plass i de nye læreplanene. Dette handler om god digital dømmekraft, kildekritikk og informasjonssikkerhet. Programmering inngår også i den digitale satsingen, sier kunnskaps- og integreringsminister Jan Tore Sanner (H).

I kunst og håndverk legges det vekt på at fagfornyelsen innebærer at det også skal omfatte programmering og kobling til ny teknologi.

Jeg kommer trolig til å gjenta dette, men jeg synes det mangler noe vesentlig med hensyn til de begrepene som er brukt i læreplanmålene. Her nevnes for eksempel hverken "taktil" (sanseinntrykk knyttet til berøring) eller "auditivt" (knyttet til hørsel). "Visuell" nevnes imidlertid hele 33 ganger. Det er rart. Tenk bare på hvor viktig lyd og akustikk er for estetiske opplevelser – uten at vi dermed behøver å snakke om musikk.

I et forsøk på å understreke poenget: jeg satt i går kveld å hørte på Evelyn Glennies foredrag How to truly listen. Glennie er en fremragende perkusjonist, men også døv. Hennes betraktninger omkring sammenhengen mellom lyd, det å "lytte" og fysisk materiale er vel verd å få med seg.

Likevel, til tross for at det visuelle gis for stor plass, i det store og hele er jeg rimelig fornøyd med den nye læreplanen, og dermed er det all grunn til å gjøre seg noen tanker omkring hvilke kompetansemål som kan få særlig relevans for digitale medier (det følgende er altså ikke alle kompetansemålene, men de jeg tenker bør kunne knyttes til det digitale):

3. november 2019

Auditolocomotivtegning

Onsdagens seanse med programmerte auditolocomotiver endte blant annet med et bilde. Vi er nysgjerrige på forholdet mellom det som blir skapt av og med maskiner og hvordan en kan arbeide videre med ulike estetiske uttrykk. En måte er å ta tak i mønstre som trer fram i det bildet som auditolocomotivene tegnet og forsterke disse trekkene:



Ikke helt som Damien Hirst sine Spots, men vel så spennende – om noen skulle spørre meg...

29. oktober 2019

Dag tre med auditolocomotiver

Vi jobber med automatoner, så da kan det passe med en liten hilsen til Talos (gresk Τάλως), som i gresk mytologi var en mekanisk, usårbar kjempe av bronse som voktet over Kreta.


Siste dag med en 6. klasse. Elevene har bygget og programmert automatoner – det vi kaller auditolocomotiver – om enn i mindre skala, sammenlignet med Talos.

Den opprinnelige ideen var at auditolocomotivene skulle bære med seg lydene (auditolocomotiv = objekter som bærer lyd i bevegelse), men dette byr på noen praktiske utfordringer. Kanskje blir det heller til at elevene mikser lydene live, noe som kan bli ala dette:


8. oktober 2019

Slampoesi med skolerobot fra Aisoy

En variant av 14641 sonetter, som var mitt første "poetiske" forsøk med skoleroboten. Denne gangen er inspirasjonen hentet fra rap battles. Her gjør robotens mangel på intonasjon at roboten selvfølgelig kommer til kort. Dermed får den prøve seg på en litt mer tilbakelent sjanger.

Mye rart skjer når en forholder seg til ekte syntetisk tale. Jeg oppdaterte robotens operativsystem, og oppdaget da at den hadde fått nye stemme. Videoen nedenfor er et eksempel med den gamle talesyntesen. Nå høres den mer ut som et barn. Det kler i og for seg figuren, men kanskje ikke teksten.

Roboten har i dette prosjektet to roller der den leser ut av to korresponderende lister. Hver liste har 36 tekstlinjer og vi har lagt inn en funksjon for at alle linjene må være gjennomlest før roboten begynner å velge fritt på nytt. For å oppnå dette må vi skrive referanser til de tekstlinjene som er valgt til nye lister, slik at vi kan sjekke hvilke linjer som er lest opp. Når alle linjene er lest opp sletter vi disse sjekklistene.

En liten stresstest gjennom natten endte med 4570 oppleste tekstlinjer. Den hadde det nok litt ensomt roboten, alene som den var på kontoret, men den holdt like standhaftig på med sitt dagen etter.

Neste forsøk får bli å kjøre den tekst-til-tale-genererte stemmen gjennom en vocoder, slik at denne matcher melodien som ligger i bunn.

Les flere detaljer om hvordan dette prosjektet er løst på skolerobot.no.

5. oktober 2019

Fra sfærisk- til tradisjonell video

Det nærmer seg raskt fem år siden jeg for alvor begynte å se på hvordan 4K-video kan være utgangspunkt for video med lavere oppløsning, og de mulighetene dette gir for en enklere produksjon av video.  Utgangspunktet den gangen var et konsumentkamera, Panasonic FZ-1000, som fremdeles er en trofast følgesvenn.

Omtrent på samme tid begynte jeg å interessere meg for sfæriske medier, på et tidspunkt hvor prosessen innebar stitching av bilder og video. Jeg la det til side – for mye etterarbeid i forhold til det resultatet jeg oppnådde. Jeg er ute etter løsninger som gjør det enklere å produsere, ikke teknologi som gjør ting mer komplisert.

Men, etter hvert ble kameraløsningene mer brukervennlige og jeg fikk sjekket ut sfærisk video, og dermed hvordan denne også kunne brukes som opptaksformat for noe som skal vises som ordinær video. Det første forsøke jeg gjorde var med enkelt programvare, som iMovie, og "Ken Burns"-effekter, noe som gjorde at jeg ikke kunne bruke hele sfæren som kilde.

Så går teknologien videre og noen kameraer senere ender jeg opp med Instra360 One X, et kamera som umiddelbart innfridde. Det finnes noen tilsvarende løsninger fra f eks GoPro, men jeg holder en knapp på Insta. Dermed blir det enkelt å lage videoer som dette, én versjon av mange mulige uttak fra et sfærisk opptak:



I 2015 hadde jeg ikke noen ide om at det jeg snakket om etter hvert fikk et navn – overcapture – noe NRKbeta har laget en fin artikkel om: "Kort fortalt er hemmeligheten bak “Over capture” at man filmer i 360-grader, altså i alle retninger fra kamera, for deretter å gjøre et utsnitt av dette som passer de skjermene vi omgir oss med."

1. oktober 2019

Tester Google Expeditions

Her har det skjedd mye siden sist jeg sjekket. Testet med et lite gjensyn med Nääs slöjdlærarseminar:

30. september 2019

Musikk skapt av AI

En workshop i forrige uke inspirerte noen forsøk med maskinlæring.

Enten før, eller mens du hører på musikken nedenfor kan du lese Art in the Age of Machine Intelligence. Dette paperet diskuterer først go fremst det visuelle, men makinlæing påvirker potensielt alt somkan digitaliseres. Mer å lese på Artists and Machine Intelligence.

Tjenester som AIva.ai begynner å bli såpass bra at hvermansen kan få generert musikk som begynner å høres interessant ut. Og utviklingen går raskt. Musikk skapt med "kunstig intelligens", eller i det minste maskinlæring. Ikke helt optimal instrumentering, men her er komposisjonen eksportert som MIDI og tweaket i Garage Band:



Nå skinner det i og for seg gjennom hva AIen kan ha "lyttet" til (f eks et par minutter ut i videoen nedenfor). Det er et stykke igjen til forbildet, og AI-motoren henter "inspirasjon" fra mange kilder, men det aner en hvorfor Hans Zimmer kan beskyldes for å lage musikk etter oppskrift. Når det er sagt, oppskrift på bra saker:



En kan jo se for seg at Zimmer kun slår enkelte toner på flyglet, og orkesteret AIen fyller inn.

Workshop i læringslaben

Hadde en økt med noen lærere der vi så på 3D-printing mm. Figuren til høyre ble skapt ganske så kjapt ved hjelp av SculptGL (temmelig likt Sculptris, men direkte i nettleseren), og deretter modifisert litt ved hjelp av Tinkercad. Sokkel og "hatt" er lagt til i Tinkercad. Vi laget oss også en del ved hjelp av Codeblocks i Tinkercad, en løsning som kobler koding og 3D på en fin måte.

Alt dette ble gjort ved å benytte disse tjenestene direkte i nettleseren, dvs det kan gjennomføres på de fleste elevmaskiner.

To farger ble oppnådd på enkleste vis, ved å sette printingen på pause og bytte filament underveis. Hastighet er en utfordring når en kommer til 3D-print, så denne er printet med laveste kvalitet.

Vi fikk også sjekket ut litt sfærisk video og ditto bilder. Begge deler kan brukes til mye forskjellig, på tvers av fag – jmf innlegg under Make & Learn nylig.

20190930_164107_551

Etterpå ble det for min del tid til et lite robotprosjekt også. Minner litt om 14641 sonetter, men denne gangen er meningen å få to Aisoy-roboter til å gi en oppvisning med "slam poetry" via sin innebygde tekst til tale. Poeten er her i ferd med å bli litt trøtt, mens crewet i bakgrunnen er skremt til taushet:

 
◄ Free Blogger Templates by The Blog Templates | Design by Pocket