Hverdagsroboter og interaktivitet

Everyday Robots ledes av den utflyttede nordmannen Hans Peter Brøndmo. Det får meg til å se tilbake til det som virkelig fikk øynene mine opp for potensialet i datamaskiner: en fremtidsdokumentar som science-fictionforfatteren Douglas Adams laget for BBC, kalt "Hyperland" – en dokumentar som fremdeles er vel verd å se i sin helhet. I denne dokumentaren møter vi nevnte Brøndmo som den gangen forklarte det han kalte "micons" – Moving Icons – som en del av hypervideo, eller interaktiv video.

Sammen med konkrete erfaringer med Apples banebrytende programvare Hypercard var det nettopp Hyperland som fikk meg til å endre kurs, fra film- og fjernsynsstudier til fullt og helt å satse på "interaktive" medier. Brøndmos arbeid på den tiden var så definitivt en inspirasjonskilde.

Uten at sammenligningen skal strekkes særlig langt har jeg også fattet interesse for roboter, dels i enkle formater, dels noe mer avansert. Roboter er et konkret møte mellom det programmerbare og det fysisk materielle, og dermed et viktig omdreiningspunkt for boken Digitale medier og materialitet. I boken diskuterer jeg blant annet romlige og haptiske representqasjonsformer.

Everyday Robots lager åpenbart mer avanserte roboter, men de skal i første omgang løse enkle oppgaver i Googles kantine, langt på vei samme typer oppgaver som Tesla ser for seg med sin varslede Teslabot. I videoen nedenfor snakkes det mye om hvordan maskinlæring er en forutsetning for at roboter skal lykkes. Det er dermed en nær sammenheng mellom roboter som navigerer i en kantine og en selvkjørende bil.

VR som metode i skolen

Sitter og følger med på NKULs seminar om VR. Spørsmålet er hvilke oppgave som elevene arbeider med og hvordan disse kan forbedre undervisningen.

Vi fikk en demo av Framevr.io/galleri6trinn, og straks eleven som presenterte kom til sfæriske bilder ble jeg umiddelbart dratt videre og begynte å se på videoen nedenfor. Jeg er jo ikke superglad i å lage 3D-miljøer, siden dette tar tid, samtidig som jeg for min egen del opplever at sfæriske bilder gjør jobben i de fleste tilfeller. Å kunne ha flere brukere inne i samme sfære er imidlertid noe jeg savner, og her synes FrameVR å tilby en interessant løsning.

Interessant nok synes eleven å legge vekt på de sfæriske bildene som spennende, og da åpner det seg en liten verden av ulike prosjekter.

Robotdans

Jeg har vært inne på å danse med roboter tidligere, men denne gangen er dette noe som har oppstått uten inngripen fra mennesker.

Vi har for annen gang gjennomført "Auditolocomotiv", denne gangen sammen med elever på 5. trinn. Impulsen var denne gangen «Doktor Proktors sensasjonelle samling av Dyr Du Skulle Ønske Ikke Fantes».

Jeg skriver en del om dette i forbindelse med teknologifikling og koding av tredimensjonale objekter, i Digitale medier og materialitet, noe som gir anledning til et lite foto med det som kan bringe inn nye bevegelsesmønstre – Mecanum-hjul, en smått genial oppfinnelse av svensken Bengt Ilon. 

Dermed ligger veien åpen for et prosjekt ala dette, men i mitt tilfelle basert på BBC Microbit, dvs. noe ala Omni:bit.

AR, eller er det bedre med litt mer "low tech"?

NRKBeta har en lengre artikkel om AR i lærebøker. Artikkelen kan nesten fremstå som tekstreklame for det norske selskapet Ludenso. Det får så være, det er all grunn til å heie på norske teknologiselskaper.

Jeg har syslet ganske mye med AR de senere årene, da fortrinnsvis som innholdsprodusent. I den sammenhengen har jeg ofte tydd til lyd, da det fremdeles er for mange problemer med den visuelle siden av AR. Noen tjenester har jeg vært godt fornøyde med, men felles for dem har dessverre vært at enten har de opphørt, blitt kjøpt opp og endret modellen, eller de har blitt kun betalingstjenester. Alle må selvsagt tjene penger et sted, men det er vanskelig å promotere tjenester med mindre de i det minste tilbyr begrenset funksjonalitet og kapasitet gratis. Altså en form for freemium-modell.

Ludenso synes å ha funnet en middelvei, som jeg håper de kan tjene penger på, der enkeltbrukere kan anvende tjenesten med modeller designet i selskapets egen editor. Kommersielle brukere, som forlag, inngår derimot avtaler mot betaling, men kan til gjengjeld publisere mer komplekse og animerte modeller - jmf. NRK-saken. 

Det er nok mye godt å si om det de gjør. Editoren er riktignok basal, men dermed også såpass enkel å bruke at de fleste elever på mellomtrinnet og oppover bør kunne beherske dette. Men, denne formen for modellering tar jo tid og savnet av kjappere verktøy, som f.eks. Tinkercad eller Sketchup, blir noe en kjenner på.

Den nevnte NRK-saken viser til at de tjenestene som beskrives er tilgjengelig for de 55.000 elevene som bruker Aschehoug sine bøker iPraksis eller Solaris. Et problem gjenstår riktignok: det er sannelig ikke alle enheter som aksepterer Lundensos app. For min del er faktisk dette en showstopper, og jeg har ikke tenkt å hive meg utpå og kjøpe ny telefon av den grunn. Ikke er det mulig å få appen i gang på noen av Chromebookene heller.

Jeg forstår jo hvorfor det er slik. Skal en løse plassering av AR-objekter med fast plassering i "omgivelsene" krever dette en nyere mobil enhet. Når det er sagt: jeg levde tidligere godt med funksjonaliteten i apper som Augment og Aurasma (senere HP-Reveal). Noe enklere, men fungerte godt.

Jeg skriver forresten en god del om ulike former og bruksområder for AR i Digitale medier og materialitet (Kapittel 6.4).

Kopierbarhet og transformerbarhet

I Digitale medier og materialitet avgrenser jeg digital materialitet på grunnlag av noen felles egenskaper, da særlig kopierbarhet, transformerbarhet og multilinearitet. Boken diskuterer en rekke eksempler på den fleksibiliteten som digital informasjon og programvare gir, og hvordan den kan komme til uttrykk på svært forskjellige måter.

Siden jeg liker praktiske, konkrete eksempler: her er en liten remiks av bokens omslag. Omslaget er i utgangspunktet designet ved hjelp av Google Tegninger. Boken er forøvrig satt i Google Dokumenter – ikke fordi dette er det beste verktøyet for å sette en bok, men fordi dette er et verktøy som er lett og gratis tilgjengelig. Det fungerer dessuten aldeles utmerket.

Fra Tegninger er veien kort til en kopi i Google Presentasjoner der de enkelte elementene kan flyttes og endres. Kombinasjonen av å kunne håndtere punktgrafikk sammen med vektorgrafikk gjør presentasjonsverktøy til et effektivt verktøy, selv for oppgaver det nok aldri var beregnet for.

Prosessen beskrives i mer detalj her, men kort fortalt lastes presentasjon ned som en PDF. Dette bevarer det som måtte være av vektorgrafikk. Deretter konverteres pdf-filen til en animasjon via tjenesten EZGif. 

Kopierbarhet og transformerbarhet i mange ledd og slik sett et enkelt eksempel på hvordan digitale uttrykk og produksjonsmåter er transmediale (påtvers av medier), om enn i en litt annen form enn det Henry Jenkins definerte i 2007.

Vi kan forresten fint jobbe med multilinearitet i et presentasjonsprogram også, for eksempel slik Gro og jeg har gjort med bøker og AR, eller slik Sarah og jeg har gjort med mer komplekse hypertekster, som utmerket godt kan realiseres i et presentasjonsprogram.

A Brief History of Computer Music

Anders Norås gir en introduksjon til musikk laget av og med datamaskiner:

Lafuba under Setersprell

Kjekk dag på Setersprell ved Helgeseter. Forestillingen Lafuba tar i bruk de samme lydskapningene som brukes for Auditomosjon, men ble satt inn i en annen, dramaturgisk ramme.

Fire barnehager med til sammen drøyt 75 barn og et godt knippe voksne fikk en auditiv opplevelse i flotte lokaler. Helgeseter har faste beboere, gårdsdrift og en rekke verksteder, samt et stort lokale som brukes til ulike arrangementer som også er åpne for besøkende. Under årets Setersprell fikk dermed lydskapningene innta veksthuset.

Stinn brakke inne i lokalet, men det gikk overraskende fint med mer en 60 personer inne i installasjonen samtidig. Også overraskende gode akustiske forhold, gitt betonggulv og store vindusflater. Gode lydfeller i resten av lokalet gjør tydeligvis susen.

Ny bok: Digitale medier og materialitet

En variant av presentasjonen av boken Digitale medier og materialtet. presentert på nettsidene til forskergruppen Materialitet, teknologi og berekraft. 

En vesentlig del av bakgrunnen for boken er hvordan gjennomgripende digitalisering påvirker oss alle, nærmest uavhengig av hvilke fagfelt vi jobber innenfor og hvilke uttrykksformer vi tar i bruk. Svært mye av det som omgir oss i hverdagen skapes og styres ved hjelp av datamaskiner og blir dermed til og må forstås under nye betingelser.

Spørsmålene om hvordan det digitale får konsekvenser blir stadig viktigere, ikke minst fordi så mange av de artefaktene som omgir oss er svært påvirket, ofte fullstendig avhengige, av det digitale.

Vannfolk

Ikke for annet enn at jeg synes det lett surrealistiske bildet av studenter som plukker skjell ble et spennende grafisk uttrykk.

På denne dagen for 37 år siden

var jeg 17 år og Talk Talk snurret ofte på platespilleren. Samme høst, tror jeg, fikk en nabo den første CD-spilleren og Talk Talk var selvskreven.

Den elegante poprocken ble etter hvert byttet ut med mer eksperimentell musikk – Spirit of Eden (1988) anbefales varmt. Det som kunne fortsatt som et enormt spennende band opphørte noen år senere da hovedmannen Mark Hollis brøt tvert av.

CD-spilleren er historie, så er dessverre også Talk Talk og ikke minst Mark Hollis.

Jeg var nok for pysete som tenåring og ville nok aldri funnet på å skulke skolen og reise til Rotterdam, for dermed å kunne minnes denne konserten, den 21. september 1984.

Videoen er jo et tidsbilde, men noen må ha stått optimalt plassert med skikkelig utstyr under denne konserten: her er et liveopptak som i ettertid gir mye lytteglede.

Haptisk lydkunst i Tårnsalen?

Spekulerer bare ....

Ideskisse

Men etter at en vakt på KODE plantet ideen har jeg ikke fått tanken om Auditomosjon i Tårnsalen ut av hodet.

Museet har i alle fall hatt et program for Takeover av KODE4.

Eller kanskje Auditopentaet. Jeg og Johannes har begynt å spekulere på hvordan vi kan styre de 20 høyttalerne gjennom at publikum manipulerer forskjellige objekter i rommet. på et vis beslektet med Auditomosjon, men omvendt – på en måte...

Tanken er her å flytte objekter, som ikke selv avgir lyd, men der forflytningen påvirker lydbildet som sendes fra den sentrale, rundstrålende høyttalersøylen. Jeg likte termen "soundbuckets", men ikke overraskende er dette allerede en merkevare. Men jeg kan jo like grene spinne videre på det latinste "audito" og dermed er Auditobuckets født.

Hver "beholder" skal kunne flyttes på og kommuniserer med høyttalere i det sentrale Auditopentaet. Brukeren kan dermed høre konsekvensen av forflytningen, i samspill med andre brukere og beholdere. Samtidig gir hver enkelt Auditobucket / Audiobeholder en visuell tilbakemeling via innebygget LED.

Det kjekkeste hadde vært om vi kunne holde det skikkelig low cost og med ditto lavt strømforbruk. F.eks med microbits i lydbeholderne. Johannes har sett på Lilygos TTGO som så langt virker lovende som lydavspiller, også de koblet til hver sin microbit som sørger for radiokommunikasjon med sine respektive lyd beholdere. Er vi heldige kan styrken på radiosignalene også benyttes for enkel proximity.

Tredyr, tempera og "nearest neighbor"-algoritmen

Det går fra det "små" til det "store" i dag. Først en økt med barnehagelærerstudenter der vi laget temperamaling med både egg og kasein. Jeg har et lite miljøprosjekt gående, der jeg vil akrylmaling til livs. Maling basert på naturmaterialer er en helt annen, og mer miljøvennlig historie. Kaseinmalingen gir et matt, eksklusivt uttrykk, mens eggtempera er det nærmeste vi kommer en maling for evigheten. Begge typer maling ble brukt til møbler og interiører før oljemalingene og etter hvert ulike polymerer overtok gjennom industriell produksjon av maling.

Her er det noe som må gjenerobres.

De små malte tredyrene henger også sammen med en litt større begivenhet for min del. I dag kom nemlig en sending fra trykkeriet med første utgave av Digitale medier og materialitet, boken jeg endelig er ferdig med, der jeg setter meg fore å utforske forhold og sammenhenger mellom det digitale og det fysisk materielle.

Hva er så sammenhengen med tredyrene? Jo, før vi bygget dyrene tok vi ut noen sekker med kapp fra tresløyden. Den første oppgaven til studentene var å kategorisere trebitene, slik et barn uten begreper som f.eks. rektangel, sirkel, sfære, omkrets, diameter osv. kunne gjort det. Da begynner vi med å sammenligne objekter og klassifisere de ut fra observerte, visuelle og taktile likhetstrekk.

Dette innebærer at studentene nærmer seg sorteringen på noenlunde samme måte som en "Nearest neighbor"-algoritme. De som kjøper boken vil blant annet kunne lese en spennende historie om legen John Snow, og hvordan han dokumenterte hvordan kolera smittet, i London på midten av 1800-tallet. Snow benyttet i praksis samme teknikk på et annet område. Han anvendte dermed nærmeste nabo-klassifisering, som i dag ligger til grunn for søketjenester, anbefalingssystemer, navigasjon, forskjellige former for maskinlæring, mm. 

De små henger her sammen med de store ...