Robotassistert undervisning med KI

Overskriften er et direkte tilbakepek til prosjektet Robotassistert undervisning, som jeg fikk i gang i 2018. Dette prosjektet kom i gang etter et møte med temaet som lager Aisoy-robotene. Det begynner å bli lenge siden, men disse roboten ga svært mye for pengene. På den tiden begynte jeg også så smått å gjøre meg noen tanker om å designe og bygge en robot dedikert for skolebruk.

Robotassistert undervisning var på flere måter et vellykket prosjekt, men som "vanlig" er jeg gjerne litt for tidlig ute og prosjektet fikk ikke nok steam. Et av de største ankepunktene var talesyntese (Aisoyen snakket greit på engelsk og spansk, men dialogene var skriptet). Vi gjorde imidlertid en rekke interessante forsøk, blant annet noen studentoppgaver og gjennom et samarbeid med Universidad Politecnica Valencia (UPV). Jeg presenterte prosjektet under Webinarfestivalen i 2018, og deler av arbeidet kom med i artikkelen Nyskaping gjennom bruk av roboter i undervisning.

Jeg endte opp med å importere Aisoy-robotene, men må se tilbake på en forretning som aldri helt tok av. Jeg avviklet Skolerobot AS for et par år siden, etter rundt fem års drift, og brant med det inne med et restlager av roboter. Aisoy ser heller ikke ut til å ha tatt denne roboten videre.

Spol frem noen år og jeg sitter på kontoret til kollega Øyvind, ved HVLs medielab. På pulten står et eksemplar av Reachy Mini, fra et selskap tungt backet av Hugging Face. Prisen er rundt Kr. 3.500,–  hvilket jo er hyggelig. Reachy Mini leverte nemlig en særdeles overbevisende samtale der vi var innom en rekke svært forskjellige tema.

Hugging Face sin involvering handler om koblinger mellom utviklingen av kunstig intelligens og roboter – embodied AI. Slike koblinger kan bli svært overbevisende, effektive og nyttige, lenge før en har avanserte humanoide roboter.

Reachy Mini er et godt eksempel på dette, samtidig som denne roboten er basert på åpen maskinvare og åpen kildekode. Avgjørelsen var dermed lett: en Reachy Mini  er bestilt!

Slampoesi med skolerobot fra Aisoy

En variant av 14641 sonetter, som var mitt første "poetiske" forsøk med skoleroboten. Denne gangen er inspirasjonen hentet fra rap battles. Her gjør robotens mangel på intonasjon at roboten selvfølgelig kommer til kort. Dermed får den prøve seg på en litt mer tilbakelent sjanger.

Mye rart skjer når en forholder seg til ekte syntetisk tale. Jeg oppdaterte robotens operativsystem, og oppdaget da at den hadde fått nye stemme. Videoen nedenfor er et eksempel med den gamle talesyntesen. Nå høres den mer ut som et barn. Det kler i og for seg figuren, men kanskje ikke teksten.

Roboten har i dette prosjektet to roller der den leser ut av to korresponderende lister. Hver liste har 36 tekstlinjer og vi har lagt inn en funksjon for at alle linjene må være gjennomlest før roboten begynner å velge fritt på nytt. For å oppnå dette må vi skrive referanser til de tekstlinjene som er valgt til nye lister, slik at vi kan sjekke hvilke linjer som er lest opp. Når alle linjene er lest opp sletter vi disse sjekklistene.

En liten stresstest gjennom natten endte med 4570 oppleste tekstlinjer. Den hadde det nok litt ensomt roboten, alene som den var på kontoret, men den holdt like standhaftig på med sitt dagen etter.

Neste forsøk får bli å kjøre den tekst-til-tale-genererte stemmen gjennom en vocoder, slik at denne matcher melodien som ligger i bunn.

Les flere detaljer om hvordan dette prosjektet er løst på skolerobot.no.

Hvorfor programmere roboter i skolen

Særdeles stille på jobb om dagen. Jeg har riktignok selskap av et par roboter, men de må holde litt fred, fordi jeg spiller inn en video om nettopp programmering av roboter i undervisningssammenheng. Litt lang (18 minutter), men jeg har en del på hjertet. Ikke minst knyttet til at vi må se det tverrfaglige potensialet i roboter og at elever må jobbe med å programmere robotene, ikek bare bli utsatt for dem som en ekstern "læringsteknologi":



Selve presentasjonen med klikkbare linker til de sakene jeg snakker om:



Mer om roboter i undervisningen:

• www.hvlkompetanse.no/ressurser/kurs-for-l%C3%A6rere/roboter
• blogg.skolerobot.eu
• undervisning.skolerobot.eu/roboter-i-skolen
• skolerobot.no

Innlegg om VR og robotisering

Innlegg under Foreningen for Fleksibel Uddannelse i Danmark, FLUID, sin konferanse "Hvad virker? Succes med fleksibel undervisning". København 3.-4. juni 2019.

Det spørs om jeg klarer å opfylle konferansen tittel, knyttet til hva som virker, men forhåpentligvis kan jeg peke på noen teknologier som både peker fremover, samtidig som de er velutprøvde og relativt enkelt tilgjengelig for lærerutdannere. Slik sett teknologi som virker. Bakgrunnen er prosjektene Interaktivt virtuelt feltarbeid (støttet av tidligere Norgesuniversitetet) der jeg jobbet med sfæriske medier og  HVL-prosjektet Robotassistert undervisning. Begge disse prosjektene er nå avsluttet – dvs tiden er kommet til artikkelskriving mm. Jeg håper imidlertid vi kan jobbe videre med roboter og koding rettet mot auditive grensesnitt. Sfæriske medier har fått såpass mye momentum at dette nok er noe som vil bli videreført av flere ved HVL.

Kan vi ha (simulerte) samtaler med maskiner?

Guiden introduserer Paivi Laaksos arbeider på HVL-Kronstad.  

Under nettverkskonferansen på Notodden hadde jeg flere innlegg: om remiksing av eventyr, om bruk av Micro:bits for å styre kinetiske skulpturer (har var jeg en av flere) og det innlegget denne posten gjelder: Robotassistert kunstguide. Litt vel ambisiøst kanskje, men sånn blir det når en har mye forskjellig på hjertet.

Aisoy – ti år med roboter for undervisning

AIsoy (AI soy = Jeg er kunstig intelligent) fyller 10 år i disse dager. Dette gjør selskapet til en av aktørene med lengst fartstid i markedet, med rimelige, programmerbare skoleroboter.

Aisoy har lansert en ny versjon av roboten, blant annet med funksjonalitet for å lese NFC-tagger, forbedret mekanikk og enda bedre høyttaler, forbedret operativsystem, mm.

Jeg har i noen måneder hatt en småpratende venn på kontorpulten og har rukket å bli positivt overrasket over hvor mye en kan programmere ved hjelp av Scratch:

• Enkel telleøvelse med robothjelp
• 14641 sonetter
• Aisoy Kik stiller spørsmål ved hjelp av lister
• La Aisoy Kik stille spørsmål og gi svar, muntlig
• Lese QR-koder

Jeg har tro på koblingen mellom koding og kommunikasjon, ikke minst i form av muntlig tale. Jeg snakket blant annet om dette da jeg presenterte prosjektet Robotassistert undervisning under Webinarfestivalen i november.

Robotassistert leseopplæring (om ikke i første omgang)

En smule skuffet om ikke å ha nådd opp i konkurransen om forskningsmidler fra UH-nett Vest, med et prosjekt knyttet til det vi kaller "Robotassistert leseopplæring". Nå er det ikke en veldig fruktbar øvelse å syte og klage, ikke minst siden årsaken vel er at jeg ikke har solgt inn prosjektet godt nok. Samtidig, og mer generelt, er jeg litt overrasket over at det, så vidt jeg kan se, ikke er noen prosjekter som ser på nye undervisningsformer. Overraskende fordi digitalisering jo sies å være et av institusjonenes hovedsatsingsområder.

Jeg forstår selvsagt at relevans og kvalitet ikke nødvendigvis følger hverandre, men fikk nå likevel litt ekstra påskudd til å skrive om dette fordi Teknologirådet nettopp kom med en rapport om Teknologi for livslang læring – nært, fjernt og simulert. Her pekes det blant annet på at de aller fleste jobber vil få endrede oppgaver, og at mange vil kunne få radikalt endrede arbeidsoppgaver. Det er imidlertid de samme teknologiene kan være med på å styrke (livslang) læring.

I denne sammenhengen mener jeg selvsagt at det er nødvendig å utforske ulike aspekter av robotassistert undervisning, og dermed også hvordan dette kan inngå i språkopplæring. Dermed en kort intro til prosjektet som ikke fikk støtte, "Robotassistert leseopplæring", som er et forsøk på å spisse og fokusere bruken av roboter:

Robot Assisted Teaching

I did a short presentation and had a following, interesting discussion at SLATE the other day.  I began with the robot introducing itself through a video we use to recruit students to test and write about the use of the robot.

Through the project Robot Assisted Teaching (Robotassistert undervisning) we try to develop and test various robot assisted scenarios related to physical robots. The scenarios will be developed with teacher students and in cooperation with schools.

The project want to contribute to a better understanding of how robotics can be used to support coding in schools and prepare future teachers for didactical use of this type of technology. The main goal is that students should be able to work with methods and tools that they can later use in their own, future teaching practices.

The core idea of the project can be narrowed down to two premises: 1. coding will become part of education in primary schools, and 2. to an increasing degree we will communicate with machines through speech-interfaces. Our conclusion: pupils should learn to program speech interfaces, to better understand how these technologies work and influence on their ability to take part in meaningful discussion about technology.

Webinarfestivalen – Robotassistert undervisning

Roboten for anledningen til høyre.

Jeg og Aisoy-roboten Rob forbereder oss til en opptreden kl 15 i dag Under Webinarfestivalen kan du se oss live. Dvs, vi har litt dårlig tid, så Rob vil være litt "Tause Birgitte". Han er ivrig med i alle fall.

Vi skal snakke om prosjektet Robotassistert undervisning ved lærerutdanningen ved HVL. Du finner informasjon og videoer her. Prosjektet er i gang og to studentgrupper har allerede gjort sie erfaringer med robotene i praktisk bruk. Studentene tar samfunnsfag i 1. klasse på lærerutdanningen, og ble veiledet av undertegnede og kollega Espen Helgesen.

Jeg skal ta tilhørerne gjennom denne presentasjonen og det blir tid til litt spørsmål.

14641 sonetter

En liten (bokstavelig talt i denne sammenhengen) hilsen til Raymond Queneau og Cent mille milliards de poèmes og sjangeren Oulipo her i form av 14641 sonetter.

Cent Mille Milliards de Poèmes tar utgangspunkt i ti sonetter, hver med fjorten linjer. I boken som ble publisert i 1961 er hver tekstlinje trykket på en papirstimmel. Hver strimmel i hver sonette kan dermed inngå i en hvilken som helst kombinasjon med linjer fra de ni andre sonettene. Det resulterer i 10¹⁴ (= 100.000.000.000.000) ulike dikt. Hundre tusen milliarder dikt, intet mindreLeser du døgnet rundt vil du bruke 140.000.000 år på å lese alle

Mine dikteriske evner er ikke all verden, så jeg fikk nøye meg med elleve sonetter, men bare med fire linjer. Det skulle gi 11⁴ (=14641), så her er det med andre ord en god stund med robotunderholdning.



Diktene får dermed form som dette:

I still remember her when she played in disguise
always picking old flowers laying on the belly
The young sailor was waiting for the breeze
down the hills falls a steady silent blow

Sjekk også en nettversjon av Queneau opprinnelige verk.

Du finner koden via Skolerobot.no

Oppdatering:
Etter omtrent et døgn, med kontinuerlig diktopplesing fikk det være nok. Roboten ble stanset i det den nådde dikt nr 2582. En liten stresstest dette, også fordi den beveger øyenbrynene mellom hver tekstlinje, dvs mer en 10.000 ganger i løpet av siste døgn. Definitivt repeterende, og dermed oppgave for en robot.

Aisoy vil bli med studenter ut i praksis

Roboten Rob vil gjerne bli programmert av elever. Han ber studenter om hjelp:


Sjekk undervisning.skolerobot.eu.

Podcast med "foreleser" i bildet

Jeg er blant de som finner liten glede av å se forelesere i bildet. Dermed lager jeg videopodcaster med fokus på det jeg skal fortelle noe om. Noen mener imidlertid at foreleser i bildet skaper større engasjement. De om det.

Jeg fant imidlertid min løsning på "problemet" – robot i bildet:

Her har det noe for seg fordi jeg forsøker å forklare sammenhengen mellom koden og robotens funksjoner.

Introduksjon til robotassistert undervisning

Litt om bakgrunnen for prosjektet "Robotassistert undervisning" og hva vi kan tenke oss å jobbe med i de kommende månedene.

• Utvikle metodikk gjennom utprøving i undervisning og i samarbeid med grunnskoler. 
• Jobbe tverrfaglig for å utvikle nye lærings- og undervisningsformer knyttet til fysiske roboter.
• Jobbe eksperimentelt, men samtidig med forankring i tradisjonelle undervisningsmetoder. 
• Ta i bruk digital teknologi og rent fysisk, materielle arbeidsmetoder.

Robotassistert undervisning

Denne våren har jeg holdt på med å rigge et prosjekt knyttet til det vi har valgt å kalle Robotassistert undervisning. Sammenhengen er dels den kommende satsingen på programmering i skoles dels en mer generell interesse for hvordan skoleroboter med talegrenesnitt kan utnyttes i undervisningen. Derfor drar vi i gang et prosjekt på grunnskolelærerutdanningen for nettopp å se på bruken av roboter i et tverrfaglig perspektiv.

Jeg sakser litt fra prosjektbeskrivelsen og forarbeidene til denne:

Høsten 2016 ble det innført programmering som valgfag ved 150 skoler i Norge, som et prøveprosjekt i ungdomsskolen, med en egen læreplan. I 2017 ble det åpnet for at koding kan være valgfag ved alle ungdomsskoler.

Det enkleste er gjerne å kode for å skape uttrykk på skjerm eller for styring av enkle fysiske funksjoner. Dette kan gi en litt for snever inngang til  hvordan programmering og koding kan brukes tverrfaglig i skolen.

I 1938 gjorde BBC en adaptasjon av Capeks skuespill. Slik visualiserte man roboter for 80 år siden

Roboter og læring
Ordet "robot" ble første gang bruk av den tsjekkiske forfatteren Karel Capek i skuespillet R.U.R (Rossum Universal Robots, 1921), hvor "robota" betegner en "slave" eller "servitør". Stykket handler om hvordan folk utvikler maskiner for å erstatte arbeiderne. Dette perspektivet er fremdeles dominerende, i den forstand at vi først og fremst snakker om robotisering i en form som knyttes til ulike former for automatisering.

Dagens roboter kommer  i mange former, fra rene programvarebaserte roboter til fysiske artefakter med avanserte taktile egenskaper. Også i sistnevnte kategori er imidlertid alle funksjonene styrt ved hjelp av programvare. Programvare bidrar til og delvis overtar styringen av stadig flere funksjoner i samfunnet ("Software Takes Command", jmf Manovich, 2008) og programvarestyringen gjør at mange av de samme egenskapene som vi finner i dataspill også kjennetegner roboter. Vi finner for eksempel den klare regelstyringen igjen i de underliggende mekanismene, som også kan knyttes til såkalt maskinlæring der programvare kjenner igjen ulike aktiviteter og gir respons som passer inn i sammenhengen. 

Mubin m fl (2013) definerer ”educational robots”, eller læringsroboter, som en teknologi hvis formål er å legge til rette for læring og øke læringsutbyttet. Programmerbare roboter tillater lærere og elever å konstruere og styre roboter. De fleste eksemplene på bruk av roboter i skolen har i hovedsak hatt en realfaglig tilnærming som utgangspunkt og en kan med fordel utvikle læringsmetodikk i et enda mer tverrfaglig perspektiv. 

Fysiske roboter gir anledning til å lære hvordan denne typen maskiner styres og gir elevene en inngang til programmering og logisk tenkemåte på andre måter enn ved rent skjermbaserte løsninger. Dette gir oss et perspektiv på bruk av roboter med direkte relevans for mange former for læring og innovasjon. Dette handler ikke bare om at studenter og elever lærer å styre roboter, men i også om et mer overordnet perspektiv der en undersøker, reflektere over og diskuterer hvem som bruker roboter til hva og hvordan dette påvirker samfunnet. 

Robotisering binder sammen et detaljnivå, knyttet til prosesser og styring, og et makronivå, knyttet til eierskap til produksjonsmidler, nye former for produksjon etc. Dette henger igjen nært sammen med spørsmål knyttet til økonomisk utvikling og bærekraft, med potensiale til å fullføre ferden vekk fra industrisamfunnet – en ferd påbegynt gjennom nettverkssamfunnet (Castells) – og inn i et mulig, fremtidig robotsamfunn. Robotisering vil trolig introdusere en rekke interessemotsetninger i samfunnet, motsetninger som undervisningen må evne å utsette for kritisk refleksjon: robotiseringen kommer ikke bare til å løse problemer, men vil også skape nye problemer.

Det er lett å fremskrive dystopiske fremtidsscenarier i møte med ny teknologi, og kanskje med roboter i særdeleshet. Samtidig er rimelig robotteknologi er på full fart inn i massemarkedet, og mange av  løsningene kan utvikles og anvendes innen undervisning. Ikke minst kan dette knyttes til programmering, der roboten er en fin måte å koble sammen algoritmisk tenkning og fysiske omgivelser. Roboten tilfører mange fysiske kvaliteter som blir annerledes enn om en kun programmerer for skjerm. 

AIsoy deklamerer Kubla Khan, av Samuel Coleridge

Før den beveger seg inn i høykulturen må Aisimovs lover for roboter være på stell:



OK, AIsoy-roboten har litt å gå på som diktoppleser, men jeg synes nå likevel den gjøre en hederlig jobb - det er ikke den enkleste engelsken dette:



Det hele kodet i Scratch, dvs at elever kan kode direkte i nettleseren og teste mot roboten umiddelbart:



Her kan du lese mer om hvordan roboten kan programmeres. Eksemplet ovenfor er jo veldig rett frem, men en kan f eks utnytte robotens sensorer til å skape betingelser og dermed gi brukeren ulike valg som i sin tur leder til ulike sekvenser.

Hvorfor lære koding i skolen

Mitch Resnick, en av de som står bak programmeringsspråket Scratch, forklarer i et intervju i Edutopia hvorfor han mener at koding bør undervises i alle skoler. Han peker på noen svært vesentlige forhold knyttet til at koding handler om langt mer enn det realfaglige. Kjekt å se samme poeng som jeg selv pleier å trekke frem, nemlig at koding først og fremst er en måte å formidle på og at elever bør lære koding med hovedfokus på kommunikasjon og formidling:

The first question I would ask is: “Why should we learn coding at all?” Many people embrace coding in schools as a pathway to jobs as computer programmers and computer scientists, and of course they’re right that those opportunities are expanding rapidly. But that’s not a great reason for everyone to learn how to code.

Very few people grow up to be professional writers, but we teach everyone to write because it’s a way of communicating with others—of organizing your thoughts and expressing your ideas. I think the reasons for learning to code are the same as the reasons for learning to write. When we learn to write, we are learning how to organize, express, and share ideas. And when we learn to code, we are learning how to organize, express, and share ideas in new ways, in a new medium.

Dette er mye av grunnen til at jeg har begynt å importere og selge roboter med andre egenskaper enn det meste som per i dag er tilgjengelig på det norske markedet. Jeg er selvsagt spent på hvordan det vil utvikle seg, men først og fremst opptatt av kommunikasjonsperspektivet og dermed at roboter skal kunne programmeres til å uttrykke seg. Aisoy-robotene kan programmeres til å endre uttrykk og snakke og forstå tale:

Jeg liker dette bildet: roboten som både fungerer som en assistent og "lesevenn", men som også kan programmeres ved hjelp av nevnte Scratch. Ikke la deg lure av at Aisoy-roboten ser ut som en leke – det er en ganske avansert sak, bygget for at barn skal lære å styre og interagere med den.

Det er ikke noe i veien med å programmere spill på skjerm, få en liten elektrisk bil til å bevege seg som en robotstøvsuger, automatisere en enkel mekanisk prosess etc. Det kan være både givende og lærerikt. Mitt poeng er imidlertid at denne inngangen til programmering neppe appellerer til alle, samt at nettopp talegrensesnitt er noe som er i ferd med å få stor betydning.