Tentamensövervakning på nätet skapar oro

"Study" (CC BY-NC-SA 2.0) by snail's trail

Det finns många varianter på hemtentamen men ett stort problem är hur man kan övervaka studenterna och förebygga eventuell fusk. Det finns flera företag som erbjuder fjärrövervakning av hemtentamen, på engelska remote proctoring, som går ut på att studenten övervakas via webbkamera och mikrofon av en person hos företaget. Studenten installerar företagets program som låser datorn och som övervakar tangentbordstryckningar och registrerar avvikande beteendemönster. Allt som studenter gör, både fysiskt och digitalt, spelas in.

En artikel i den australiensiska tidningen Sydney Morning Herald, 'You’re being watched and recorded, every breath': Students unsettled by exam software, beskriver studenternas känslor inför sådana tentamenstillfällen där de får visa sitt sovrum för en främmande människa och där allt spelas in under skrivningen. Många påverkas negativt av övervakningen och har svårt att prestera. Enligt en student:

It’s not fun, knowing you’re being watched and recorded, every breath and movement. It’s even more invasive than a normal exam. Someone is staring at just you, but you have no idea who it is.

Artikeln beskriver erferenheter med systemet ProctorU men det finns flera program på marknaden. Dessa system används redan av hundratals universitet och verkar fungera bra men i Australien i alla fall har det blivit en del protester.

Konflikt mellan resultatkrav och regelverk i skolan

Skolor förväntas leverera bra resultat i form av godkända elever men samtidigt kan det uppstå en konfliktsituation mellan att få så många godkända elever som möjligt och att följa regelverket. En artikel i Skolvärlden, Fuskforskaren: ”Vi måste våga prata om det”, intervjuar Lars Fonseca, forskare vid Linnéuniversitetet, om sin forskning kring fusk med betyg i skolan och han beskriver situationen så här:

- Möter man då förväntan att du ska leverera goda resultat så möter man samtidigt förväntningarna att du ska följa ett regelverk till punkt och pricka. De här två förväntningarna krockar tyvärr. Lärare och elever säger de att det är helt omöjligt att leverera de förväntade resultaten om man samtidigt ska följa regelverket.

När varje godkända elev ger avkastning till skolan så finns det alltid risken att man bedömer lite för snällt eller hjälpa så många som möjligt att klara sina prov.

- Elevbetyg på godkända nivåer är hårdvaluta på en starkt ekonomiserad utbildningsmarknad. Underkända gymnasiebetyg försvårar ungdomars inträde på arbetsmarknaden, lärarens position i lönetilldelningar och skolans attraktionskraft på en konkurrensutsatt skolmarknad.

En skola som har för många underkända elever bedöms som dålig och ineffektiv och så länge vi har ett sådant system så finns det risk att man gör vad man kan för att leverera rätt resultat, även om man inte alltid följer regelverket. Många känner att de kanske gör fel men ingen vet var gränserna går. Lars kallar detta för elefanten i rummet och menar att problemet måste diskuteras i alla skolor. Men han ser inga enkla lösningar så länge skolsystemet ser ut som den gör.

- Att prata om det är kanske det enda sättet att komma ifrån detta. På det strukturella hållet så skulle det vara att minska incitamenten, det vill säga ta bort den här möjligheten för skolor att konkurrera med höga betyg. Men hur det skulle gå till har jag inte en susning om. Jag tror att skolsystemet är så pass ekonomiserat att den som ifrågasätter det kommer att framställas som någon med en märklig åsikt.

Läs Lars Fonsecas doktorsavhandling, Det godkända fusket: Normförhandlingar i gymnasieskolans bedömningspraktiker (Linnéuniversitetet 2014).

Här berättar Lars mer om artikeln och sin forskning (cirka 2 minuter).

Ny app testar läkarstudenter

"apps" (CC BY 2.0) by Sean MacEntee

QuizMed, ett app-baserat frågesportspel liknande Quizkampen, kommer att bli ett nytt, men frivilligt, inslag i läkarutbildningen vid Uppsala universitet. Tanken är att stimulera inlärning av den stora mängd faktakunskaper som en läkare behöver ha med sig ut i yrket.

– Vi vill erbjuda studenterna ett roligt och engagerande sätt att lära in och fördjupa kunskapen om centrala begrepp inom medicinen, säger initiativtagaren Ulf Eriksson, professor och lärare inom läkarutbildningen.

Han provar gärna nya grepp i undervisningen, och de senaste årens utveckling av mobilappar väckte idén att utveckla ett smart och tävlingsinriktat app-baserat frågesportspel. Och Programkommittén för läkarutbildningen ställde sig positiv. De kontaktade FEO Media, företaget bakom det populära spelet Quizkampen, och där tände man genast på idén. Utvecklingen startade och till hösten släpps en första betaversion.

– Vi lärare har gjort flera hundra bra frågor och svar inom våra expertområden, dessutom har våra studenter på termin åtta bidragit. Till skillnad från Quizkampen har QuizMed även kommentarmöjlighet och extra tilläggsinformation som fördjupar svaren, säger Ulf Eriksson.

Frågorna är indelade i olika ämnen och har olika svårighetsgrad. Ämnena följer innehållet i läkarutbildningen, t ex anatomi, medicin, psykiatri, cellbiologi, mikrobiologi. En kategori kallas ”allt”. Man kan tävla med andra och avancera i svårighetsgrad, studenterna får tillgång till högre nivåer ju fler terminer de läst. 50 procent av frågorna kommer att vara ”allmänintressanta”, 40 procent specifika och de sista 10 procenten svåra.

Källa: Pressmeddelande från Uppsala universitet via myNewsdesk.

Numbas - skapa egna matteprov

Numbas är ett nätbaserat verktyg där du kan skapa egna tester inom främst matematik. Du väljer mellan flera frågetyper och kan enkelt bädda in filmer, animeringar, ljud och bilder. Du kan också lägga in automatisk återkoppling och låta studenten se svaren efteråt. Numbas kan enkelt integreras i lärplattformar som Moodle och Blackboard. Du kan välja att dela dina tester med andra användare och det finns ett stort frågebatteri som du redan nu kan använda med dina studenter.

Numbas har utvecklats av engelska Newcastle University. Titta på denna introduktionsfilm för att se de grundläggande funktionerna.

Numbas website homepage demo from Newcastle University Maths on Vimeo.

President Obama - lärande handlar om mycket mer än kryssrutor

President Barack Obama ser allvarligt på de negativa effekterna som standardiserade tester har inom amerikansk utbildning och föreslår nya initiativ för att skapa ett system som främjar lärande och undervisning. I ett tal som sprids nu via sociala medier kritiserar han ett system som betonar testning hellre än lärande. Han vill se färre tester och de som finns kvar ska uppfylla följande krav:

• De tester som finns ska verkligen ge något för eleven.
• Tester ska främja lärande.
• Tester ska ge oss insikter i elevernas lärande för att kunna hjälpa dem vidare.   

- Learning is about so much more than just filling in the right bubble. So we’re going to work with states, school districts, teachers, and parents to make sure that we’re not obsessing about testing, that the principles I just outlined are reflected in classrooms throughout the country—to make sure that our kids are enjoying learning, that our teachers are able to operate with creativity, to make sure we are preparing our kids for a lifetime of success.

Läs mer i en artikel i USA Today, Obama plan limits standardized testing to no more than 2% of class time.

Ny avhandling om konsten att ge bra återkoppling

Alva Appelgren (foto: Jan Hanika, med tillstånd)

Konkret återkoppling kopplad till prestation går hem mycket bättre än allmänt beröm enligt en ny avhandling av Alva Appelgren, Karolinska Institutet, Error, praise, action and trait: effects of feedback on cognitive performance and motivation. Alva har studerat hur olika sorters återkoppling påverkar elevers motivation.

- Vi gjorde studierna både i laboratoriemiljö samt på plats i skolan med elever i mellanstadiet. Syftet var att ta reda på vad det är som motiverar elever och vilken typ av feedback som ger bäst resultat.
Eleverna fick olika sorters återkoppling på sina svar i nätbaserade tester. Bland annat verkade diverse ljudeffekter för rätt eller fel svar bara irritera eleverna. dessutom blev eleverna mer stressade av att höra allmänt beröm som "vad duktig du är" eller "du är smart". Andra faktorer som påverkade var om eleverna hade inställningen att intelligens är medfödd och inte går att påverka eller de elever som trodde att man alltid kan lära sig nytt.

– De här resultaten är viktiga för de som skapar digitala verktyg som använder feedback. De är även relevanta för lärare och föräldrar som ger daglig feedback, för att de ska veta vilken typ av beröm som bäst ökar prestation och motivation.

Källa: Pressmeddelande, Karolinska Institutet, Ny avhandling kan hjälpa lärare ge rätt feedback.

MOOCs - enkla tester leder till fusk

  by madamepsychosis

En del MOOC-deltagare registrerar sig flera gånger med olika identiteter för att kunna fuska med tester enligt en ny studie från Harvard University och MIT (se artikel i Inside Higher Ed, Multiple Personalities, Disorder). Studien analyserade data från 115 kurser och upptäckte att en del deltagare hade skapat två eller flera konton med olika namn för att kunna svara på en test först med ett konto, titta på svaren och sedan fylla in de rätta svaren med sitt riktiga konto.

Denna metod används av endast cirka en procent av alla deltagare så man kan inte påstå att det handlar om ett stort problem men kanske den viktigaste slutsatsen är att enkla tester leder till fusk. I artikeln står det att man bör inte låta deltagarna se svaren direkt, endast efter deadline. Det handlar också om att skapa andra säkrare testmetoder som ett stort frågebatteri som slumpas fram för varje deltagare eller att skapa tester där det inte går att fuska sig fram till svaren.

Vanliga misstag med flervalsfrågor

  by albertogp123 on Flickr 

Flervalstester används väldigt ofta idag som en funktion i en lärplattform eller som mobilapp. Att skapa meningsfulla tester är en konst och det är viktigt att testet leder till lärande och insikter hellre än bara testa faktakunskaper. Det är lätt att skapa frågor som inte ger mervärde och det är temat för en artikel av Donald Clark, Top 10 stupid mistakes in design of Multiple Choice questions. Han listar tio vanliga fel och föreslår bättre lösningar. Frågor ska leda till lärande och det är viktigt att alla svar ger feedback som hjälper studenten att tänka om. Enligt Clark ska en bra fråga:

• tvinga dig att tänka
• ge konstruktiv återkoppling
• skapa ett samtal
• vara positiv

Alla svar ska vara trovärdiga, allt för ofta finns det ett eller två svar som är helt omöjliga och detta betyder att studenten enkelt kan gissa det rätta svaret. När du har skapat en ny test är det viktigt att låta någon testköra den. Be testpiloten tänka högt under processen så att du kan höra reaktionerna. Så kan du upptäcka ologiska och förvirrande element i dina frågor. 

- Questions encourage, not just the acquisition of learning but also critical thinking. Questions stimulate curiosity. Questions can intrigue and pull the learner towards exploring a subject in more detail. Good questions can be learning experiences in themselves not just test items. They can be used to stimulate thought but also, through good feedback, explain to the learner why they have a misconception, even act as a way of getting a point across. Questions drive learners forward. 

Projekt om digital tentamen

  by Leif (Bryne)

Många svenska lärosäten undersöker möjligheterna med digital tentamen och nu har flera lärosäten (Högskolan i Gävle, Umeå universitet, Karlstads universitet m fl) tillsammans med SUNET startat ett projekt för att undersöka vilka tekniska krav som behövs och samla in och sprida erfarenheter (Projekt Digital Tentamen). Målet med projektet är att skapa en grund för tekniska lösningar som kan användas av lärosäten som skall införa digital tentamen.

Förväntat resultat:

• Inventering och erfarenhetsspridning av tekniska och administrativa lösningar
• Beskrivning av integrationer, tekniska krav och erfarenheter från lärosäten i Sverige/Norden.
• Underlag för kravspecifikation med fokus på tekniska krav för produkter och tekniska lösningsförslag.
• Erfarenhetsspridning i form av webinar och redovisning i slutrapport med rekommendationer.

Under våren kommer projektet att arrangera två webinars, 26 mars, 14.00 (erfarenheter från Stockholms universitet och KTH) och 16 april, 14.00 (erfarenheter från Lunds universitet och Uppsala universitet). Bägge sändningar sker i Adobe Connect, http://connect.sunet.se/tentamen.

Ladda ner projektplanen som pdf-fil.

Tentor via nätet

 by mcwetboy

Ett omdiskuterat område inom distansutbildning är hur man arrangerar tentamenstillfällen. Om det finns flera studenter på samma ort kan de vända sig till kommunens lärcentrum eller bibliotek men är det bara en student kan det bli för dyrt att ordna en tentamensvakt. Norska Högskolan i Narvik testar nu en intressant lösning som kan betyda säkra tentamensmöjligheter för alla distansstudenter, enligt en artikel från Its learning, Tentor via nätet sparar tid och pengar.

Högskolan lägger ut sina tentor i lärplattformen Its learning och genom en koppling till e-mötestjänsten Adobe Connect kan en tentamensvakt bevaka studenten på distans. Studenten delar sin skärm via Adobe Connect och slår på webbkameran och därmed kan vakten identifiera studenten och ser allt studenten skriver i sin dator. Enligt Arild Steen, högskolelektor i datavetenskap på Högskolan i Narvik:

- Vi håller på och experimenterar med det här och resultaten verkar bra. Vi skickade ut frågeformulär till studenterna efter tentorna. De uppgav att de är nöjda med tentamensmetoden eftersom de sparar tid och pengar. De behöver inte längre resa långa sträckor för att skriva tentamen. Det är också lättare administrativt sett. Ur ett större perspektiv ger den här metoden även en konkurrensfördel eftersom den gör våra distansutbildningar mer attraktiva.

Artikeln beskriver hur högskolan utvecklar lärarnas användning av lärplattformen och andra intressanta tillämpningar.

Läs artikeln Tentor via nätet sparar tid och pengar. 

Varför skola?

Om skolans uppgift är att hjälpa eleverna att bli kreativa, innovativa medborgare med kritiskt tänkande och nyfikenhet så har den misslyckats totalt. Vårt utbildningssystem belönar den som passar in i systemet och tar död på kreativiteten menar Seth Godin i ett inspirerande tal, Stop Stealing Dreams: Seth Godin at TEDxYouth@BFS. Han tar fram en rad förslag till hur vi kan göra skolan (och högre utbildning) mer meningsfull och individbaserad.

Bland annat menar han att skolan fokuserar på ensamarbete där studenten arbetar isolerat medan i arbetslivet är det samarbete och gruppdynamik som krävs. Vi ska bedöma praktik och erfarenhet i stället för resultat i enkla minnestester. Utbildning idag handlar om livslångt lärande och studenter måste lära sig att lära sig.

Här finns det flera bra citat men ett måste jag lyfta fram:
- If it's work, we try to figure out how to do less. If it's art we try to do more and more.

Nationella prov inte objektiva enligt ny forskning

  by  zeligfilm 

Precis när vi inför flera nationella prov i skolsystemet kommer ny forskning från Danmark som menar att sådana tester är inte så objektiva som många tror. Enligt en artikel i Videnskab.dk, De nationale test er ikke objektive, är det omöjligt att jämföra skolornas effektivitet bara utifrån sådana resultat eftersom testerna tas i olika miljöer under väldigt olika förhållanden.

Kristine Kousholt forskar i detta ämne vid Institut for Uddannelse og Pædagogik, Aarhus Universitet. Hon menar att det är farligt att bedöma skolors och elevers prestationer genom nationella prov:

- Man skal ikke tolke testresultatet som ’sandheden om eleven’. Det er lærerne i klasserne meget opmærksomme på. De er fuldt ud bevidste om, at eleverne er mange-facetterede. Men jo længere man kommer væk fra den konkrete praksis på skolerne, jo større risiko er der for, at testresultaterne bliver betragtet som objektiv viden – hvad de ikke er.

Nationella prov har en del viktiga begränsningar enligt Kousholt:

• Man testar oftast endast elevernas förmåga att lära sig faktakunskaper
• Elever påverkas av omständigheter kring provet: stämning i gruppen, miljön, tidspress, fokus på att vara klar först osv.
• Många elever presterar bäst när de samarbetar, andrar trivs med tidspress.
• Lärarens inställning till testning påverkar eleverna

PeerWise - skapa egna tester

Att kunna ställa bra frågor om ett ämne kräver kunskap och insikt. Oftast är det bara läraren som skapar testfrågor som studenterna ska svara på men studenterna kan lära sig väldigt mycket genom att testa varandra och lära sig hur man ställer bra frågor. Det är teorin bakom en gratis, enkel webbtjänst PeerWise som har utvecklats vid University of Auckland på Nya Zeeland.

Man skapar ett konto för skolan/högskolan och sedan börjar man bygga upp en bank med tester som skapas av både lärare och studenter. Frågor kan delas mellan klasser, kan vidareutvecklas och läraren kan följa utvecklingen och se hur studenterna arbetar med sina egna tester. varje fråga kan leda till diskussioner mellan studenter och med läraren. Tjänsten används redan av en lång rad universitet och skolor i världen (även en del svenska).

Testa själv!