Allt svårare att bedöma skriftliga inlämningsuppgifter - ny forskning

"2012-027 Working" (CC BY 2.0) by mrsdkrebs

Det har blivit allt svårare för lärare att bedöma elevernas lärande när de samarbetar digitalt utan lärarens vetskap. Eftersom läraren ser bara resultatet i till exempel en inlämningsuppgift är det svårt att veta vem som ligger bakom det som har skrivits. Dessa osynliga processer undersöks i ny forskning av Charlotta Rönn, Mittuniversitetet, enligt en artikel i Forskning.se, Svårare att bedöma elevers lärande i skolan. Elever hjälper varandra med skolarbetet genom att skriva texter åt varandra och även logga in i varandras konton. 

Vissa elever arbetar i linje med läroplanens intentioner, anstränger sig och tar ansvar för sina studier, medan det för andra elever är helt naturligt att logga in på varandras Google classroom-konton och revidera varandras texter eller skriva originaltexter för varandra. Somliga ber även mer högpresterande kamrater att ta en bild på sina färdiga skriftliga inlämningsuppgifter och skicka så att kamraterna sedan kan formulera om texten ”med egna ord” – utan lärarnas vetskap.

Det blir omöjligt att bedöma elevens lärande när man inte har insyn i processen. Elever med svårigheter får därför ingen hjälp och en del klarar sig med hjälp av sina kamrater utan att ha lärt sig något själv.

Förutom svårigheten för lärarna att rätt bedöma elevernas kunskapsutveckling, riskerar också eleverna att inte få den hjälp och det stöd av lärarna som de behöver individuellt för att utveckla till exempel sin förmåga att skriva. Det står förvisso i läroplanen att eleverna ska lära sig att skriva texter tillsammans med kamrater, men det framgår inte hur lärarna ska bedöma och betygsätta det. Läroplansförfattarna tänkte nog inte att det skulle gå till så som det beskrivs av eleverna i den här klassen.

Skriftliga uppgifter blir allt svårare att bedöma och svaret kan bli att ha kompletterande intervjuer eller gruppdiskussioner. 

Referens
Charlotta Rönn (2022) Pupils’ informal social strategies in a Swedish compulsory school – What pupils do and say, out of sight of the teachers, while managing written individual assignments, Educational Review, DOI: 10.1080/00131911.2022.2054955

Webbinarieserie och rapport om digital bedömning och examination

EADTU (European Association of Distance Teaching Universities) arrangerar en serie webbinarier 14-16 juni om bedömning och examinationsdesign. Du får träffa flera experter med praktisk erfarenhet av digital bedömning och examination från olika synvinklar - pedagogik, säkerhet, etik och teknik. Som underlag till dessa webbinarier finns en ny rapport av en EADTU arbetsgrupp, Designing Online Assessment. Solutions that are Rigorous, Trusted, Flexible and Scalable.

In this Empower webinar week, EADTU will share expertise on designing online assessment. We will focus on the challenges, practices and new developments during the pandemic, examples of research and innovation in online assessment, and the supportive (or non-supportive) national policies and frameworks that define the context of assessment for institutions.

• 14 juni, 14:00 - 15:40. Assessment Design and Assessment Futures.
• 15 juni, 14:00 - 15:40. Trust, Privacy and Ethics.
• 16 juni, 14:00 - 15:40. Operational Processes, Technology and Support.

Bland talarna finns: Klaus-Dieter Rossade, (Open University, UK), Carlton Wood (Open University, UK) George Ubachs (EADTU, Nederländerna), Diogo Casa Nova (Universidade Aberta, Portugal), Henrietta Carbonel (UniDistance Suisse), José Aznarte (UNED), Kirsi Saarinen (TAMK, Finland) och Ekaterina Muravyeva (Open Universiteit, Nederländerna).

Mer information och anmälan.

Kommande webbinarier och workshops

Photo by Compare Fibre on Unsplash

Flera aktörer arrangerar intressanta digitala evenemang under de närmaste veckorna.

24 maj, 09:00-10:30. Workshop: Professionsutbildningar – utmaningar och möjligheter.
Olika yrken men många gemensamma utmaningar, inte minst kring hur man löser praktik och handledning på distans och i blandade lärmiljöer.Hur skapar man en yrkesidentitet på distans? Hur kan dessa professionsutbildningar lära av varandra i stället för att arbeta i stuprör?
Workshop med gruppdiskussioner. Arrangeras av UHR (Universitets- och högskolerådet).

25 maj, 16:00-17:00. How we can and should respond to the educational needs of those who have become refugees? 
The disruptions caused by war, oppressive regimes and environmental degradation are causing unprecedented levels of social dislocation and violence. To all this can now be added the shocking impact of war and invasion in Europe itself. Millions of people have had to flee just to stay alive. Individuals and families alike have been traumatised by this. We would like to explore the impact on educational needs and whether we can fashion interventions that somehow ease the pain while also providing a model of a way forward for those so impacted.
Arrangeras av EDEN (European Distance and E-learning Network).

2 juni, 14:00-15:15.Improving recognition through self-assessment: the “Spotlight on recognition” tool.
One of the key outcomes of the “Spotlight on recognition” project is a self-assessment tool that allows staff working in higher education institutions to evaluate to which extent their institution’s recognition procedures are in line with the Lisbon Recognition Convention and international good practice. The core of the tool is a table of self-assessment questions aligned with practical information on the legal framework governing recognition in Europe, the European Recognition Manual for Higher Education Institutions and other supporting materials. The tool thus aims to enable higher education institutions to respond to the LRC and the expectations for internal quality assurance as laid down in Standard 1.4 of the ESG. This webinar will invite participants to explore the tool, as well as the self-assessment approach at its core, in further detail.
Arrangeras av EUA (European Universities Association).

7 juni, 09:00-10:00. Temacafé: Hybrid i verkligheten – digitalt studiebesök i hybrida lärmiljöer.
Hybridundervisning och hybrida mötesmöjligheter har fått stor efterfrågan i spåren av pandemin men hur är det egentligen att vara digital deltagare i en hybriduppkoppling?
Arrangeras av UHR (Universitets- och högskolerådet)

14 juni, 16:00-17:00. What next for global higher education? 
In late May 2022, governments and universities from around the world will meet in Barcelona for the UNESCO World Higher Education Conference. This event aims to set out the global vision for higher education and higher education policies until 2030. The webinar will look at trends and ambitions for global higher education for the next decade, discussing how institutions and countries can work together for the benefit of a global knowledge community.
Arrangeras av EUA (European Universities Association).

15-17 juni. Konferens NU2022, Att synliggöra lärande. Sveriges största mötesplats för utveckling av högre utbildning. På plats i Stockholm eller digitalt.

20-22 juni. EDEN 2022 Annual Conference, Shaping the digital transformation of the education ecosystem in Europe. Konferensen arrangeras på plats i Tallinn, Estland och digitalt. Anmäl dig via länken.

Temacafé: Plagiering, fusk och hederskodex

"Cheating on exam. A student using phone" (CC BY 2.0) by wuestenigel

Hur kan vi jobba för att minska risken för fusk och plagiering? UHR (Universitets- och högskolerådet) arrangerar ett temacafé, Plagiering, fusk och hederskodex, den 10 maj, 9.00-10.00. Under detta temacafé undersöker vi tillsammans orsaker, möjligheter och lösningar. Caféet inleds med några korta presentationer:

• Handbok i konsten att undvika plagiering
• Disciplinärenden 2021 vid universitet och högskolor
• Hederskodex – gör det någon skillnad? 

Efter introduktionen inbjuds till fördjupande diskussioner i breakout rooms, där du som deltagare har möjlighet att utbyta erfarenheter och bidra till diskussionen. Temacaféet avslutas med en gemensam diskussion och möjlighet att ställa frågor till de medverkande.

Medverkande: Annelie Gunnerstad (Stockholms universitet), Pontus Kyrk (UKÄ) och Maria Lingaas (SLU).  

Moderator: Mikael Andersson, UHR. 

Anmäl dig till temacaféet
Sista anmälningsdag är den 9 maj kl. 12.00.

Europeiska rapporter om utmaningar inom högre utbildning

 

Det europeiska projektet DIGI-HE har publicerat tre rapporter som sammanfattar längre diskussioner inom expertgrupper med representanter från ett flertal universitet, s.k. thematic peer groups. Rapporterna beskriver nuläget inom tre områden (utbildning och bedömning, strategi och organisation, internationella partnerskap) samt utmaningar och möjligheter för europeiska universitet. Projektet är ett samarbete mellan DIGI-HE och EUA (European University Association)

Ett webbinarium 21 april, Embedding DELT (digitally enhanced learning and teaching) into curriculum and assessment, kommer att diskutera en av dessa rapporter i mer detalj.

• Curriculum and assessment
  This report highlights the multiple facets of curriculum and assessment in a digital environment, as well as challenges met by higher education institutions across Europe – such as reaching equity for all students, designing effective institutional strategies to embed DELT into curriculum, supporting teachers in experimenting and innovating with digital teaching, embedding assessment as integral part of curriculum, and developing students’ and teachers’ assessment literacy.
• Strategy and organisational culture.
  The report explains why organisational culture is crucial to successfully implementing educational innovation and identifies various components that need to be included in an institutional strategy. It also suggests selected actions that institutions need to explore as they look to harness the transformative potential of DELT over the short, medium and long term.
• International partnerships
  The report identifies different formats and approaches for digitally enhanced international partnerships, outlines a vision of the future of digitally enhanced internationalisation of higher education, highlights the key challenges that international partnerships face suggests a set of recommendations for universities, national and European institutions and the EdTech industry to overcome those challenges identified.

Nya perspektiv på bedömning och återkoppling

"DSC_0062" (CC BY-NC-SA 2.0) by Vandy CFT

Under pandemin har många lärare tvingats tänka om kring bedömning och återkoppling och flera nya metoder har testats. Utmaningen idag är att bygga vidare på dessa erfarenheter i stället för att återgå bekvämt till traditionella metoder. Denna utmaning sammanfattas i en artikel av Sarah Knight på JISCs blogg, What is the future of assessment and feedback? Hon menar att vi behöver utveckla metoder som fokuserar på inkludering och aktivt lärande; att vi ser bedömning som lärande. 

Assessment and feedback practice has for some time been moving away from a basic assessment of what has been learned towards assessment for learning. The focus is no longer simply on formal qualifications but on creating an active learning experience with authentic assessments that develop students’ personal agency and judgement.

Organisationen JISC föreslår sju principer för pedagogisk utveckling:

• Hjälp studenter förstå sina mål genom att skapa engagemang och dialog kring varje aktivitets krav och kriteria.
• Stöd studenternas lärandeprocess genom att vara tillgänglig, inkluderande och empatisk.
• Främja aktivt lärande genom insikten att engagemang med resurser, lärare och andra studenter ger formativ utveckling.
• Hjälp studenterna blir autonoma genom fokus på reflektion, självskattning, dialog och kamratbedömnning.
• Reglera studenternas arbetsbelastning genom att ha rätt bedömning vid rätt tillfälle.
• Främja ett engagerat lärandegemenskap genom att låta studenter delta i kursutveckling.
• Främja studenternas anställbarhet genom verklighetsnära uppgifter.

JISC har dessutom skapat en guide som utvecklar dessa principer med exempel: Principles of good assessment and feedback.

Nya bedömnings- och examinationsmetoder i fokus efter pandemin

"week 7 assessment and feedback" (CC BY-NC-SA 2.0) by pgcap

Under pandemin har vi fått möjlighet att prova andra bedömnings- och examinationsformer än den traditionella salstentamen. Dessa nya möjligheter diskuteras i en artikel av Debbie McVitty i den brittiska nättidningen om högre utbildning, Wonkhe, Building back learning and teaching means changing assessment. Artikeln menar att vi inte får bara återgå till traditionella former efter pandemin men satsa vidare på nya metoder. Vi måste se över våra kurser och skapa examinationsuppgifter som utvecklar studenternas färdigheter och ger utrymme för olika redovisningsformer (video, audio). Det största problemet är att traditioner som salstentamen har ett stort symboliskt värde och ingår i strukturer och kulturer som inte är enkla att ändra.

But it is also worth it – diversifying assessment in this way can be part of a more inclusive approach to pedagogy, offering a range of avenues for engagement, and creating space for students to show what they know in different ways. Diversity of assessment also offers students more opportunities to practice a wider range of skills, and develop their use of tools and technologies that will be useful to them in their future careers.

Wonkhe och företaget Adobe har tagir fram en rapport, Changing assessment, som sammanfattas av ett bildspel. Studenter behöver en pedagogisk blandning av formativ och summativ bedömning bäde från lärarna men även från varandra (peer assessment). Det är också viktigt att det finns en dialog med studenterna kring bedömning och examination och även kursdesign i stort..

Ett särskilt intressant metod är portfolios, där studenterna samlar uppsatser, projektrapporter, filmer, poddar mm som har ingått i kursarbetet. Enligt Karen Heard-Laureote, head of learning and teaching vid Solent University:

We’re looking at where we can interpret assessment as widely as possible so we can be as agile as possible. I’m very keen on promoting the idea of portfolios – they are very flexible, they contain lots of elements, and there’s potential for choice, for example by using words like “a portfolio may include”. We encourage staff to be less precise in language when writing assessments so they can move every year.

Bedömning för lärande

Photo by Daria Nepriakhina on Unsplash

Under pandemin har vi insett vikten av formativ bedömning och bra regelbunden återkoppling. Bedömning och återkoppling ska främja studenternas lärande och hjälpa dem att bli mer självständiga och reflekterande. En bra guide till hur man skapar en positiv bedömningskultur i dina kurser har sammanställts av Kay Sambell vid skotska Heriot Watt University, Assessment for learning: Designing assessment and feedback processes to inspire learning. 

Bedömningsuppgifter ska vara autentiska, med tydlig relevans för omvärlden och inte bara för att bli godkänd av läraren. Återkopplingen ska ges under processen, både av läraren och andra studenter, och studenter ska uppmuntras att testa olika alternativlösningar utan att riskera lägre betyg. Summativ bedömning ska finnas men inte avgörande för slutbetygen och helst med koppling till kursens helhet. Guiden har dessutom många referenser och länkar till relevant forskning.

The Assessment for Learning approach has significant advantages for both students and staff: students are more likely to engage fully and thoughtfully with assignments if they can see the point of them and if they feel their teachers are using assessed activities to support rather than just judge them. The careful design and embedding of feedback as a process that is threaded throughout a course also usefully places emphasis on the importance of dynamic, dialogic feedback processes rather than simply the transmission of feedback information. This helps to develop trust and confidence.

Webbinarier med fokus på framtiden

Två kommande webbinarier att notera från EDEN och UKÄ .

5 maj (17:00) Changing Assessment due to Covid-19: Experiences and Impact. Nya metoder för bedömning och examination. Arrangeras av EDEN (European Distance and E-learning Network).

This interactive session will explore the change in assessment in higher education due to the pandemic. Dr. Monica Ward will present a case study from the DCU School of Computing detailing how they managed the change and the types of assessment they adopted. The next speakers will present overviews of the change to online assessment from the students’ perspective. Dr. Linda Amrane-Cooper and Prof. Stylianos Hatzipanagos’ presentation draws from a project at the University of London evaluating the students’ experience of the transition to digital assessment. Then, Dr. Inés Gil-Jaurena will introduce a study undertaken at UNED about the impact of the change in online assessment on student’s performance and perceptions.

19 maj (15:00) Med framtiden i sikte. Omvärldsbevakning om den digitala utvecklingen i USA, Indien och Kina. Arrangeras av UKÄ (Universitetskanslersämbetet) som en del av initiativet Digital spetskompetens. 

Under webbinariet presenteras vår omvärldsanalys följt av en diskussion med särskilt inbjudna gäster. Hör Henric Johnson, innovations- och forskningsråd på Sveriges ambassad i Washington DC, samt Nannan Lundin, innovations- och forskningsråd på Sveriges ambassad i Beijing, reflektera kring hur man arbetar med utvecklingen av digital spetskompetens i dessa globala front runners. USA och Kina är de länder där de riktigt stora forsknings-och utvecklingssatsningarna sker. Vilka strategiska satsningar på området genomförs och vad ser man som de viktiga framtidsfrågorna? Helt enkelt: Vad kan Sverige lära av USA och Kina?

Rättssäker examination - men vad examinerar vi egentligen?

"7 June" (CC BY-NC-SA 2.0) by Researching Media

En intressant bloggpost av Ola Leifler (Linköpings universitet), Om att examinera rättssäkert, väcker frågor om varför vi fortfarande examinerar genom traditionella salstentamen trots att kursen baseras på kollaborativt lärande och praktiska övningar i realistiska situationer. Han menar att det finns ibland bara en svag koppling mellan själva kursarbetet och tentamen.

Det är onekligen så att vi ofta hemfaller åt traditionella sätt att examinera studenter även när vi infört lärandemoment som kan kännas innovativa. Varför blir det så? Varför är det så svårt att applicera mer autentiska examinationsformer när vi gör om kurser till att inkludera mer engagerande moment för våra studenter? Varför känner vi att vi behöver rapporten eller tentan i slutet av genomförd kurs? Varför kan inte resultaten studenterna presterat tala för sig själva? Varför tror vi att det är mer rättssäkert att examinera på ett sätt som inte direkt motsvarar det studenterna i praktiken ägnat kurserna åt?

Borde vi inte kunna bedöma studenterna på det de utför under kursen, det de faktiskt ska lära sig? Han menar att den skriftliga tentamen speglar inte kursens mål och bygger på bristande förtroende för studenten. Han vill komma bort från en diskussion om rättssäkerhet och grunda bedömningen på en dialog mellan studenten och läraren om kursens måluppfyllelse. 

Studenterna måste få meningsfulla sätt att styra både vad och hur de lär sig inom kursens ramar, så att de känner att de faktiskt tycker att det är meningsfullt att lägga tid själv på att styra sitt lärande. Examinationen ska handla om exakt det de gjort i kursen och inte kräva att de försöker lista ut vad examinatorn egentligen tänker.

Bedömning på lektionstid, även på distans

Lärare på Katedralskolan i Uppsala har sedan två år tillbaka arbetat enligt principen att allt examinerande arbete sker i klassrummet. Under coronakrisen har de fortsatt med denna princip och det har bidragit till mindre stress för eleverna och säkrare bedömning, enligt en artikel av Skolverket, Bedömning på lektionstid underlättar vid distansundervisning.

Grunden för arbetssättet är att allt bedömningsunderlag inhämtas under lektionstid. Det ger eleverna tydliga ramar för när och var arbetet ska ske, samt tillgång till lärares och kamraters hjälp och återkoppling. Eleverna får tydliga begränsningar. Två konkreta exempel är att laborationsrapporter och PM-skrivning numera genomförs på lektionstid.

Lärarna arbetar i lag och ser till att examinationsuppgifterna bygger på elevernas vardag och erfarenheter så mycket som möjligt. Artikeln ger exempel på hur bedömningsuppgifter har anpassats inom olika ämnen som idrott, matematik och historie- och samhällskunskap.

Artikeln slutar med att ge följande råd för bedömning på distans:

• Arbeta kollegialt med planering och genomförande av undervisning.
• Ge dina elever tillfällen att visa vad de kan under lektionstid.
• Hämta bedömningsunderlag på olika sätt: seminarier, korta prov, längre skrivuppgifter på lektionstid, delavstämningar och redovisning av praktiska moment via videolänk.
• Kommunicera kontinuerligt med dina elever, både under de muntliga genomgångarna och under det enskilda arbetet.
• Variera och anpassa sätten att kommunicera med eleverna.

Titta på en kort intervju med två lärare från Katedralsskolan.