Kursutvärderingar och betygsättning - ny forskning

"evaluation" (CC BY 2.0) by CreditDebitPro

Kursutvärderingar används allt mer som mätinstrument på undervisningskvalitet. Men många forskare varnar för att sådana utvärderingar kan bli missvisande. En ny artikel av Guannan Wang och Aimee Williamson i tidskriften Teaching in Higher Education, Course evaluation scores: valid measures for teaching effectiveness or rewards for lenient grading?, undersöker kopplingen mellan betygsättning och positiva utvärderingar. Artikeln ger en översikt på tidigare studier inom området och föreslår en rad åtgärder för att förbättra kvaliteten på kursutvärderingar så att man minimerar risken för att bra betyg ger bra utvärderingar..

Course Evaluation Instruments (CEIs) are critical aspects of faculty assessment and evaluation across most higher education institutions, but heated debates surround the value and validity of such instruments. While some argue that CEI scores are valid measures of course and instructor quality, others argue that faculty members can game the system, most notably with lenient grading practices to achieve higher student ratings. This article synthesizes the literature on course evaluation instruments as they relate to student grades to assess the evidence supporting and refuting the major theoretical frameworks (i.e. leniency hypothesis and validity hypothesis), explores the implications of research design and methods and proposes practical recommendations for colleges and universities. This paper also goes beyond the CEI-grade relationship and provides a framework that illustrates the relationships between teaching quality and CEI scores, and the potential confounding factors and omitted variables which may significantly deteriorate the informativeness of the CEI score.

Konferens om digital examination

"Anatomy Online Exam, March 2008" (CC BY-NC-ND 2.0) by Stanford EdTech

En europeisk konferens om digital examination, European conference on digital exams and assessment (ECDEA 2018) hålls i Göteborg 8-9 juni. De flesta universitet och högskolor testar eller implementerar  digitala examinationer och det finns ett stort behov av erfarenhetsutbyte och nätverksskapande. Konferensen är den första inom området att hållas i Europa.

This is the first European conference focusing exclusively on use of digital methods for exams and assessment. It will initially focus on high-stakes business such as medical board exams, but with a broader general focus as well. The presenters are some of Europe's most qualified leaders from various exam and assessment organizations. The event will also host training sessions, Day 1 and 2, on common challenges such as how to write good exam questions, statistical methods, different assessment methods, organizational aspects as well as other tips and tricks.

Mer information och anmälan.

Nya europeiska riktlinjer för lärarnas digitala kompetenser

European Commission, Joint Research Council

EU kommissionen lanserar nu riktlinjer för lärarnas digitala kompetenser, Digital Competence Framework for Educators (DigCompEdu), som kan tillämpas på alla utbildningsnivåer från förskola till universitet. Modellen sätter digitala kompetenser som en integrerad del av lärarens professionella och pedagogiska kompetenser och relaterar även till elevernas/studenternas kompetenser. Digitala kompetenser ingår alltså i en helhetssyn på lärarens roll.

The objective of DigCompEdu is to identify and describe the key components of educators' digital competence and to provide an instrument for (self-)assessment, based on research and stakeholder consultations.

Denna modell kommer snart att mynna ut i flera initiativ, inklusive ett verktyg för utvärdering och självvärdering och idéen är att den kommer att fungera som ett underlag för utbildningsorganisationer i hela Europa.

Ladda ner en broschyr som förklarar begrepp, områden och kriterier (pdf-fil).

SELFIE - självbedömningsverktyg för skolans och högskolans digitalisering

EU Kommissionen har utvecklat ett ramverk och självbedömningsverktyg för att hjälpa utbildningsorgaisationer som vill digitalisera sin verksamhet på ett genomtänkt och pedagogiskt sätt. Ramverket heter DigCompOrg (Digitally Competent Educational Organisations) och består av 74 kriterier inom 8 områden (ledning, undervisning, bedömning, läroplan, utveckling, kollaboration, infrastruktur och områdesspecifika kriterier). Ramverket ska ligga till grund för digitaliserings-strategier och utvecklingsarbete.

Kopplat till DigCompOrg finns nu ett självbedömningsverktyg, SELFIE (Self-assessment tool for digitally competent schools and Higher Education Institutions), som ger skolor och högskolor möjlighet att genomföra en analys av sin digitaliseringsprocess och identifiera förbättningsområden för det kommande året. SELFIE testas just nu i över 400 skolor inom EU och sedan ska verktyget anpassas efter rekommendationer från testskolorna. Sedan ska verktyget översättas till alla EU-språk och spridas till alla länder. Verktyget ska vara klart att använda till årsskiftet. Fokuset ligger på skolor initialt men längre fram ska verktyget även anpassas till högre utbildning och redan nu finns det intresse från Irland, Spanien, Finland och Grekland att köra pilotprov.

Läs även:
Promoting Effective Digital-Age Learning: A European Framework for Digitally-Competent Educational Organisations (EU 2015)
Supporting schools to go digital: From a conceptual model towards the design of a self-assessment tool for digital-age learning (IATED 2016)

Studentutvärderingar har ingen tydlig koppling till undervisningskvalitet

"March Flex Day" (CC BY-NC-SA 2.0) by Skyline College PR & Marketing

Flera studier ifrågasätter studenternas kursutvärderingar som trovärdiga mätningar av kurskvalitet och lärarens undervisning enligt en artikel i Inside Higher Ed, Zero Correlation Between Evaluations and Learning. Artikeln beskriver en ny kanadensisk studie (se referensen nedan) som indikerar att studenternas positiva omdömen av lärarens undervisning inte kunde kopplas till lärande. Omdömen var väldigt subjektiva och handlar sällan om just pedagogiken och lärande. Studien rekommenderar att arbetsgivare inte baserar sin bedömning av lärarens pedagogiska färdigheter på studentutvärderingar.

- The entire notion that we could measure professors' teaching effectiveness by simple ways such as asking students to answer a few questions about their perceptions of their course experiences, instructors' knowledge and the like seems unrealistic given well-established findings from cognitive sciences such as strong associations between learning and individual differences including prior knowledge, intelligence, motivation and interest ... Individual differences in knowledge and intelligence are likely to influence how much students learn in the same course taught by the same professor.

Referens
Meta-analysis of faculty's teaching effectiveness: Student evaluation of teaching ratings and student learning are not related. Bob Uttl, Carmela A. White, Daniela Wong Gonzalez. Department of Psychology, Mount Royal University, Canada. Studies in educational evaluation, Sept 2016.

Studentutvärderingar till vilken nytta?

"Evaluations" (CC BY-NC 2.0) by GeoBlogs

Vi ber våra studenter fylla i utvärderingsenkäter nästan varje vecka. De ska utvärdera sina kurser, lärare, lärmiljö, biblioteket och kanske även lunchrestaurang. Många lider säkert av utvärderingströtthet och man kan ifrågasätta nyttan med alla resultat.

En debattartikel i den brittiska tidningen The Guardian, Student surveys are a waste of everyone's time, ifrågasätter i synnerhet de korta enkäterna som kommer med jämna mellanrum mest för att samla statistik. Författaren menar att studenter ger oftast spontana och kortsiktiga synpunkter - till exempel att ge en bra utvärdering till en snäll och trevlig lärare men ett sämre omdöme till en sträng och krävande lärare som i det längre perspektivet främjar studentens utveckling. I stället vill författaren satsa på djupare undersökningar med fokus på helheten.

- We should take our students’ opinions into account, of course – doing so helps us to grow as academics. But we should do it far more effectively. We should give our students time to answer our questions properly and respond in the long-term.
Let’s give them room to look at the whole picture. Less surveys and more space mean better data.

Vad tycker du?

HEInnovate - innovationsbarometer för universitet

Alla universitet lyfter gärna fram ordet innovation i sina strategidokument och marknadsföring men hur innovativt är ditt lärosäte egentligen? EU-kommissionen och OECD har tillsammans tagit fram HEInnovate, ett självvärderingsverktyg som alla får använda för att mäta sitt innovationsklimat. Verktyget innehåller 7 självvärderingsområden med kriterier i entreprenörskap, samverkan, ledarskap, internationalisering, kunskapsutbyte osv.

- HEInnovate is a free self-assessment tool for all types of higher education institution. It allows you to assess your institution using a number of statements related to its entrepreneurial activities, including leadership, staffing and links with business. 

Förutom självvärderingsverktyg finns det en resursbank med utbildningsmaterial, goda exempel och rapporter. För att se alla resurser och för att komma åt själva verktyget får du registrera dig. HEInnovate har funnits i tre år nu och har används av hundratals lärosäten i hela Europa.

OECD efterlyser radikala reformer inom svenska skolan

Världsorganisationen OECD (Organisation for Economic Co-operation and Development) riktar kritik mot utvecklingen i den svenska skolan under de senaste åren i en ny rapport, Improving schools in Sweden (se en artikel i DN, OECD: ”Krävs genomgripande förändringar i svenska skolan”). Sveriges allt sämre resultat i PISA-mätningar har skapat mycket diskussion om skolfrågor med ganska stora skillnader mellan de politiska partierna om vad som krävs för att vända den negativa trenden. OECD menar att trots många reformer har resultaten bara blivit sämre och de ser med oro en ökande splittring och ojämn resursfördelning.

Rapporten rekommenderar följande åtgärdar:

• Höja lärarnas status med högre löner, kompetensutveckling och tydligare fokus på undervisning. 
• Se över skolans finansiering med en jämnare fördelning av resurser så att man satsar mest på dem som har störst behov. 
• Bättre stöd för svaga elever, språkstöd, specialpedagogiskt stöd mm.
• Skapa en förbättringskultur i skolan i stället för att bara möta administrativa krav. Bland annat en nationell organisation med uppdrag att stärka lärarnas och rektorernas kompetens

Enligt Andreas Schleicher, direktör för OECD:s utbildningsdirektorat och ansvarig för Pisa, i DN-artikeln:

- Resurser måste slussas dit de verkligen behövs. Sverige måste bli bättre på att få de bästa lärarna och rektorerna till de skolor där utmaningarna är störst. För ju fler val som föräldrar har i ett skolsystem, desto starkare och robustare måste systemet vara.

Läs mer:

• OECD, Sweden should urgently reform its school system to improve quality and equity
• Sydsvenskan, Forskare varnar för stort Pisa-fokus.

Webinar om kursvärdering

Blekinge Tekniska Högskolan och QuickSearch erbjuder ett webinar om kursvärdering inom högre utbildning tisdag 27 maj kl 13.00. BTH har tillsammans med Quicksearch utvecklat en lösning för kursvärderingsprocessen och som till stora delar är helt automatiserad och där resultaten är synliga på olika nivåer. Resultaten skickas ut och finns tillgängliga online för studenter, men även blivande studenter kan ta del. Lärare och chefer har tillgång utifrån behörighet. Sammanställningar, analyser och diagram görs enkelt online. Systemet är sedan mer än 2 år tillbaka i drift hos BTH och Högskolan i Halmstad.

Den nya kursvärderingsprocessen har inneburit stora effektivitetsvinster för lärare och administratörer, ökat kvaliteten och inneburit bättre jämförelsemöjligheter inom och mellan institutioner. Webinaret ger dig möjlighet att ta del av erfarenheter och bidra till diskussionen.

Läs mer.

Anmäl dig till Mikaela.Magnusson@quicksearch.se.