DNM-Online Boeken en beschouwingen

Vermijd bewijsmateriaal! Over onderwijs en evidence

Beschouwing

Evidence is in de onderwijswereld een modewoord geworden, een woord dat gezag uitstraalt. Onderwijs moet evidence-informed zijn. Evidence waakt over de 8,5 miljard euro die het kabinet heeft uitgetrokken om de corona-achterstanden in het onderwijs weg te werken. Ik zal echter betogen dat dat niet terecht is. Al die aandacht voor evidence doet het onderwijs, en vooral de mensen in het onderwijs, geen goed. Evidence vloekt met onderwijs. Het volgt namelijk een logica die onverenigbaar is met de praktijk van goed onderwijs. De logica van bewijzen is immers principieel gericht op het beëindigen van het gesprek, terwijl het in onderwijs altijd gaat om het openen van weer een nieuwe gespreksruimte.

Bewijsmateriaal
Dat onze taal leeft, kun je mooi zien aan de opkomst, bloei en ondergang van woorden. Dertig jaar geleden sprak nog niemand in het onderwijs over evidence, maar nu hoor je het overal. Maar wat is evidence?

Letterlijk genomen is evidence bewijsmateriaal. Dat is haar eerste betekenis. De tweede betekenis komt mee met het Nederlandse 'evident'. Evidence is vanzelfsprekend, onbetwistbaar, bindend. Voor de detective die een moord moet oplossen, is bewijsmateriaal dat waar alle betrokkenen het over eens zullen zijn. Het zijn de feiten die niet zinnig betwist kunnen worden, waarop je verder kunt bouwen, maar ook waar je rekening mee moet houden. Bewijsmateriaal kan dik of dun zijn, vraagt om duiding en kan verschillend geïnterpreteerd worden. Maar het fascinerende aan bewijsmateriaal is dat er altijd minstens één beschrijving van gegeven kan worden die door niemand betwist wordt.

Er staan twee lege glazen op het aanrecht; naast het lijk ligt een bebloed mes; buren hebben gegil gehoord en een zwarte auto zien wegrijden. 

We weten wellicht niet wat deze feiten betekenen, maar het zijn feiten, beschreven op een manier die zelf geen vragen meer oproept. Dat dit de feiten zijn, is evident. Hun formulering spreekt voor zich. Het is alsof de wereld zelf aan het woord is.

Dat stelt natuurlijk zware eisen aan de taal waarin die feiten volstrekt onbetwist verwoord kunnen worden. Want waar sprake is van bewijsmateriaal, is ook altijd sprake van een kwestie. Er staat iets op het spel. Er wordt iets betwist. Er moet iets bewezen worden. Daarom moet er voldoende bewijsmateriaal worden verzameld zodat de stelling die ter discussie staat bevestigd kan worden, of weerlegd. De uitdaging is om van de onbetwistbare vanzelfsprekendheid van het bewijsmateriaal – de evidence in beide betekenissen van het woord – plausibel te redeneren naar een doorslaggevend oordeel over de kwestie.

Geen sinecure.

Via de geneeskunde kunnen we uitleggen waarom de associatie van onderwijsonderzoek met detectivewerk gepast is. Evidence-based medicine kwam als term op aan het begin van de negentiger jaren van de vorige eeuw (Guyatt, 1991). Het gaat hierbij om een vorm van patiëntenzorg waarbij de arts zich behalve door de feiten die hij verzamelt door de patiënt te onderzoeken, ook laat leiden door het bewijsmateriaal dat hij tot zijn beschikking heeft uit bestaand wetenschappelijk onderzoek. Iedere patiënt is natuurlijk uniek, maar iedere patiënt vertegenwoordigt ook een ziektebeeld dat universeel is, dat kenmerkend is voor een populatie, namelijk de populatie van alle patiënten met dezelfde ziekte. Alles wat in de medische wetenschap bekend is over deze populatie, zegt vanzelfsprekend iets belangrijks, en iets beslissends, over deze ene patiënt. De arts die als een detective de ziektekiem te pakken probeert te krijgen, doet er daarom goed aan om niet alleen zijn patiënt te onderzoeken, maar ook de wetenschappelijke onderzoeksliteratuur.

Het overweldigende succes van de medische wetenschap heeft grote indruk gemaakt op de psychologie, de pedagogiek en de onderwijskunde. Het medische model is in deze wetenschappen inmiddels dominant geworden. Klinisch psychologen, orthopedagogen en onderwijswetenschappers zijn zich gaan spiegelen aan de medicus. Ook zij kunnen gezien worden als detectives, op zoek naar stoornissen. Als ik het met grove streken schets, zijn de psychologen zich vooral gaan richten op depressies, angststoornissen, en psychiatrische aandoeningen, de orthopedagogen vooral op dyslexie, ADHD, en autisme, en ook de onderwijswetenschappers hebben hun demonen gevonden: onderwijsmythes (De Bruyckere, et.al. 2016).

Al die op kinderen gerichte wetenschappers kampen daarbij met een probleem dat ook de medici kennen: de afstand tussen het onderzoekslaboratorium en de behandelkamer. In academische ziekenhuizen is die afstand soms klein. Bovendien werken daar specialisten die zowel het onderzoek als de patiëntenzorg doen. Dat is anders bij de psychologen en de pedagogen, en vooral bij de onderwijswetenschappers. Die staan immers zelf niet voor de klas, maar hebben te maken met docenten en onderwijsbestuurders die zich gemakkelijk door onderwijsmythes laten misleiden. In deze context is de opmars van evidence-informed onderwijs goed te begrijpen.

Bewijzen
Het onderwijs in Nederland staat er slecht voor. Denk aan het lerarentekort, het grote aantal thuiszitters, de desastreuze effecten van de vroege selectie, de rigoureuze scheiding tussen laag en hoog onderwijs en de niet te verantwoorden rol die de eindtoets daarbij speelt, de uitholling van het professionele gezag van leraren, en de al jaren dalende PISA-scores van de Nederlandse jeugd. Er moet echt iets gebeuren en daarom kunnen we alleen maar blij zijn met dat enorme bedrag dat de overheid in het onderwijs wil investeren. Maar de voorwaarde dat dit geld alleen aan evidence-informed onderwijs besteed mag worden, is een heel slecht idee.

Waarom? Omdat je de logica van het bewijs accepteert als je bevindingen presenteert als evidence. Wie over bewijsmateriaal spreekt, committeert zich aan de regels van het taalspel dat 'bewijzen' heet. Bewijzen werken toe naar het beëindigen van het gesprek. Als een stelling bewezen is, heeft het geen zin meer haar te bevragen. Een bewijs is definitief. Zolang een stelling nog niet bewezen is, kunnen mensen erover twisten, maar toch wil dit niet zeggen dat als het om bewijzen gaat degenen die uiteindelijk ongelijk blijken te hebben, gedurende de twist potentieel gelijk zouden kunnen hebben. Een dispuut in een domein waarin bewijzen bestaan, lijkt niet op een voetbalwedstrijd waarbij gedurende de strijd iedere partij nog zal kunnen winnen. Als er sprake is van een domein waarin bewijzen bestaan, heeft ook al weten wij niet wie, slechts één van de partijen gelijk.

Dat is de venijnige logica van het bewijs. Het gezag van degene die doorslaggevend bewijsmateriaal verzamelt, is absoluut. Daar waar er sprake is van bewijsmateriaal, daar is principieel sprake van een kwestie waarover ieder gesprek potentieel definitief beëindigd kan worden. In een domein waarin bewijsmateriaal bestaat, bestaat het laatste woord. Het is mogelijk dat dat laatste woord niet gevonden wordt, of niet gevonden kan worden door degenen die ernaar op zoek zijn. Hun cognitieve of conceptuele vermogens kunnen tekortschieten, waardoor zij eeuwig kunnen blijven babbelen, maar dat neemt niet weg dat het laatste woord in zo'n domein wel degelijk bestaat – tenminste, voor zover het inderdaad een domein is waarin bewijzen bestaan, een domein waarin indrukken, observaties, bevindingen of constateringen de status van bewijsmateriaal kunnen hebben. Wiskunde en logica zijn zulke domeinen; onderwijs en onderwijswetenschappen zijn dat niet.

Er valt niets te bewijzen als we met elkaar twisten over wat er nodig is voor goed, effectief, inspirerend, rijk, bevredigend, fascinerend, toekomstgericht, excellent of optimaal onderwijs. Natuurlijk zullen we soms onze gesprekken afronden, soms onze twisten zelfs beslissen en het eens worden over wat kwalitatief goed onderwijs is. Maar ieder gesprek zal altijd opnieuw geopend kunnen worden, ieder besluit opnieuw bevraagd, ieder inzicht weer betwijfeld. Ieder antwoord zal de opmaat kunnen zijn voor een nieuwe vraag. In het onderwijs draait het om levenslange openheid, om voortdurende nieuwsgierigheid, om het nooit wegebbend verlangen naar meer begrip, naar een omvattender inzicht, naar nieuwe mogelijkheden. Precies omdat onderwijs een context is waarin leren en ontwikkelen gedijt, moeten we waken voor het gebruik van bewijsmateriaal, omdat het de mentaliteit verwoest die onderwijs juist koestert, en voedt.

What's in a name?
Maar is het werkelijk zo belangrijk welke woorden we ergens voor gebruiken? We kunnen toch gewoon ruimhartig zijn in wat we evidence noemen? Dat is immers ook de praktijk, op dit moment. In de Leidraad Werken aan onderwijsverbetering, opgesteld door het Nationaal Regieorgaan Onderwijsonderzoek, lezen we bijvoorbeeld deze definitie van evidence-informed werken: ‘Gebruikmaken van zowel praktijkkennis als kennis uit onderzoek om de onderwijskwaliteit te verbeteren of te verrijken’ (NRO, 2022). Wat voor onderzoek wordt niet gespecificeerd, maar ook daar kunnen we toch gewoon ruimhartig in zijn? Er gebeurt volop onderzoek in de lectoraten van hbo-instellingen en ook in het mbo wordt tegenwoordig in practoraten onderzoek verricht. Het enige verschil dat dan nog in stand gehouden wordt, is het verschil tussen praktijkkennis en kennis uit onderzoek. Die laatste levert de evidence.

En juist daarin zit hem het venijn. Het onderscheid tussen de onderwijspraktijk en de onderzoekspraktijk schept de ruimte voor de logica van het bewijs. Evidence is bewijsmateriaal. Het is vanzelfsprekend, in de zin van onbetwistbaar. Je kun het niet naast je neerleggen. Het is bindend. Dit heeft twee implicaties. Dat wat in de concrete onderwijspraktijk voorhanden is, dat wat in de klas gezien en begrepen kan worden, dat waarmee interactie mogelijk is, is niet het enige dat ertoe doet, niet het enige dat de kwaliteit van ons onderwijs bepaalt. Er is altijd een relevante andere bron: dat wat uit onderzoek bekend is en opgetekend is in publicaties. Maar meer dan dat: de kennis uit die andere bron, dat wat we niet hier en nu in onze interactie met elkaar kunnen weten, dat is van meer belang. Dat is namelijk bewijsmateriaal, dat wat potentieel het gesprek kan beëindigen over wat het beste is om te doen, dat wat het laatste woord zou kunnen opeisen.

Het tastbare effect van evidence-informed werken is hiermee in één keer duidelijk: in de concrete praktijk blijkt een kennisgebrek te bestaan, omdat de relevante bronnen niet zomaar in die concrete handelingssituatie voorhanden zijn. Wie de kennis niet heeft, heeft daardoor een nadeel, een beslissend nadeel. Zo iemand komt niet verder dan gebabbel. Zo iemand kan menen dat er een kwestie is, een dilemma, een probleem, een moeilijkheid, terwijl er in feite elders bekend is dat er helemaal geen sprake is van een kwestie omdat er in de literatuur doorslaggevend bewijsmateriaal is verzameld en het laatste woord gewoon al geklonken heeft. Zo iemand kan – en misschien zelfs wel: moet – de mond gesnoerd worden, door iemand die wél over deze evidence beschikt. Laat zo'n deskundige alsjeblieft binnenkomen, zo zou je kunnen denken, om een einde te maken aan dit ongeïnformeerde gepruts, dit onverantwoorde geknoei. Met onze kinderen! Ook dat nog.

Het is deze voorstelling van de onderwijspraktijk die niet alleen denkbaar maar ook reëel wordt zodra we menen dat er in het onderwijs sprake zou kunnen zijn van evidence. Daar ligt een belangrijke vooronderstelling onder, eentje die hierboven al onopvallend is langsgekomen toen ik het over geneeskunde had. De medicus moet de kennis uit onderzoek meenemen in zijn behandeling omdat iedere patiënt weliswaar uniek is, maar ook een universeel ziektebeeld vertegenwoordigt, waardoor kennis van de populatie van patiënten met dezelfde ziekte cruciaal is. Zulke populaties bestaan, waardoor er in medische kwesties conclusies over individuele gevallen getrokken kunnen worden op basis van kennis van de populatie. Maar dat kan juist niet in de sociale wetenschappen, zoals iedere student leert tijdens de eerste cursus statistiek. Te menen dat we iets belangrijks over onderwijssituaties kunnen weten op een geaggregeerd niveau is ons te laten misleiden door het medische, natuurwetenschappelijke kader waarin, anders dan in de onderwijswetenschappen, condities gelden waaronder conclusies over individuen getrokken kunnen worden uit kennis van populaties. We weten dat dat niet kan in de onderwijswetenschappen. Maar we vergeten daaruit de juiste conclusies te trekken over de aard van onderwijsonderzoek en de aard van de indrukken, observaties, bevindingen en constateringen die dit onderzoek oplevert.

Onderwijsonderzoek zonder arbeidsdeling
Mijn pleidooi tegen het gebruik van de term evidence is geen pleidooi tegen het doen van onderwijsonderzoek. Het is een pleidooi voor een herinterpretatie van het onderzoek naar onderwijspraktijken, een herinterpretatie die dit onderzoek moet bevrijden van de druk die uitgaat van het succes van de natuurwetenschappen. Deze wetenschappen floreren dankzij twee gegevenheden die ontbreken in het onderwijs. Ten eerste het succes van laboratoriumexperimenten. In dergelijke experimenten wordt een relevant stukje werkelijkheid in een laboratorium geïsoleerd en gemanipuleerd. Dat levert kennis op van wat zich werkelijk in dat laboratorium heeft afgespeeld. De andere gegevenheid is het bestaan van zoals dat heet, ergodische condities (Molenaar, 2004), waardoor verschijnselen binnen en buiten het lab identiek zijn. Dat maakt het mogelijk populatiekennis systematisch en methodologisch verantwoord op individuele gevallen toe te passen. 

Omdat beide gegevenheden in het onderwijs ontbreken, heeft het geen zin om in onderwijsonderzoek te streven naar contextonafhankelijke algemeenheden. Dit betekent vooral dat er geen verdedigbare arbeidsverdeling mogelijk is waarbij de ene persoon als een onderzoeker contextonafhankelijke algemeenheden tracht te formuleren en een ander die algemeenheden in een specifieke onderwijscontext tracht toe te passen. Onderwijsonderzoek zal een andere ambitie moeten hebben dan het achterhalen van contextonafhankelijke algemeenheden en zal iets anders moeten doen dan het opzetten van quasi-experimentele laboratoria. Eigenlijk weten we dit ook wel, getuige de populariteit van de slogan ’everything works somewhere, nothing works everywhere.’ (William, 2018) Maar wat dit feitelijk betekent voor de productie van onderwijspublicaties en voor de professionaliteit van hen die in het onderwijs werkzaam zijn, dat lijkt het onderwijsveld niet te beseffen, getuige de zo krachtig gehonoreerde roep om evidence-informed werken.

Ik pleit voor onderwijsonderzoek zonder arbeidsdeling, voor onderwijsonderzoek dat etnografisch actie-onderzoek is en dat uitgevoerd wordt door de professionals die zelf in het onderwijsveld werkzaam zijn. Ik pleit voor de onderzoekende houding als de basishouding voor iedere persoon in het onderwijsveld die zich, lerend en oefenend, blijvend ontwikkelt. Ik pleit voor de open houding die je inneemt als je geconfronteerd wordt met een fenomeen dat je verbaast, dat je verwondert, een fenomeen waar je niet direct van weet wat je ervan denken moet. Deze houding benadrukt je ontvankelijkheid. Zij behoedt je voor een te snelle inkadering, zij weerhoudt je te snel een vraag te stellen waarop iemand anders antwoord zou moeten geven. Als je de onderzoekende houding inneemt, weet je eigenlijk nog niet wat nu precies de kwestie is waar je mee geconfronteerd wordt. Je weet nog niet welke informatie ontbreekt om je vragen te beantwoorden. Je weet niet eens óf er sprake is van ontbrekende informatie. Je moet het allemaal nog eens goed in ogenschouw nemen. Je hebt nog geen hypothese die je zou kunnen testen. Als je de onderzoekende houding inneemt, zul je iets proberen te doen, om te kijken wat er dan gebeurt. Meer is het niet. 

Als je onderwijs verzorgt als docent, of leert en oefent als student, gaan de dingen soms van een leien dakje, soepel, zoals verwacht. Mooi. Gewoon mee doorgaan. Maar met voldoende alertheid, zodat je blijft openstaan voor gebeurtenissen die je niet verwacht. Doet zich zoiets onverwachts voor, schakel dan over op de onderzoekende houding. Registreer wat er gebeurt, vraag anderen, betrokkenen, wat zij denken dat er gebeurt. Bekijk het eens van een andere kant. Wat waren je verwachtingen? Wat hadden anderen verwacht? Waarom gebeurt er niet wat je verwacht?

Natuurlijk kunnen je op zo'n moment vergelijkbare gevallen te binnen schieten. Wat heb je toen gedaan? Natuurlijk kun je verhalen en verslagen van anderen gaan lezen. Wat deden zij in vergelijkbare gevallen? Ken je good practices? Natuurlijk kun je literatuur raadplegen. Mijn pleidooi voor de onderzoekende houding is geen pleidooi tegen het gebruiken van de gerapporteerde bevindingen van anderen, maar wel tegen het vanzelfsprekende gezag van onderzoeksresultaten. Het is ook een pleidooi tegen de arbeidsdeling, tegen het uit elkaar trekken van onderzoek en onderwijs, tegen het isolement van de onderzoekspraktijk en tegen het typische product van die praktijk: publicaties waarin gestreefd wordt naar het formuleren van contextonafhankelijke algemeenheden.

Ik pleit voor het primaat van de professionele verantwoordelijkheid van hen die aandachtig en alert hun rol spelen in de onderwijswereld, voor het primaat van hun gemeenschappelijke intelligentie die niet gericht is op het produceren van een publicatie, maar op het realiseren van goed onderwijs. Daar komt geen evidence bij kijken, want er hoeft immers niets bewezen te worden.

Goed onderwijs vraagt niet om evidence. Goed onderwijs vraagt vooral om de onderzoekende houding, van alle betrokkenen, omdat we ons dankzij die onderzoekende houding zullen blijven ontwikkelen. Want als we open en alert blijven, belangstellend ontvankelijk voor de mogelijkheid dat anderen niet doen wat wij verwachten, dan zullen antwoorden nieuwe vragen blijven oproepen, dan zullen we een educatieve omgeving creëren waarin leren en ontwikkelen zal gedijen.

Jan Bransen
Academisch leider van het Radboud Teaching and Learning Centre
jan.bransen@ru.nl

Referenties

De Bruyckere, P., Kirschner, P. & Hulshof, C. (2016) Jongens zijn slimmer dan meisjes XL. 35 mythes over leren en onderwijs, Leuven: LannooCampus.

Guyatt GH. (1991). Evidence-Based Medicine [editorial]. ACP Journal Club 1991:A-16. (Annals of Internal Medicine; vol. 114, suppl. 2).

Molenaar, P.C.M. (2004). A manifesto on psychology as idiographic science: Bringing the person back into scientific psychology, this time forever. Measurement, 2, 201–218.

NRO (2022). Leidraad werken aan onderwijsverbetering. Evidence-informed naar een lerende organisatie in het primair onderwijs. Weten wat werkt en waarom. www.onderwijskennis.nl/leidraad-onderwijsverbetering

William, D. (2018) Creating the Schools Our Children Need. Why What We're Doing Now Won't Help Much (And What We Can Do Instead). Learning Sciences International.

---

Geef hieronder uw reactie op dit nieuwsitem

Leave this one empty:

Naam:

E-mailadres:

Don't fill in data here:

Reactie:

Don't put anythin in here: