DNM-Online Boeken en beschouwingen

Samen anders doorgaan

Reflectie op de reacties op zijn bijdrage ‘Vermijd bewijsmateriaal!’

Met dank aan Wilfried Admiraal (WA), Monique Marreveld (MoM) en Martijn Meeter (MaM) voor hun commentaren zal ik in dit weerwoord voortbouwen op de mooie metafoor die MoM mij aanreikt: het onderwijsveld zit vast in een slecht huwelijk. We voelen ons niet gehoord, luisteren slecht, ervaren geen ruimte en stapelen misverstand op misverstand. Het intrigerende van een slecht huwelijk is daarbij bovendien dat buitenstaanders doorgaans nauwelijks kunnen begrijpen waarom de spanningen zo hoog oplopen: waar gaat dit over? Welke pijn gaat achter al die woorden schuil?

Een beetje relatietherapie zal het onderwijs goed kunnen doen, waarbij de horizon steeds die zal zijn dat we hoe dan ook samen anders zullen moeten kunnen doorgaan. Op dezelfde voet is kansloos – een recept voor meer teleurstelling, meer verdriet, meer pijn.

Laat ik beginnen met waarin ik me niet gehoord voel. Alle drie mijn commentatoren negeren wat voor mij het belangrijkste punt van mijn betoog was: dat we de logica van het bewijs moeten zien te vermijden. Ik heb mij vermoedelijk niet helder genoeg uitgedrukt en mijn commentatoren het misverstand aangeboden te denken dat ik mij in mijn verzet tegen het gebruik van de term evidence verzet tegen onderwijsonderzoek überhaupt, of tegen dat wat onderwijsonderzoek ons leert. Maar dat is niet zo; dat zeg ik ook letterlijk in de laatste paragraaf. Ik heb niets tegen onderwijsonderzoek. Ik ben er een groot voorstander van. Mijn pijlen richten zich slechts op de redeneerprincipes die bepalend zijn voor de communicatievorm die ‘bewijzen’ heet. Die redeneerprincipes doen het slecht in ieder huwelijk. Vergeet het maar als je moet bewijzen dat je van je partner houdt. En bewijzen, zo betoog ik, hoort ook niet thuis in discussies over goed onderwijs. Die discussie moet je open willen houden. Je moet je gesprekspartners niet de mond willen snoeren. Maar dat is nu juist wel de inzet van mensen die denken dat ze bewijsmateriaal moeten aandragen.

Dat brengt me op een tweede punt dat tot allerlei misverstanden leidt: wat is eigenlijk onderzoek, en dan met name onderwijsonderzoek? Laat ik mijn positie proberen te verduidelijken met behulp van een belangrijke term die door WA wordt geïntroduceerd: navolgbaarheid. Onderzoeksbevindingen moeten navolgbaar zijn om een argument te zijn voor een bepaalde aanpak. Als onderzoeker vertel ik jou niet alleen maar wat je moet doen, maar ik kan ook uitleggen waarom je dat moet doen, omdat (1) ik jou kan laten zien wat ik heb gezien, (2) kan uitleggen hoe ik heb gekeken waardoor ik kon zien wat ik zag en (3) bovendien kan uitleggen waarom wat ik zag van jou vraagt om te doen wat ik jou aanraad te doen. Precies. Dat moeten we van elkaar mogen verwachten: dat we kunnen uitleggen waarom we zullen doen wat we doen in de context waarin we ons bevinden.

In veel onderwijsonderzoek wordt deze navolgbaarheid geweld aangedaan en dat wreekt zich, zoals ik geprobeerd heb aannemelijk te maken. Dat is me klaarblijkelijk niet goed genoeg gelukt, onder andere doordat MoM en MaM niet lijken te hebben begrepen waarom ik naar het medisch model verwijs. Dat doe ik niet, MaM, omdat ik zou menen dat er in de geneeskunde wel evidentie bestaat en in de onderwijswetenschappen niet. Dát verschil, als het al zou bestaan, is voor mijn betoog helemaal niet van belang. Ik verwijs naar de geneeskunde om uit te leggen hoe de praktijk ontstaan is om naast de anamnese ook altijd de huidige stand van zaken in de medische wetenschap te betrekken bij de diagnose en behandeling van patiënten. Ik heb het medische model er verder ook niet bij gehaald, MoM, omdat ik zou menen dat onderwijswetenschappers op ziektes jagen. Geenszins. Het gaat me om de uit het medische voorbeeld overgenomen praktijk om naast wat er in de klas te zien is ook altijd een beroep te doen op wat we buiten deze klas om hebben ontdekt. Daarbij verzet ik me met name tegen de overtuiging dat de buiten deze klas om verzamelde kennis meer bewijskracht heeft dan wat lokaal zichtbaar is. Precies daarin gaat er van alles mis, zoals ook WA constateert.

Ad (1): Als onderzoeker zou ik jou kunnen laten zien wat ik heb gezien, maar onderzoek gebeurt veel schimmiger en rommeliger dan je kunt aflezen uit de onderzoeksresultaten. En helaas benadrukt de term evidence dat het in onderzoek om de resultaten gaat, en niet om het rommelige, tastende, experimenterende proces zelf. Jammer, want daardoor krijgt bijna niemand te zien wat de onderzoeker zelf heeft gezien en het is precies die onnavolgbaarheid die ten grondslag ligt aan de fundamentele replicatiecrisis die alle gedragswetenschappen raakt, ook de onderwijswetenschappen. (Perry & See, 2022)

Ad (2): Zoals MoM terecht opmerkt kun je gemakkelijk schade aanrichten als je je materiaal en je instrumenten niet kent. Helaas kennen velen in de onderwijswereld ons meest fundamentele instrument, dat tegelijkertijd ook ons meest fundamentele materiaal is, beslist onvoldoende: onze alledaagse taal. Om uit te kunnen leggen hoe je gekeken hebt en wat je daardoor hebt kunnen zien, moet je niet alleen in de rapportage, maar ook in de opbouw, de uitvoer en de duiding van je bevindingen een goed inzicht hebben in de stilzwijgende vanzelfsprekendheden die meekomen in ons alledaagse taalgebruik. Het klinkt namelijk zo gemakkelijk om te zeggen dat je naar “leerresultaten” kijkt, en naar “de sociaal-emotionele ontwikkeling van leerlingen”, “het welbevinden van leerlingen”, “het bredere plaatje” en naar “de werkzame mechanismen”.

Maar waar kijk je dan werkelijk, letterlijk naar? Wat zie je dan precies? Dit zijn immers allemaal hoogst abstracte begrippen waarvan je alleen maar concrete voorbeelden kunt zien door heel veel theoretische aannames te doen. Operationaliseren vereist conceptualiseren en filosofen valt het altijd maar weer op hoe weinig aandacht de doorsnee onderwijsonderzoeker besteedt aan de implicaties van haar of zijn begrippenkader. Neem het begrip “leerresultaat”. Als je denkt dat dat gemakkelijk en onproblematisch te operationaliseren is als de score op een toets, dan vergis je je deerlijk. En dat weten we al lang, wat af en toe weer eens bevestigd wordt, zoals onlangs ook door het CPB met betrekking tot de onbetrouwbaarheid van de PISA scores. (Verstraten e.a. 2022) Mijn punt is hier niet dat er niets te zien of te meten is, dat er niets uit te leggen is of dat al die aannames verkeerd zijn. Nee, mijn punt is slechts dat je onderzoek vooral navolgbaar moet maken door zo transparant mogelijk te zijn over je vooronderstellingen, en dat betekent in ieder geval dat je moet voorkomen dat jouw bevindingen als evidence gaan functioneren. Zo draag je namelijk bij aan een open en eerlijk gesprek waarvan je zelf niet wilt menen dat het volgens de logica van het bewijs zou moeten verlopen.

Ad (3): Als je wilt kunnen uitleggen dat wat buiten de klas om gezien kan worden van meer betekenis is voor wat zich in de klas afspeelt dan wat er in de klas zelf te zien is, zul je moeten aannemen dat er belangrijke contextonafhankelijke algemeenheden bestaan die voor het onderwijs van belang zijn. Mensen die menen dat onderwijs evidence-based moet zijn, hebben die aanname nodig. Zij zullen dus ook onderzoek moeten opzetten dat streeft naar dergelijke contextonafhankelijke algemeenheden – onderzoek naar wat dan doorgaans “de werkzame mechanismen” wordt genoemd.

Nu meen ik dat dergelijke mechanismen in het onderwijs helemaal niet bestaan (Bransen & Cuypers, 1998; Bransen 2001; Bransen 2013). Voor mij is onderwijsonderzoek in feite een vorm van historische gevalsstudies. (Flyvbjerg 2011) Dat betekent – en dat is het punt dat ik wil maken – dat wat we uit onderzoek weten, of menen te weten, altijd principieel op gelijke voet staat met wat we in de klas zelf zien gebeuren. Principieel voorrang geven aan wat we uit onderzoek weten is een slecht idee.

WA en MoM zijn dat met me eens, als ik hen goed begrijp, en ik hoop dat ze het dan ook met me eens zijn dat we de verhouding tussen de praktijk van het onderwijs en de praktijk van het onderzoek opnieuw moeten doordenken. Het zou overigens best kunnen dat er hier vooral sprake is van een reeks misverstanden. Die misverstanden komen helaas vaak voor in slechte huwelijken, huwelijken waarin partners de gewoonte ontwikkeld hebben om slecht naar elkaar te luisteren en om ambigue signalen altijd in het eigen voordeel uit te leggen. In een dergelijk huwelijk kan MoM zich bijvoorbeeld afvragen waarom zij toch altijd het gevoel houdt dat ik de praktijk onvoldoende ken, zonder dat ze doorheeft dat ze in feite een opmerking over zichzelf en haar eigen vooroordelen maakt. Maar laat ik niet flauw doen. Zo zijn wij niet getrouwd. ????

WA, MoM en ik kunnen wellicht samen doorgaan – anders, maar toch samen. Of dat ook voor MaM geldt, weet ik niet. Hij lijkt mijn punt over de contextonafhankelijkheid niet te begrijpen. Mijn punt is niet dat adviezen niet algemeen geldend kunnen zijn vanwege de contextgebondenheid van het onderwijs. Mijn punt is dat er geen reden is om te zoeken naar contextonafhankelijke algemeenheden. Die reden is er alleen als je wilt vasthouden aan de logica van het bewijs, dat wil zeggen als je wilt vasthouden aan het streven naar het laatste woord, als je je partners het zwijgen op wilt kunnen leggen. Dat verlangen lijk ik tussen de regels door in het betoog van MaM te lezen. Als MaM beweert dat we context kunnen zien als een set factoren met voorspelbare invloed, dan vrees ik toch dat hij niet in de gaten heeft dat onderwijs een complex en open systeem is en dat voorspelbaarheid slechts een eigenschap kan zijn van gesloten systemen. Als het MaM inderdaad om de logica van het bewijs gaat, dan lijkt een scheiding onze enige optie. Of dat nog kan tellen als anders samen doorgaan, als gelijkwaardige onderwijsmensen, bijvoorbeeld – dat is de insteek van dit weerwoord.

Samen als gelijkwaardige onderwijsmensen doorgaan vraagt namelijk wel iets van mij en MaM, zoals ook van MoM en WA. Dat is precies het punt waarom ik mij in mijn aanvankelijke stuk zo stevig uitspreek en de echtelijke ruzie zo hoog opvoer. Buitenstaanders begrijpen al die ophef wellicht niet, maar mensen in het onderwijs snakken naar ruimte. Ze snakken naar de mogelijkheid om dingen op hun eigen manier te mogen doen. Ze snakken naar erkenning voor hun eigen professionele oordeelsvermogen. Ze snakken naar oefenruimte, zoals ook onze leerlingen en studenten, naar een vrije, open, educatieve ruimte waarin ze dingen kunnen uitproberen zonder dat ze daar onmiddellijk op worden afgerekend. Mensen in het onderwijs snakken naar hun eigen handelingsruimte, naar voldoende tijd en ruimte om zich te kunnen ontwikkelen. Mensen in het onderwijs willen niet het gevoel hebben dat ze een achterstand hebben, willen niet het gevoel hebben dat ze geen tijd te verliezen hebben en willen niet opgejaagd worden in een competitie waarin ze steeds weer moeten bewijzen dat ze hun doelen zo snel, effectief en efficiënt als mogelijk kunnen bereiken. Dat gevoel wordt aangewakkerd door die alles doordringende instrumentele blik op onderwijs die ons allen diep in de greep heeft.

Het is om ons te bevrijden van die instrumentele blik dat ik mij verzet tegen het gebruik van evidence in het onderwijs. Want evidence impliceert de logica van het bewijs. En die logica maakt van ons allen gevangenen – gevangenen van een instrumentele, competitieve, resultaatgerichte kijk op leren en ontwikkelen die inmiddels echt wel genoeg schade aan onze samenleving en ons leefklimaat heeft toegebracht.

Jan Bransen
Academisch leider van het Radboud Teaching and Learning Centre
jan.bransen@ru.nl

---

Geef hieronder uw reactie op dit nieuwsitem

Leave this one empty:

Naam:

E-mailadres:

Don't fill in data here:

Reactie:

Don't put anythin in here: