Het belang van evidence based management (1)

Goeiedag, het is vandaag zondag 31 december 2017, ik ben Jozef Van Giel en dit is de 339^ste aflevering van deze podcast.
Vandaag starten we met een nieuwe reeks. Er komt een reeks over een onderwerp dat me erg interesseert en waarin het aantal charlatans veel groter is dan het aantal experts.
In deze en de komende afleveringen zal ik jullie een beeld geven van de belabberde toestand van consulting in human resource management, of de zogenaamde softskills. Dagelijks worden bedrijven aangesproken door consultants die hen proberen allerlei theorieën te verkopen die beloven mensen meer te motiveren, die beloven dat ze met die methode veel beter de juiste profielen kunnen aanwerven of promoveren in de organisatie, die beloven dat hun methodes verkopers vleugeltjes geven of die beloven dat je de creativiteit van teams kan boosten als je het team maar verdeelt volgens de types die met hun methoden geïdentificeerd kunnen worden.
Navraag naar de wetenschappelijkheid van die technieken laat je meestal in de kou. De overgrote meerderheid van deze consultants heeft ooit ergens een cursus gevolgd en denkt van zichzelf dat zij veel menselijk inzicht heeft en dat lijkt voldoende om het dan maar te gaan vertellen aan managers van bedrijven.
Voor de luisteraars van deze podcast is dit allemaal niet zo nieuw, in vroegere afleveringen hoorden jullie al Patrick Vermeren en onlangs ook Coert Visser over dit onderwerp. Patrick schreef overigens een boekje met de veelzeggende titel De HR-ballon, 10 populaire praktijken doorprikt.
Ik heb zelf ook al enkele afleveringen over het onderwerp ingesproken, maar deze keer wil ik er wat systematischer door gaan.
De twee net genoemde heren zijn enkelen van een handvol HR-consultants die hun job wel serieus nemen en de moeite doen om zich in de wetenschappelijke literatuur van hun beroep te verdiepen.
Maar deze zijn dun gezaaid. En dat is spijtig, want er bestaat eigenlijk redelijk veel materiaal en er is helemaal geen reden om je met onzinnige theorieën bezig te houden. Ik denk dat het zelfs schadelijk kan zijn.

In deze reeks zal ik jullie daarvan proberen te overtuigen. Maar vooraleer we daaraan beginnen, wil ik opnieuw ingaan op wat we verstaan onder een wetenschappelijke theorie. Ik zou willen pleiten voor het belang om in je beroepsleven zoveel mogelijk wetenschappelijk onderbouwd te werk te gaan. Ik zou jullie willen overtuigen dat het niet zoeken naar de best onderbouwde theorieën over je werk niet professioneel is.

Alles wat in deze reeks naar voren komt, is ook gebaseerd op degelijk wetenschappelijk materiaal. Ik zal zoveel mogelijk de links naar dat materiaal in de notitiepagina’s ter beschikking stellen. Niet noodzakelijk het originele wetenschappelijk onderzoek, maar indien niet, dan zal het artikel waarnaar ik refereer op zijn beurt verwijzen naar het origineel wetenschappelijk onderzoek. Op die manier kunnen jullie steeds alles terugvinden.

Enkele jaren geleden werd ik in een researchorganisatie verantwoordelijk voor innovatiebeheer. Mijn missie bestond erin om uit te zoeken wat we moesten doen om de creativiteit en de innovativiteit van onze mensen maximaal tot uiting te laten komen zodat deze ten dienste stond van de organisatie.
Aangezien ik niets van dit onderwerp afwist, ben ik in de wetenschappelijke artikelen gekropen en gaan zoeken naar materiaal dat mij hierbij verder kon helpen. Ik zat in een researchorganisatie en dat hielp, want zij hadden abonnementen op verschillende databases van wetenschappelijke literatuur en, tot mijn geluk, niet alleen over de technologie waarin zij actief waren, maar ook in de psychologie, didactiek enzovoort.

Die aanpak is trouwens niet origineel. Het is precies de manier waarop researchorganisaties werken. Ze maken een researchdocument. De eerste actie die je moet nemen als je een nieuw onderzoek start, bestaat erin om de Prior Art in kaart te brengen. Dat betekent dat je eerst begint te onderzoeken wat er al aan onderzoek gedaan is op het terrein van je project, door twee soorten bronnen te raadplegen:

1. De wetenschappelijke literatuur
2. De patenten.

Patenten waren niet direct relevant voor mijn onderwerp, maar het wetenschappelijk onderzoek des te meer.

Al snel leidt onderzoek naar innovatie en creativiteit je ook naar motivatie en leiderschapsstijlen.
De studie van de wetenschappelijke bronnen heeft veel van mijn overtuigingen over de menselijke psychologie doen herzien. Ik kwam tot volgende inzichten:

1. In tegenstelling tot mijn overtuiging tot dan toe zijn psychologie, sociologie en behavioral economics, niet zomaar wat ‘zachte’ studierichtingen. Er bestaat een hoop wetenschappelijk sterk onderbouwd onderzoek dat gerust naast onderzoek uit de zogenaamde ‘harde’ wetenschappen mag staan. Het is dus niet zomaar een verzameling intuïtieve bedenkingen van professoren, maar wel degelijk falsifieerbare hypothesen die empirisch onderzocht worden.
2. Heel wat van de theorieën die ik altijd als evident aannam, bleken gewoon verkeerd te zijn.
3. En wat erger is: meer dan 80% van wat er in de bedrijfswereld gebruikt wordt door HR-consultants en in het personeelsbeleid is onbewezen, of zelfs aangetoond fout. Heel veel van deze consultants zijn helemaal niet op de hoogte van het wetenschappelijke materiaal dat er bestaat en relevant is voor hun job. Het lijkt erop dat deze mensen meer bezig zijn met de klant ‘tevreden’ te stellen door sessies te organiseren waar iedereen zich goed bij voelt, dan door sessies te organiseren die voor de klant echt werken.
   Toevallig was het ook rond die tijd dat ik Patrick Vermeren voor het eerst ontmoette tijdens bijeenkomsten van Skepp. En zijn boeken hebben geholpen om in de berg aan wetenschappelijke literatuur mijn weg gemakkelijker te vinden.

Zijn boek De HR-Ballon was voor mij een mooie aanzet naar wat er fout is en zijn boek Rond Leiderschap was al heel diepgaand een rijke basis van wetenschappelijk onderbouwde theorieën.
Vooraleer we ingaan op bedrijfspsychologie wil ik eerst nog een ander punt aanhalen dat al in eerdere afleveringen aan bod kwam, maar misschien hier best nog eens duidelijk gemaakt wordt.
1.1. Waarom is de wetenschappelijke onderbouwing belangrijk?
De epistemologie is de tak van de wetenschap die zich bezig houdt met de vraag waarom we weten wat we weten, hoe we de waarheid kunnen achterhalen en of die wel te achterhalen is.
Epistemologie is waarschijnlijk even oud als de filosofie, maar sinds de verlichting heeft het toch een vlucht genomen. Een aantal filosofen die een belangrijke invloed hadden op de epistemologie zijn René Descartes, David Hume, Albert Russell, Karl Popper en Willard O. Quine.
Het demarcatieprobleem is een specifiek epistemologisch probleem dat zich bezig houdt met de vraag hoe je wetenschap van pseudowetenschap kan onderscheiden. Hoe onderscheidt betrouwbare kennis zich van fantasie.
Zonder alle details uit het demarcatieprobleem te bespreken, wil ik even ingaan op het falsificatieprincipe van Karl Popper. Popper beweerde dat het onmogelijk is om te bewijzen of iets waar is. Het is alleen mogelijk om te bewijzen dat iets onwaar is.
Popper illustreert dit met het middeleeuwse spreekwoord: “Het is zo waar als dat alle zwanen wit zijn”. Maar zelfs als je één miljoen zwanen onderzocht hebt, weet je nog niet zeker dat de wet ‘alle zwanen zijn wit’ juist is. Je hebt slechts één zwarte zwaan nodig om deze wet te falsifiëren. (Dat is dan ook wat er gebeurde bij de ontdekking van Australië waar er zwarte zwanen leven.)
Volgens Popper moeten goede wetenschappelijke theorieën
1. falsifieerbaar zijn. Dat betekent dat het mogelijk is om een proef uit te voeren waarmee kan worden aangetoond dat de theorie fout is, indien de proef in dit opzet slaagt. (bvb: zo zou de proef voor ‘alle zwanen zijn wit’ erin bestaan dat je een zwarte zwaan probeert te vangen. Voor de evolutietheorie is een mogelijke falsificatie het vinden van een konijnenfossiel in het Cambrium, zoals de bioloog J.B.S. Haldane voorstelde.)
2. vele falsificatiepogingen doorstaan hebben. Met andere woorden: er bestaan heel veel verschillende proefopstellingen waarbij men de voorspellingen van de theorie op de rooster legde en de theorie telkens overeind bleef.
3. een hoge voorspellende waarde hebben. Hoe nauwkeuriger de voorspellingen, hoe beter de theorie. Dat betekent dat ze in staat is verschijnselen te beschrijven die zich dan in de praktijk precies zo voordoen als de theorie voorspelt. De wetten van Newton bv. stellen ons in staat om op voorhand een ruimtesonde te lanceren die dan ook effectief de op voorhand berekende baan zal volgen. Dat wordt soms planetaire biljart genoemd. Er bestaat een YouTube film over de lancering van de Curiosity-rover naar Mars die dit heel mooi aantoont. Het filmpje is een animatie, maar het toont wat er echt gebeurd is. Maar vooral indrukwekkend omdat het de complexiteit van het ganse proces toont. Bij die landing is er echter geen enkele menselijke tussenkomst geweest. Dat was ook onmogelijk, omdat de volledige landing 20 minuten duurde terwijl de radiogolven er langer over doen om de aarde te bereiken. Met andere woorden, op het moment dat de controlebasis de signalen binnenkreeg dat het landingsproces gestart was, stond Curiosity al op de grond. Het volledige proces is met computersimulaties eerst uitgewerkt. Daarna is het allemaal gebouwd op basis van de resultaten van die simulaties. Een computersimulatie is uiteindelijk een implementatie van fysische wetten in een computer. Het feit dat de resultaten van die simulaties zo dicht bij de werkelijkheid kwamen is een prachtige falsificatiepoging van de wetten van de fysica.
Beweringen die niet voldoen aan het demarcatiecriterium zijn in principe niet meer waard dan een wilde gok of pure fantasie. Alfred Russell illustreerde dit punt heel helder met behulp van zijn astronomische theepot. Russell beweerde dat er ergens tussen Mars en Jupiter een theepot rond de zon draait. Russells theepot is niet falsifieerbaar. Het is namelijk onmogelijk om te bewijzen dat deze theepot niet bestaat. Dit denkexperiment maakt duidelijk dat de bewijslast voor het bestaan van die theepot bij Russell ligt en het dus niet aan de luisteraar is om te bewijzen dat die theepot niet bestaat. Het is ook duidelijk dat het feit dat we helemaal niets weten over die astronomische theepot de waarschijnlijkheid op het bestaan van de theepot niet op 50% brengt en de uitspraak “Russells theepot bestaat” even waarschijnlijk zou maken als de uitspraak “Russells Theepot bestaat niet”. Russell gebruikte deze analogie om duidelijk te maken dat het aan de religies is om te bewijzen dat hun god bestaat en niet aan agnosten dat hij niet bestaat. Op dezelfde manier ligt de bewijslast voor de werking van geneesmiddelen bij de producent; voor de waarde van astrologie bij de astrologen en voor de geldigheid van een model van de menselijke psychologie bij de psycholoog.
Het basisstandpunt dat bij deze werkwijze moet worden ingenomen, is waar we nu staan, zonder de te bewijzen theorie. Dat noemt men de nulhypothese. De nulhypothese bij Russell is: “de astronomische theepot bestaat niet”.
Een ander belangrijk aspect van een goede wetenschappelijke theorie is dat ze intern consistent is. Dat betekent dat ze niet met zichzelf tegenstrijdig mag zijn.
Externe consistentie betekent dan weer dat een theorie niet tegenstrijdig mag zijn met de bestaande, goed onderbouwde wetenschappelijke theorieën. (dat zijn de wetten van Newton, van Maxwell, de evolutietheorie, de relativiteitstheorie, de kwantumfysica en de thermodynamica.)
Externe consistentie is minder streng dan interne consistentie. Het is namelijk mogelijk dat één van die goed onderbouwde theorieën toch fout blijkt te zijn. In dat geval zou deze nieuwe theorie één van die oude theorieën moeten vervangen. Dat zou betekenen dat alle correcte voorspellingen die door de oude theorie gemaakt werden ook door de nieuwe theorie moeten gedaan worden en bovendien moet de nieuwe theorie ook de nieuwe bevindingen kunnen voorspellen die met de oude theorie niet konden voorspeld worden. De kans dat zo iets gebeurt is bijzonder klein en de bewijslast voor de beweerder van de nieuwe theorie zal zeer sterk moeten zijn.
Een belangrijk probleem bij wetenschappelijk onderzoek, en zeker als het gaat over menselijke reacties (zoals medische interventies, psychologie, sociaal gedrag…), is dat het onderzoeksproces kan worden beïnvloed door de vooroordelen van de onderzoekers en (eventuele) testpersonen. Bovendien kan je maar weten of een hypothese echt werkt als je de effecten van het onderzochte kan vergelijken met wat er gebeurt als je niets doet.
Daarom werd het dubbelblind gerandomiseerd onderzoek ontwikkeld dat geleidelijk aan de standaard aan het worden is binnen wetenschappelijk onderbouwde geneeskunde (EBM, Evidence Based Medicine). In het Engels kom je dikwijls de term RCT tegen wat staat voor Randomised Controled trial of gerandomiseerde gecontroleerde proeven.
Eén van de pioniers in deze discipline was Archie Cochrane, een Schotse arts die tijdens de tweede wereldoorlog als krijgsgevangene door de Duitsers werd aangesteld als gevangenisarts omwille van zijn opleiding en omdat hij Duits sprak. De gevangenen kregen last van hongeroedeem. Cochrane deelde de gevangenen op in twee groepen en gaf aan één van beide groepen gistsupplementen en aan de ander vitamine C. Na enkele dagen bleek de groep die gistsupplement kreeg duidelijk beter te worden. Deze test was het begin, het was echter nog niet geblindeerd.
Bij een dubbelblinde test wordt eigenlijk de nulhypothese getest. Bijvoorbeeld, als je wil onderzoeken of een medicament werkt, dan is de nulhypothese: “dit medicament is niet beter dan een placebo”. Om dat te onderzoeken, verdeel je de testobjecten in een controlegroep (die niets krijgt, of een nepbehandeling, of iets dat al gewoon gebruikt wordt) en een behandelde groep.
De objecten worden gerandomiseerd. Dat betekent dat ze door toeval worden opgedeeld in de ene of de andere groep.
Blindering betekent dat je ervoor zorgt dat de objecten niet weten of ze bij de controlegroep of bij de testgroep horen. Dat betekent ook dat de onderzoekers niet weten wie bij de controlegroep zit en wie niet. Dan spreken we van dubbele blindering. Dit gebeurt door de mensen een nummer te geven. Welk nummer bij welke groep hoort wordt bijvoorbeeld in een verzegelde omslag bijgehouden. De enveloppe wordt pas aan het einde geopend om de verdeling bekend te maken. En tenslotte mag ook diegene die de gegevens statistisch verwerkt niet weten welke groep de controle of testgroep is. Dat kan door de groepen gewoon A en B te noemen. Dat zijn de meest rigoureuze onderzoeken. Op dat moment spreken we van drievoudig geblindeerd. Aan het einde van de statistische verwerking wordt vrijgegeven wie bij welke groep hoort.
De resultaten van zo’n test worden gepubliceerd in een collegiaal getoetst (of in het Engels peer reviewed) tijdschrift. Dat betekent dat vóór publicatie het artikel anoniem kritisch geëvalueerd wordt door meerdere andere wetenschappers die de nodige expertise hebben. Het artikel wordt pas gepubliceerd als het door deze peer review passeert. Bij de beste tijdschriften doorstaat minder dan 5% artikelen deze kwaliteitstoets.
Een dergelijke publicatie is slechts een aanzet voor verder onderzoek, niet een wetenschappelijk feit. De onderzochte hypothese wordt nu ook door andere wetenschappers verder onderzocht en zijn geldigheid wordt versterkt indien meerdere onderzoeken de bevindingen bevestigen. Dan komen er overzichtspublicaties die een globaal beeld geven van de stand van zaken van het onderzoek op een bepaald thema. Een belangrijke database die dit doet voor medische artikelen is de Cochrane collaboration, genoemd naar Archie Cochrane die we eerder aanhaalden.
Tenslotte is het belangrijk te begrijpen dat er ook een probleem bestaat rond publicatiebias. Dat betekent dat onderzoeken met negatieve resultaten minder snel gepubliceerd worden dan studies met positieve resultaten, waardoor de stand van zaken er dikwijls beter uitziet dan de werkelijkheid. Het is alsof je met een dobbelsteen gooit, maar alleen het resultaat weerhoudt als het groter dan 3 is. Daarom wordt er (onder andere door Ben Goldacre) meer en meer gepleit om een publicatieplicht in te voeren. Dat betekent dat een onderzoeker verplicht is om een onderzoek te registreren vooraleer hij eraan begint. Als dat niet gebeurt mag het onderzoek niet gepubliceerd worden. Als het wel gebeurt, dan is hij verplicht om zijn resultaten te publiceren, ook als ze een negatief resultaat geven.
RCT’s hebben hun beperkingen omdat je ze alleen kan toepassen in een labo-opstelling en ze weinig zeggen over lange-termijneffecten. Bovendien zijn ze niet altijd mogelijk. Om de schadelijkheid van tabak te onderzoeken kan je moeilijk 200 mensen gedurende 20 jaar opsluiten in een labo en 100 daarvan verplichten om elke dag drie pakjes sigaretten te roken en de andere 100 dit verbieden.
Daarom bestaan er ook andere onderzoeksmethoden. Eén daarvan is het epidemiologisch onderzoek. Daarbij wordt een bepaalde populatie van de bevolking opgevolgd voor specifieke, op voorhand vastgelegde criteria. Dan wordt er op langere termijn gekeken of de gedefinieerde hypothesen (bvb: “roken verhoogt de kans op longkanker”…) kloppen.
Dubbelblind onderzoek wordt meer en meer gepromoot om gebruikt te worden in domeinen buiten de medische wereld. (Evidence Based Medicine EBM)
Zo was Florence Nightingale een pionier in Evidence Based Nursing, Daniel Kahneman en Amos Tverski in Evidence Based Psychology, Ben Goldacre pleit voor gebruik van EB onderzoeksmethoden in de politiek en het onderwijs. Esther Duflo heeft belangrijke inzichten verworven door RCT-onderzoek toe te passen op ontwikkelingshulp. Bijvoorbeeld: wat is de beste manier om muggennetten te verspreiden zodat ze effectief gebruikt worden. Bob Sutton en Jeffrey Pfeffer pleiten voor het gebruik van EB-technieken bij managementbeslissingen. En er bestaat een grote groep mensen die pleiten voor evidence based Human Resource Management, waarvan Frederik Anseel (UG) en Patrick Vermeren belangrijke pleitbezorgers zijn in België.

Ik denk dat iemand die zijn beroep op een professionele manier wil uitoefenen, gebruik moet maken van het best beschikbare bewijsmateriaal. In het Engels klinkt het beter, daar zegt met ‘the best available evidence’. Dat dekt de lading beter omdat men in het Engels een onderscheid maakt tussen evidence en proof. Proof is een bewijs zoals in de wiskunde. Evidence daarentegen zijn eerder bewijzen die bijdragen aan het verhogen van de betrouwbaarheid van de kennis, zonder op zich een definitief bewijs te zijn. Bij evidence is de hoeveelheid en kwaliteit van het bewijsmateriaal van belang, Eén goed uitgevoerde proof is echter niet voldoende om een feit definitief vast te stellen.
Besluit: als je geen gebruik maakt van de huidige stand van de wetenschap binnen je vakgebied, ben je een amateur of een charlatan.
Dus opnieuw: wetenschappelijke kennis is nooit definitief, maar het falsifiëren van bestaande kennis doe je door middel van argumenten die sterker zijn dan de oude en niet met behulp van oude theorieën die al gefalsifieerd waren. Ik ben dus altijd bereid om mijn mening te herzien als ik geconfronteerd wordt met de juiste argumenten.
Volgende keer zullen we zien dat de overgrote meerderheid van de HR-consultants op de markt amateurs zijn die de onderbouwde theorieën niet kennen en nog steeds geld verdienen met achterhaalde theorieën over gedrag, motivatie en typologieën.
We gaan die achterhaalde theorieën onder de loep nemen.

Het citaat van vandaag komt van Ben Goldacre. Het komt uit zijn boek wetenschap of kwakzalverij pagina 408.
Goldacre zei:

De grote farmaceutische industrie is niet bang voor de industrie van voedingssupplementen. Ze is die industrie.

Falsifieerbaarheid
Het konijn in het pre-cambrium

YouTube animatie over de landing van Curiosity op mars
De test met gisttabletten van Archie Cochrane