Podcast: Download
Dit is het tweede deel over klinische testen. Het eerste deel ging over placebo’s. Tijdens dit tweede deel spreken we over gecontroleerd gerandomiseerd klinisch onderzoek.
Stel dat je naar een wijnhandelaar gaat om voor een feestje de beste wijn te kiezen. Hoe ga je te werk? Door te proeven natuurlijk. De handelaar plaatst een aantal flessen voor je neus en een aantal glazen. Je schenkt de wijn in de glazen en dan proef je. Maar hoe weet je dat je echt de beste wijn hebt gekozen? Misschien heb je je laten verleiden door de mooiste fles of het indrukwekkendste etiket. De eerste oplossing is om ervoor te zorgen dat je de flessen niet bij de glazen zet, zodat je niet weet welke wijn uit welke fles komt. Natuurlijk is het op het einde wel belangrijk dat je weet welke wijn uit welke flessen komt want je wil uiteindelijk flessen kopen van de wijn die je het beste vindt. Daarom vraag je aan de wijnhandelaar dat hij de wijn in het glas doet zonder dat je het kan zien. Op die manier proef je de wijn zonder beïnvloed te zijn door de fles. Maar er is nog altijd een probleem. De wijnhandelaar weet namelijk nog altijd welke wijn hij je heeft ingeschonken en hij wil je natuurlijk de wijn verkopen waarop hij de grootste winst kan maken. Je zal onbewust naar zijn gelaatsuitdrukkingen kijken terwijl je proeft en dat zal zeker je keuze beïnvloeden. Het probleem is dat je proef hier maar enkelblind gebeurt.Dus zal je de handelaar vragen om glazen te nummeren. Dan vraag je aan de wijnhandelaar dat hij alle glazen vult en het nummer van het glas op de fles schrijft. Hij moet dit allemaal doen zonder dat je zelf ziet wat er gebeurt. Bijvoorbeeld in een andere kamer. Hij moet de glazen dan naast elkaar zetten op een tafel, zonder dat je dat ziet. Als hij klaar is moet hij je roepen dat je mag komen proeven en moet hij weg gaan, want hij kent ondertussen natuurlijk de nummers van de glazen en de flessen. Je proeft en schrijft het nummer van de wijn die je het lekkerste vond op een blad. Nu is de wijn dubbelblind geproefd. Je kan natuurlijk nog inbrengen dat je ook niet beïnvloed wil worden door het kleur van de wijn. In dat geval vraag je om zwarte ondoorzichtige glazen te gebruiken. Voor wijn is het ganse opzet natuurlijk banaal. Bovendien spelen de vorm van de fles, het etiket en de plaats waar je het kocht, en alle mythische verhalen rond je wijn mee in de beleving van het drinken. Van wijn drinken kan je alleen maar zat worden, maar van geneesmiddelen kunnen mensenlevens afhangen.
Nu we meer inzicht hebben in het placebo effect, wordt het natuurlijk duidelijker waarom in de geneeskunde persoonlijke getuigenissen totaal waardeloos zijn om te bepalen of een middel inderdaad voor een genezing zorgde of niet. Er zijn zoveel factoren die kunnen meespelen in het genezingsproces. Bovendien is het onmogelijk om een onderscheid te maken tussen betrouwbare en onbetrouwbare getuigenissen. In deze context betekent onbetrouwbaar trouwens helemaal niet dat de getuige oneerlijk zou zijn, de zaak zou proberen te manipuleren of gewoonweg bedrog zou willen plegen. Het kan heel goed zijn dat de getuige gewoon een inschattingsfout maakt. Dus, met het wijnexperiment in ons achterhoofd proberen we nu een manier te vinden om uit te vissen of een medicatie echt werkt. Hiervoor nemen we een vrij grote verzameling van testpersonen. Er bestaan heel ingewikkelde statistische onderzoeksmethoden die je kunnen helpen bepalen hoeveel testpersonen je nodig hebt om een betrouwbaar resultaat te krijgen, maar daar ga ik niet dieper op in. Wat wel interessant is om weten is dat het aantal benodigde personen helemaal niet afhangt van de grootte van de volledige bevolking waarover je iets wil zeggen. Het hangt wel af van hoeveel groter het verwachte effect is ten opzichte van het placebo. Hoe kleiner het verwachte verschil, hoe groter de testgroep moet zijn. Nu deel je de testpersonen op in twee groepen. De ene groep krijgt een placebo en de andere groep het te testen medicament.
Hier duikt er al een probleem op. Als de proefpersonen weten of ze een echt medicament of een placebo krijgen, dan zal het eerder besproken placebo-effect enkel werken bij de medicatiegroep en niet bij de placebogroep, omdat die laatste weet dat ze toch niets krijgen. Dus moeten we ervoor zorgen dat de patiënten niet weten of ze een placebo dan wel het echte geneesmiddel krijgen. Dat noemt men een enkelblind onderzoek.Dubbelblind
Maar er is nog een probleem, want de arts die de patiënten onderzoekt, weet wel wat hij aan wie gaf. Bijgevolg kan hij, net als die wijnhandelaar door zijn uitdrukkingen aan de patiënten verraden bij welke groep ze zitten. Bovendien kan hij onbewust zijn beoordeling van het genezingsproces laten beïnvloeden door die voorkennis. Dus moet je een derde persoon inschakelen. Laten we die de onderzoeker noemen. Die onderzoeker zal ervoor zorgen dat de placebo’s en de echte medicamenten er identiek uitzien en in dezelfde doosjes zitten. Hij zal er ook voor zorgen dat de doosjes een nummer krijgen en hij zal zelf een lijst bijhouden waarop staat welke nummers een placebo en welke nummers een echt medicament hebben. Dat wordt de dubbelblinde test genoemd.
Gerandomiseerd
Maar dan is er nog altijd een probleem, want de kans is groot dat de onderzoeker één of ander systeem in zijn nummering steekt, zoals bijvoorbeeld alle even doosjes placebo’s of de eerste helft. In feite gaat het nog verder omdat een mens altijd geneigd is om patronen op te bouwen, zelfs als hij probeert om er geen patroon in te steken zal hij dat toch doen. Mensen zijn heel goed in patronen, zo goed dat ze het heel moeilijk hebben om geen patronen te volgen. Je moet maar eens proberen: vraag aan iemand om een willekeurig getal te zeggen van één tot en met 10. Men zal bijna nooit 1, 5 of 10 zeggen, omdat men dat geen toevallige getallen vindt. Als je aan 1000 mensen deze vraag stelt, dan zouden alle getallen ongeveer evenveel moeten voorkomen, maar niet precies evenveel. Nochtans zullen in werkelijkheid 1, 5 en 10 minder voorkomen. Daarom laat men de beslissing over die nummers niet over aan een mens, maar aan het toeval. Een primitieve methode bestaat erin dat je een muntje of een dobbelsteen gooit. Maar tegenwoordig laat men de toewijzing berekenen door een toevalsgenerator in een computer. Dat noemt men een gerandomiseerde test. Of, een dubbelblind gerandomiseerde test als je de vorige stappen mee in rekening brengt.
Driedubbelblind
Maar er is nog steeds een probleem. Tot nu toe hebben we de indruk gegeven dat de resultaten van de test enkel bestaan uit twee mogelijke antwoorden. (bvb genezen of niet genezen.) In werkelijkheid zijn de resultaten dikwijls veel subtieler en moeten er correcties worden verwerkt omwille van specifieke zaken die de test zouden kunnen beïnvloeden. Bovendien gaan we ervan uit dat alle proefpersonen de volledige test volgen. Maar in werkelijkheid loopt er van alles mis. Als het over ernstige zaken gaat, gaan er mensen dood tijdens de test, maar soms hebben proefpersonen gewoon geen zin meer om mee te doen, of moeten mensen worden afgevoerd van de test vanwege neveneffecten of wat dan ook. Daarom worden de gegevens door de onderzoeker statistisch verwerkt om tot de juiste conclusies te kunnen komen. Als hij dan tijdens het statistisch onderzoek al weet welke resultaten voor welke groep gelden, dan zou het kunnen dat hij de conclusies zal beïnvloeden ten gunste van wat hij wil bewijzen. Daarom worden de statistieken ook geblindeerd. Dat betekent dat de onderzoeker wel te weten komt welk doosjes bij groep a en welke doosjes bij groep b horen, maar hij weet niet welk van beide groepen het medicament is en welk de placebo. Als we dit volledig proces gevolgd hebben, dan spreken we van een driedubbel blind gerandomiseerde test.
Het publicatievoordeel en publicatieplicht
Maar we zijn nog altijd niet uit de problemen. Het is nogal dikwijls zo dat de onderzoeker die de effectiviteit van een medicament onderzoekt, dat in opdracht van de producent doet. Bovendien komt een onderzoeker die jaren gewerkt heeft liever met positieve resultaten naar buiten. En dan is het natuurlijk verleidelijk om de resultaten van de test niet te publiceren als ze negatief zijn. De mogelijkheid om zo’n beslissing te nemen noemt men het publicatievoordeel. Maar je kan dat nog verder drijven, want je kan natuurlijk nog een onderzoek doen. En aangezien de testpersonen willekeurig gekozen zijn en je al hun eigenschappen niet in de hand hebt, bestaat er altijd een kans dat een goed uitgevoerde test, die volgens bovenstaande criteria werd uitgevoerd, toch een vals resultaat geeft. Meer nog, als je lang genoeg opnieuw testen uitvoert, dan zal je op den duur tot een resultaat komen dat je verwachtingen bevestigt. En dan kan je natuurlijk alle negatieve onderzoeken gewoon negeren en alleen het positieve onderzoek publiceren. Dat noemt men de publicatiebias. Het is daarom dat wetenschappelijke tijdschriften tegenwoordig meer en meer onderzoekers verplichten om hun onderzoek op voorhand te registreren. En dan zijn ze ook verplicht om de resultaten te publiceren.
Peer review
Bovendien is het belangrijk dat de publicatie gebeurt in gerenommeerde wetenschappelijke vakbladen, de zogenaamde “peer reviewed” tijdschriften. “Peer reviewed” betekent letterlijk “nagezien door je evenknie, of dat je artikel voor publicatie eerst nog eens wordt gecontroleerd door vakgenoten. Op die manier wordt het kaf van het koren gescheiden en zorgt men voor een zeker kwaliteitsniveau.
Herhaalbaarheid
Ten slotte wordt een dergelijk onderzoek pas door de wetenschappelijke wereld aanvaard op het moment dat het herhaalbaar is. De publicatie in een wetenschappelijk tijdschrift mag niet geïnterpreteerd worden als het punt waarop deze resultaten als wetenschappelijke feiten worden aanvaard. Zo’n publicatie moet geïnterpreteerd worden als een bekendmaking van de resultaten aan de collega’s van dezelfde discipline. Dat moet dan resulteren in een aantal nieuwe onderzoeken waarbij andere wetenschappelijke labo’s deze testen proberen te herhalen. Er wordt pas een wetenschappelijke consensus bereikt op het moment dat verschillende andere onderzoeksteams de resultaten van de eerste bevestigd hebben.
Populaire pers
In feite zou de populaire pers pas op dat moment het grote publiek, dat geen inzicht heeft in deze procedure, mogen berichten over de conclusies. Maar in de praktijk loopt het bijna altijd fout omdat journalisten nu eenmaal onder druk staan om met spectaculair nieuws te komen. Bovendien zijn er steeds minder kranten die echte wetenschappers aanwerven voor het wetenschapsnieuws. Slechts bij een handvol kwaliteitskranten in Vlaanderen en Nederland heeft de wetenschapsredactie wetenschappers in dienst.
2.9. Absolute zekerheid
Het is belangrijk om hierbij ook op te merken dat, zoals we ook in de vorige aflevering zagen, absolute zekerheid nooit bestaat. Dat is een rechtstreeks gevolg van het demarcatiecriterium van Karl Popper. Maar tot nu toe is de hierboven beschreven procedure de best beschikbare. Zoals je ziet is wetenschap geen magische term van mensen die gewichtig doen, maar een verzameling werkwijzen die door vallen en opstaan zich hebben gecumuleerd tot steeds betere processen om tot steeds betrouwbaarder resultaten te komen.
ONDERZOEK OP ALTERNATIEVE THERAPIEËN
Onderzoeken die op alternatieve therapieën worden uitgevoerd, zijn bijna nooit volgens de bovenstaande procedures uitgevoerd. En naarmate ze dichter komen bij deze kwaliteitseisen, worden de resultaten steeds negatiever. Dat is ook niet verwonderlijk want op het moment dat bovenstaand onderzoek slaagt, wordt de behandeling automatisch niet meer alternatief. Zoals je ziet, houdt het argument dat bijvoorbeeld homeopathie niet wetenschappelijk te testen is omdat het een individuele behandeling is, geen steek. Een driedubbel gerandomiseerde test kan je zelfs opzetten voor een therapie waarbij de arts aan elke patiënt iets anders geeft omdat hij ook rekening houdt met zijn dromen, de leeftijd van zijn moeder en de haarkleur van zijn vrouw. Wat je moet doen is de therapeut laten beslissen welke bereiding elke patiënt krijgt en dan laat je een computer beslissen of de apotheker het voorgeschreven middel moet prepareren dan wel een placebo in het flesje moet doen. De rest van de test kan dan ongeveer lopen zoals hierboven beschreven.
MANUELE THERAPIEËN
Doordat homeopathie met flesjes en pilletjes werkt, is het gemakkelijk om een geblindeerde test op te zetten, maar het wordt een stuk moeilijker natuurlijk als je een manuele therapie wil onderzoeken zoals bijvoorbeeld acupunctuur, osteopathie of chiropraxie. Bovendien is het belangrijk om te vermelden dat van veel handelingen van kinesitherapeuten de werking nog niet op een rigoureuze manier bewezen is. Toch is er een belangrijk verschil met de alternatieve behandelingen. Kinesitherapie is gebaseerd op een degelijke kennis van de anatomie en een begrip van de werking van het lichaam. Dat is iets totaal anders dan een therapie dat zich baseert op een onjuist begrip van de biologie, zoals energiebanen of subluxaties die niet bestaan En toch is het mogelijk om zulke onderzoeken te blinderen, alhoewel niet zo rigoureus en het vergt wat fantasie. Bij acupunctuur bijvoorbeeld worden testen gedaan waarbij de naalden in een schede geschoven worden. De therapeut en de patiënt weten niet of de naald in de schede schuift dan wel in het lichaam van de patiënt doordringt.
Er is onlangs een onderzoek gebeurt waarbij de patiënten opgesplitst werden in 3 groepen: Echte acupunctuur, nepacupunctuur, waarbij de patiënt wel naalden in zijn lijf geduwd kreeg, maar niet op de plaatsen die voorgeschreven werden door de leer, en tenslotte nepacupunctuur waarbij de naalden in een schede schoven. Het resultaat van de studie was dat de nepacupunctuur even goed werkte als de echte en dat deze waarbij de naalden in de schede schoven iets beter presteerde. Je kan ook een manier bedenken waarbij je therapeuten opleidt volgens de voorgeschreven methode of volgens een valse methode. Natuurlijk laat je mensen geen jarenlange opleiding volgen in een therapie die bewust vals is alleen om als placebotest te dienen. Maar je kan gemakkelijk gedurende enkele dagen mensen opleiden voor één specifieke behandeling. De moraliteit gebied dan natuurlijk om iedereen na het onderzoek te informeren over de juiste methode en natuurlijk ook over de resultaten van de test want mogelijkerwijze was het besluit van de studie dat ook de geteste methode niet juist is. Ook bij deze behandelingen stel je telkens weer vast dat hoe beter de onderzoeken worden uitgevoerd, hoe minder effect de behandeling blijkt te hebben tot de effecten puur statistisch uit te leggen zijn.
“Wetenschap is eenvoudigweg gezond verstand op z’n best, dat betekent, strikt en accuraat in observatie en meedogenloos tegenover logische misvattingen.”
Tot de volgende keer
[…] vastgesteld dat het uiteindelijk twee delen worden. Het eerste deel zal gaan over placebo’s, het tweede deel over het eigenlijk gecontroleerd klinisch onderzoek. […]