Schrijvers van analytische software zijn soms gezegend met een rijke fantasie, en niemand die het merkt. Het onderwijs zou wat meer statistisch bewustzijn moeten kweken, meent chemometrist Klaas Faber.
“Als Marion Jones na een negatieve B-staal zegt: ‘Dit bewijst dat ik nooit doping heb gebruikt’, dan geloven veel mensen dat ook nog.” Volgens Klaas Faber is het hoog tijd dat het onderwijs meer aandacht gaat besteden aan de grondslagen van de statistiek. Het hoeft geen struikelvak te worden, als het maar bewustwording kweekt: “Wat ik zou willen bereiken is dat mensen wat kritischer worden en niet blindelings vertrouwen op hun software.”
Faber werkt al jaren als onafhankelijk adviseur op het gebied van de chemometrie. Als zodanig komt hij veel over de vloer bij leveranciers en gebruikers van analyseapparatuur, en moet daar telkens weer constateren dat het statistisch benul aan de magere kant is.
Fout
Als voorbeeld van de gebrekkige kennis schetst Faber de manier waarop je een detectielimiet bepaalt, bijvoorbeeld bij dopingtests. “Je hoort aan te nemen dat de atleet onschuldig is en dat de procedure hem moet beschermen, dus je gaat uit van de nulhypothese. Ga voor het gemak van de normale verdeling uit. Met een andere verdeling krijg je andere getalwaardes, maar de redenering blijft hetzelfde. Via die normale verdeling bepaal je de beslisgrens, dat is de concentratie waarbij je voldoende zeker weet dat de atleet toch schuldig is. Als je bijvoorbeeld 5 procent kans op een vals-positieve uitslag accepteert, dan ligt de beslisgrens op 1,65 maal de standaardafwijking. De detectiegrens daarentegen is de concentratie waarvan je voldoende zeker weet dat je die zult meten, bijvoorbeeld omdat de kans op een vals-négatieve uitslag kleiner is dan 5 procent. Vaak ligt die concentratie een factor 2 boven de beslisgrens. Het is dus fout om meteen de conclusie ‘niet gemeten’ te trekken zodra je beneden de detectiegrens zit. Toch wordt deze fout heel vaak gemaakt. Je ziet zelfs dat het vast zit ingebouwd in apparaatsoftware, of in een LIMS.”
Happy users
Het wonderlijke is dat de beschreven foutieve manier van meten juist de kans vergroot dat een dopinggebruiker door het net glipt. Het besluit dat iemand positief is, valt immers pas bij een veel hogere meetwaarde. Faber vermoedt dat veel dopinglabs zo werken om de pijnlijke gevolgen van vals-positieve uitslagen te vermijden. “Dat op een positieve A-staal vrijwel nooit een negatieve B-staal volgt, doet vermoeden dat het ook aardig lukt.”
Hoogstwaarschijnlijk zitten in die software nog wel ergere fouten. “Dat valt vaak af te leiden uit specificaties, of uit het experimentele gedeelte van wetenschappelijke artikelen”, legt Faber uit. Volgens hem is er de afgelopen decennia heel weinig aan verbeterd. “Alleen aan de datavoorbewerking. Wat er daarna wordt uitgerekend, is hetzelfde. De fouten zitten vaak echt niet in het tweede of derde cijfer achter de komma. Maar de gebruikers blijven happy users.”
Faber meent dat de instrumentenfirma’s zelf vaak niet eens weten wat er in de chemometrie allemaal wordt ontwikkeld. Het gros van de gebruikers komt er al evenmin achter, gewoon omdat ze geen tijd hebben om zich erin te verdiepen. Hun kennis van de meetmethoden doen ze vooral op tijdens cursussen die de fabrikanten zelf organiseren. “Zo gaat het in een cirkel, en niet alleen in de analysewereld.”
Faber vermoedt zelfs dat softwaremakers soms hun eigen, creatieve rekenmethoden bedenken, die theoretisch totaal onjuist zijn. En dan maken ze ook nog reclame voor hun ‘unieke’ benadering. “Maar als je praat over statistiek kun je iets gewoon niet op vijf verschillende manieren doen.”
Vandaar dat het volgens hem hoog tijd is om voldoende statistiek op te nemen in de laboratoriumopleidingen. “De gemiddelde gebruiker is niet het type dat kritische vragen stelt. Dat zouden ze op school moeten leren. Later hebben ze er geen tijd meer voor. Bewustwording kán, omdat er in Nederland een goed ontwikkeld labonderwijs is. Daar moet je wel wat kunnen bereiken.” |
Bron: C2W5, 15 maart 2008
Nog geen opmerkingen