Science versterkt de redactie met een panel van zeven statistici. Die moeten manuscripten (laten) checken zodra de redactionele staf of de peer reviewers de data-interpretatie van de auteurs niet helemaal vertrouwen, heeft hoofdredacteur Marcia McNutt bekend gemaakt.
Het ‘statistics board of reviewing editors’ (SBoRE) is de zoveelste reactie op de Japanse zurestamcellenaffaire, al had die eigenlijk niets met statistiek te maken.
Eerder deze week moest concurrent Nature twee geruchtmakende publicaties intrekken omdat de auteurs op z’n minst nogal slordig bleken te zijn geweest. Er gaan geruchten dat Science ze eerder had geweigerd omdat ze daar wél hadden opgemerkt dat er iets mis was met de illustrates. In bedekte termen heeft Nature toegegeven dat de steekproefsgewijze interne controle op zulke fouten te wensen overliet en voortaan flink wordt verscherpt.
Maar de fouten die in de tekst stonden hadden ze bij Science net zo min kunnen ontdekken als bij Nature, tenzij de redactie en/of de peer reviewers bij de experimenten aanwezig was geweest. Als een fout al in het labjournaal staat, houdt alles op.
Het drama heeft het bewustzijn versterkt dat er met het huidige publicatiecircus iets grondig mis is. Zeker in de biomedische hoek zijn er al langer klachten dat héél veel publicaties conclusies bevatten die in een ander lab niet reproduceerbaar zijn, wat doet vermoeden dat de auteurs óf de boel óf zichzelf voor de gek hebben gehouden. En dat heel wat van die auteurs op een rare manier met statistiek om gaan teneinde hun data mooier te laten lijken dan ze eigenlijk zijn, is ook een publiek geheim.
Maar áls het al mogelijk is om die fouten er voor publicatie uit te halen, dan vraagt dat heel veel specialistische kennis en moeten die specialisten er ook nog een hoop tijd in steken. Zeker van zeer breed georiënteerde bladen als Nature en Science kun je gewoon niet verwachten dat ze voor álles een specialist in huis hebben - met als gevolg dat ze uiteindelijk hun geloofwaardigheid dreigen te verliezen. Tenzij ze zoveel mensen in dienst nemen dat publiceren onbetaalbaar wordt.
Eerder deze week stelde Nature al dat onderzoeksinstellingen zelf óók beter moeten gaan letten op wat ze insturen. Maar zolang het systeem zo in elkaar zit dat méér publiceren belangrijker is dan zorgvuldig publiceren, ontbreekt een essentiële prikkel voor kwaliteitscontrole.
Eens zien waar dit schip strandt.
Nog geen opmerkingen