Zeven tips om wetenschappelijke papers te beoordelen

Op sociale media worden we om de oren geslagen met allerlei wetenschappelijk klinkende beweringen, vaak gepaard met een studie of publicatie in een wetenschappelijk tijdschrift. Het is niet altijd eenvoudig om zelf de betrouwbaarheid van die studies in te schatten. Zeker niet als het om een complex onderwerp gaat. Hier vind je zeven eenvoudige tips en tools die een goede lakmoesproef kunnen zijn.

5 mei 2023

Enkele van deze tips verschenen eerder in een factcheck van dezelfde auteur.

Waar vind je de studie terug?

Meestal verschijnen onderzoeken in databases zoals Pubmed (check). Dat is een database die wetenschappelijke publicaties verzamelt, ondersteund door de Amerikaanse overheid. Het is een slecht teken als een studie daar niet op staat. Maar het betekent niet dat een studie die op Pubmed staat sowieso van goede kwaliteit is.

Ook door welk tijdschrift het artikel werd gepubliceerd, is van belang. Sommige uitgevers van journals staan bekend als roofuitgevers, die rooftijdschriften uitgeven. Artikels daarin zijn niet steeds nauwkeurig nagelezen of hebben niet altijd het normale “peer review”-proces doorlopen. Roofuitgevers proberen met valse beloften onderzoekers te verleiden om bij hen te publiceren. Ze vragen hiervoor vaak heel wat geld, maar hun beloftes worden zelden ingelost. Rooftijdschriften publiceren dan ook veel ondermaatse artikelen.

Online kan je lijsten vinden met daarin bekende rooftijdschriften (check) en -uitgevers (check). Let wel op: er zijn ook rooftijdschriften die in de lijsten nog niet werden opgenomen.

Het kan ook nuttig zijn om te kijken of een tijdschrift geregistreerd staat bij databases zoals DOAJ (check) en COPE (check). Als een tijdschrift niet in één van die databases staat, is de kans groot dat het niet zo kwalitatief is. Een andere inschatting van de kwaliteit van een tijdschrift kan gemaakt worden met behulp van sites zoals Scimago (check). Deze rankingsite deelt tijdschriften op in kwartielen. De belangrijkste 25% tijdschriften in een vakdomein worden geklasseerd als “Q1”, het beste kwartiel. De 25% minst belangrijke, en vaak slechtere, tijdschriften komen in het vierde kwartiel, Q4, terecht. Daartussen ligt nog het tweede en derde kwartiel. Dit geeft een indicatie, maar is niet 100% waterdicht.

Wie heeft de studie geschreven?

Een immunoloog kan doorgaans weinig zinnigs zeggen over neurochirurgie en vice versa. Toch gebeurt het. Zo verscheen in december 2021 een peer reviewed artikel van een neurochirurg waarin heel wat desinformatie over immunologie stond. De studie werd gepubliceerd in een tijdschrift over neurochirurgie, waar de auteur van die studie ook redacteur is. Dat is een opvallende conflict of interest dat alarmbellen doet afgaan. Een korte achtergrondcheck over de auteur kan dus al belangrijke informatie geven.

Wat is er precies onderzocht?

Toen we nog weinig wapens hadden tegen COVID-19 werd veel geëxperimenteerd met geneesmiddelen die eigenlijk voor een andere ziekte ontwikkeld waren. Één daarvan was hydroxychloroquine, vaak gebruikt tegen malaria. Een zeer spraakmakende Franse studie heeft heel wat mensen, wetenschappers maar ook leken, overtuigd dat het middel patiënten met COVID-19 zou genezen.

Er zijn best wat problemen met deze studie. Zo keek het onderzoek naar hoe lang het duurde voordat de PCR-test negatief werd bij patiënten met COVID-19 in het ziekenhuis. Daar leek het een positief effect te hebben, maar een persoon in het ziekenhuis wil in eerste instantie weer beter worden. Dat een of andere test al dan niet positief is, maakt dan niet erg veel uit.

Dit vormt het verschil tussen surrogaat-eindpunten en klinische eindpunten. Het eerste zijn vaak testresultaten waar je niets van merkt, zoals de hoeveelheid cholesterol in het bloed. Klinische eindpunten (check) zijn zaken die je zelf wel effectief voelt, zoals of je effectief een hartinfarct krijgt of niet. Om te onderzoeken of hydroxychloroquine COVID-19 wel of niet geneest, zijn studies die kijken naar echte klinische eindpunten veel belangrijker. Die studies geven aan dat het middel jammer genoeg niet werkt.

Hoe sterk is het bewijs dat een studie aanlevert?

Het is niet altijd eenvoudig om de methodologie van een studie te doorlezen en begrijpen. Maar het is wel heel belangrijk om de waarde van de conclusie te kunnen inschatten. Sommige studies zijn krachtiger dan andere. Dat heeft te maken met het aantal deelnemers, maar ook met de manier waarop de studie is uitgevoerd.

Een belangrijk voorbeeld van zo'n methodologie zijn retrospectieve studies: in dit soort onderzoek wordt informatie over patiënten verzameld wanneer alles achter de rug is. Dan kunnen patiënten opgedeeld worden in groepen (zoals een groep die een bepaald medicijn wel of niet kreeg) en die groepen vergeleken worden (bijvoorbeeld het aantal sterftes in beide groepen). Hier worden testpersonen niet willekeurig over de twee groepen verdeeld, waardoor allerlei andere factoren de statistische analyse kunnen verstoren.

Een voorbeeld is deze studie over ivermectine, een middel tegen parasitaire infecties. Dat werd uitgevoerd bij patiënten met COVID-19 met data uit de eerste golf in de Verenigde Staten. De studie concludeert dat er minder overlijdens zijn bij patiënten behandeld met ivermectine. Maar de patiënten die dat middel niet kregen, werden eerder in de golf opgenomen, terwijl patiënten die wel met ivermectine behandeld werden, meer naar het einde van de golf werden opgenomen. Toen hadden artsen al meer ervaring met het behandelen van coronapatiënten, wat het verschil in sterfte kan verklaren.

Retrospectieve studies hebben zeker hun nut, maar om grote claims te maken, is het belangrijk om krachtigere onderzoeksmethodes te gebruiken, zoals gerandomiseerde studies en systematische review-artikelen. Studies met zo’n opzet concluderen vaker dat ivermectine niet werkt.

Gerandomiseerde studies (check) zijn onderzoeken waarbij patiënten willekeurig in twee of meerdere groepen verdeeld worden. De patiënten in de verschillende groepen moeten zo vergelijkbaar mogelijk zijn, op één aspect na: ze worden met een verschillend middel behandeld, zoals een experimenteel medicijn tegenover een niet-werkzaam placebo. Verschillen tussen het ziekteverloop in de groepen zijn dan alleen toe te schrijven aan de behandelingen.

Wetenschappers die een systematische review (check) uitvoeren beginnen doorgaans met heel breed te zoeken welke studies allemaal interessant kunnen zijn voor de onderzoeksvraag. De review onderzoekt de verzamelde studies op hun kwaliteit en maakt een synthese van de conclusies. In een meta-analyse (check) wordt iets vergelijkbaars gedaan: wetenschappers doen een diepgaande analyse op basis van cijfermateriaal samengenomen uit verschillende studies. Beide studie-methodes kunnen nuttig zijn om onduidelijkheid en onzekerheid op te helderen.

Wat zeggen andere wetenschappers?

Er wordt heel wat gediscussieerd in de wetenschappelijke wereld, soms via reacties in tijdschriften op een studie, soms meer informeel op websites zoals pubpeer of op sociale media. Die discussies kunnen tot waardevolle inzichten leiden, en tekortkomingen of fouten in studies aantonen die nog niet opgemerkt werden op het moment van publicatie.

De website Pubpeer (check) is daarbij interessant, omdat daar de interactie een pak vlotter kan verlopen dan bij reacties in tijdschriften. Het duurt namelijk een tijdje voordat die in tijdschriften gepubliceerd kunnen worden. Pubpeer heeft een plugin ontwikkeld voor Google Chrome die automatisch aangeeft of een artikel op Pubmed reacties heeft op Pubpeer.

Hoe formuleren de auteurs hun bevindingen?

Het is een kunst om in een conclusie correct de resultaten van een studie samen te vatten. Sommige wetenschappers durven daarin al eens te overdrijven. Een conclusie kan helemaal ontsporen als nieuwssites het oppikken of het een eigen leven gaat leiden op sociale media, waar nog meer nuance verloren kan gaan. Het is dus belangrijk om te checken of de resultaten effectief overeenkomen met wat er over de studie beweerd wordt.

Mensen die bewust foute informatie verspreiden, richten zich heel vaak op de emoties (check) van hun publiek. Het lokt vaak kwaadheid, haat of angst uit. Hetzelfde gebeurt soms bij publicaties in de wetenschappelijke literatuur. Een goed voorbeeld is het eerder vermelde artikel van een neurochirurg over COVID-19. Daarin sprak de chirurg over het “China-virus” en gebruikte hij andere alarmistische en overdrijvende taal over zogenaamde bijwerkingen van de coronavaccins. Als je een artikel leest dat zo'n taalgebruik hanteert, is het goed om even een stap terug te nemen om objectief te blijven kijken naar de inhoud en onderbouwing.

Hebben andere studies een vergelijkbare conclusie behaald?

Het is bijna een statistische wetmatigheid dat vijf procent van alle statistische tests (check) resulteren in statistisch significante uitkomsten (uitgaande van de veelgebruikte significantiegrens van 0,05). Dat betekent dat, als je twintig keer onderzoekt of geurkaarsen al dan niet beschermen tegen overlijden aan het coronavirus, je wellicht minstens één keer zal vinden dat geurkaarsen een statistisch significant effect hebben op overlijden. Dat is onzin, maar zo’n studies bestaan weldegelijk.

Een ander, soortgelijk probleem is dat er zo veel vergelijkingen gemaakt worden tussen groepen dat er sowieso wel eentje uitkomt die statistisch significant is. Maar dat betekent daarom nog niets. Ga daarom na of er nog gelijkaardig onderzoek bestaat dat de bevindingen bevestigt of ontkracht.

Sommige wetenschappers frauderen gewoonweg hun resultaten. In anonieme vragenlijsten van voor de pandemie gaf 2% van de wetenschappers toe ooit al wetenschappelijke fraude gepleegd te hebben. Er zijn talloze voorbeelden te vinden van wetenschappelijke fraude, die soms schade aanrichtten bij patiënten.

Bijkomend is dat studies die, al dan niet per toeval, een statistische significantie bekomen veel vaker gepubliceerd worden dan studies die dat niet hebben. En als zo’n studies zonder statistisch significant resultaat al gepubliceerd worden, is de kans kleiner dat ze worden opgenomen in de eerder genoemde systematische reviews en meta-analyses.

Conclusie

1: Staat het onderzoek in een kwalitatief wetenschappelijk tijdschrift of in een verdacht rooftijdschrift?

2: Doe een achtergrondcheck van de auteur(s): zijn zij specialist in de materie?

3: Wat werd er precies onderzocht: zijn het testresultaten of klinische resultaten?

4: Check de onderzoeksmethode: gerandomiseerde studies en systematische reviews leveren krachtiger bewijs dan retrospectieve studies.

5: Check via een website als pubpeer wat andere wetenschappers over de studie melden.

6: Let op het taalgebruik: zijn conclusies genuanceerd verwoord of wekken ze emoties op?

7: Een significant verband wil nog niets zeggen: ga na wat de resultaten zijn van gelijkaardig onderzoek.

✻

Geraadpleegde Bronnen

Andreas Huysman

Andreas is in 2023 afgestudeerd als arts aan de UGent, met vooral interesse in immunologie en infectieziekten. In het academiejaar 2023-2024 studeert hij een master immunologie aan de universiteit van Oxford. Sinds mei 2021 schrijft hij voor Factcheck.Vlaanderen, vooral over medische onderwerpen.

✻

Steun ons!