Rapportage van uitkomsten: volledig, transparant en tijdig

Waarom een hoofdstuk wijden aan uitkomstrapportage?

Het is aangetoond voor gerandomiseerde klinische onderzoeken, waarschijnlijk het meest strikt gereguleerde type onderzoek vandaag de dag, dat heel vaak auteurs (1) helemaal niet rapporteren over de uitkomsten van het onderzoek, (2) niet alle vooraf gespecificeerde uitkomsten rapporteren, (3) de primaire uitkomst veranderen (vaak gerelateerd aan statistische significantie), (4) veel later rapporteren over onderzoeken met statistisch niet-significante (primaire) uitkomsten, (5) stilletjes uitkomsten toevoegen die niet vooraf waren gespecificeerd, en (6) niet rapporteren over bijwerkingen. [1-4] Bovendien kunnen auteurs bepaalde uitkomsten in bepaalde subgroepen benadrukken, waardoor de oorspronkelijke doelen van de studie worden gebagatelliseerd. [5] Al deze praktijken verstoren het totale bewijsmateriaal of kunnen dit verstoren, kunnen systematische reviews vertekenen en patiënten in gevaar brengen door bevooroordeelde praktijkrichtlijnen voor zorgverleners. Het is waarschijnlijk dat onderzoek dat minder streng gereguleerd is dan klinische proeven nog meer beïnvloed kan worden door deze twijfelachtige praktijken van selectieve rapportage van uitkomsten, eindpunten of resultaten. [6,7]

Wat is volledige, transparante en tijdige rapportage van uitkomsten?

Volledige, transparante en tijdige rapportage van uitkomsten kan worden gedefinieerd als het rapporteren in het publieke domein van alle vooraf gespecificeerde uitkomsten die waren vastgelegd in de meest recente versie van het onderzoeksprotocol, redelijk snel na het voltooien van de (data)analyses van het onderzoek, waarbij het (data)analyseplan wordt gevolgd. Anders gezegd, het verwijst naar een rapportageproces waarin de zes schadelijke praktijken die in de vorige paragraaf zijn genoemd, worden vermeden.

Onderzoeksstudies hebben vaak meer dan één doelstelling. Van onderzoekers wordt meestal verwacht dat ze één primaire uitkomst kiezen (om de steekproefgrootte te berekenen), maar het aantal secundaire uitkomsten bedraagt vaak meer dan 10. In een steekproef van 67 klinische onderzoeken was het mediane aantal vooraf gespecificeerde uitkomsten 9 (interkwartielbereik van 1 tot 16; gemiddelde 13; bereik 1 tot 84). [2] In die steekproef werden gemiddeld meer dan 5 uitkomsten 'stilletjes toegevoegd' in de eerste publicatie met resultaten. Dat wil zeggen, deze uitkomsten werden zonder uitleg gepubliceerd, hoewel het studieprotocol ze niet vooraf had gespecificeerd.

Hoe is volledige, transparante en tijdige uitkomstrapportage gerelateerd aan de hoofdstukken over studieprotocol, (statistisch) analyseplan en preregistratie in deze online handleiding?

Preregistratie van studieprotocollen (en analyseplannen) is een element in het voorkomen van selectieve uitkomstrapportage en niet-rapportage bias. [8,9] Op zijn minst stelt een goede preregistratie lezers in staat om te controleren of publicaties in overeenstemming zijn met de oorspronkelijke plannen of eventuele recente wijzigingen daarvan. We hopen dat onderzoekers in ons expertisecentrum zich zullen laten inspireren door de grondgedachte achter onze nadruk op volledige, transparante en tijdige uitkomstrapportage en de daarmee samenhangende schade aan de wereldwijde wetenschappelijke onderneming en gezondheidszorg zullen vermijden.

Wanneer volledig, transparant en tijdig rapporteren? En wat bedoelen we met 'tijdig'?

Als algemene richtlijn, geïnspireerd door de Amerikaanse FDA Amendments Act (FDAAA) van 2007 en de Final Rule for Clinical Trials Registration and Results Information Submission, raden we aan dat u alle vooraf gespecificeerde uitkomsten rapporteert binnen 12 maanden nadat de gegevensverzameling van de laatste deelnemer is voltooid.

Hoe en waar rapporteert u volledig, transparant en tijdig?

Wanneer het moment van rapporteren is aangebroken, en dit kan een reeks van meerdere papers zijn, ga dan terug naar (de meest recente versie van) je studieprotocol en zorg ervoor dat je (uiteindelijk) rapporteert over alle vooraf gespecificeerde uitkomsten inclusief bijwerkingen. Rapporteer de uitkomsten in (een reeks van) open access publicaties en op het preregistratieplatform. Zorg ervoor dat de informatie in alle outlets identiek is (geen discrepanties tussen publicaties en online platforms). Als je uitkomsten rapporteert die je niet vooraf hebt gespecificeerd in het (meest recente) onderzoeksprotocol, zorg er dan voor dat je zorgvuldig de reden(en) uitlegt waarom je deze uitkomsten rapporteert, ook al worden ze niet genoemd in het onderzoeksprotocol. Als dergelijke uitkomsten betrekking hebben op gegevensverzamelingsactiviteiten die niet worden genoemd in de informatie aan deelnemers, hebt u mogelijk een belangrijke ethische vereiste over het hoofd gezien waarvoor u mogelijk advies wilt vragen aan een privacyfunctionaris of een ethische commissie.

Wat als je geen (gepubliceerd) studieprotocol of data-analyseplan hebt?

Gebruik je geweten. Denk aan de populaire definitie van onderzoeksintegriteit als 'het juiste doen, zelfs als niemand kijkt'. Laat je niet verleiden tot data bagger of harking (hypothetiseren nadat de resultaten bekend zijn, ook wel bekend als de Texaanse schietbaan.

Bespreek openlijk de afwezigheid van een openbaar vooraf geregistreerd protocol of analyseplan in je beperkingensectie. Presenteer resultaten van gevoeligheidsanalyses (je analyses overdoen met andere, maar plausibele methoden of aannames). En tot slot: doe je werk beter in je volgende onderzoek.

Wat als ik participatief actieonderzoek (PAR) doe?

Hier volgen enkele aanbevelingen voor het verbeteren van een transparante resultaatrapportage bij PAR.

1. Transparante documentatie: PAR-projecten kunnen hun initiële intenties, vragen, methoden en verwachte resultaten in een gedeelde ruimte documenteren. Dit beperkt verandering niet, maar zorgt eerder voor een transparant verslag ervan.
2. Reflectielogboeken: Aangezien PAR iteratief is, kan het bijhouden van logboeken waarin reflecties, beslissingen en de beweegredenen achter veranderingen worden vastgelegd, onbedoelde selectie in de rapportage van de resultaten voorkomen. Deze logboeken bieden inzicht in het besluitvormingsproces.
3. Gezamenlijke gegevensanalyse en triangulatie: Door meerdere belanghebbenden bij het analyseproces te betrekken, kan er consensus ontstaan over opkomende thema's en patronen. Deze collectieve wijsheid kan het risico op het verkeerd interpreteren of selectief benadrukken van gegevens minimaliseren.
4. Iteratieve feedback: Het voortdurend betrekken van de gemeenschap voor feedback zorgt ervoor dat opkomende bevindingen gegrond zijn in de geleefde realiteit van de deelnemers, waardoor het risico op het verkeerd interpreteren of selectief benadrukken van gegevens wordt geminimaliseerd.
5. Beoordelingen door derden: Het inschakelen van externe onderzoekers of leden van de gemeenschap om bevindingen te beoordelen en aan te vechten kan een extra laag van controle bieden.

6. Open proces delen: Maak het hele proces - van planning en gegevensverzameling tot analyse - transparant en beschikbaar voor alle deelnemers. Dit kan dienen als een methode voor zelfcontrole en biedt ook de mogelijkheid tot correcties als een deelnemer het gevoel heeft dat zijn standpunten verkeerd zijn geïnterpreteerd.

7. Voortdurende betrokkenheid: In tegenstelling tot traditionele studies met een vastomlijnd eindpunt is er bij PAR vaak sprake van langdurige betrokkenheid bij gemeenschappen. Dit betekent dat de geldigheid en toepasbaarheid van bevindingen na verloop van tijd kunnen worden getest in praktijkscenario's, waardoor aanpassingen op basis van praktische resultaten mogelijk zijn.

Wat als redacteuren of beoordelaars erop staan dat u bepaalde uitkomsten weglaat of uitkomsten die zij oninteressant of statistisch niet significant vinden?

In dergelijke gevallen raden wij u aan om dergelijke uitnodigingen te weerstaan en de recensent(en) of redacteur te verwijzen naar dit hoofdstuk of naar de literatuur die in dit hoofdstuk wordt geciteerd en uit te leggen waarom u er de voorkeur aan geeft om over alle vooraf gespecificeerde uitkomsten te rapporteren. Vraag de medewerkers van Urban Vitality Open Science Support gerust om hulp bij het schrijven van een weerleggingsbrief via opensciencesupport@hva.nl.