Press release: Do we massively swallow placebo drugs?

PRESS RELEASE

When a drug is tested, this is often done “double blind”. This means that during the experiment neither the researcher nor the test subject knows who belongs to experimental, and who belongs to the control group. This is important, because in this way placebo effects can be excluded. But are these double-blind studies actually performed double-blinded? This is what Feys Frederik studied in his doctoral thesis.

His research looked at 222 scientific articles about erection pills and pills to delay ejaculation. It shows that it is quite possible that subjects figure out in which test group they are in. This is possible because people in the experimental group experienced side effects. People in a placebo group do not have this clue. Frederik Feys found out that little information about this is published in medical journals. Without this information, the reliability of drug testing can be questioned.

The research has a clear and important message: clinical studies should test whether they happened double blind. If they do not, or they do not report about this, it is possible that we massively swallow pills that work as placebo pills, but come with side effects. Only by testing the double blind, we know for sure whether drugs are effective and safe.

PhD thesis, successfully defended on November 24th, 2015
Department of Family Medicine and Chronic Care, Vrije Universiteit Brussel, Belgium

The Placebo Effect in Sexual Medicine: Methodological Factors in Randomized Clinical Trials
DOI: 10.13140/RG.2.1.3004.0406

Contact
Frederik Feys, MSc, PhD
+32488020010

Flibanserin for women’s low desire: What’s the fuzz?

Last Thursday, June 4, the FDA advisory committee voted 18-6 to recommend approval of flibanserin. A step towards FDA approval. Can anyone tell me how this drug would help women to get more tump between the sheets?

I checked the results from nine clinical studies. Most women participating in the trials seem to have ‘successful’ sex three times a month. I merged the data from the clinical trials. I found that flibanserin would give 0.42 times extra successful sex events/month. I don’t see what’s so great about going from having good sex three times to three times and half?

70% of women also experience dizziness, low blood, fainting, headache. Many women quit the studies before they ended, which is an indication that flibanserin was not well tolerated.

If you want more and better sex,  I imagine explaining your bed partner what you like and how he can give it to you, may be a better approach to unlock those sexual desires….

This quick studies review reminded me of my dapoxetine review. Equally small, irrelevant clinical effects, but with possible harm. Feel free to collaborate with me on the Open Science Framework. One thing I would like to check is how other therapies for low sex drive compare.

The Lancet honors my innovative publishing work

A few weeks ago, Brian Owens, writer for the leading medical journal, the Lancet interviewed me on my latest open science project, Dapoxetine for premature ejaculation. He wanted to know why and how I self-publish my work. Today, The Lancet reports: academia gets social. The future of science is emerging. Peer-to-peer science platforms facilitating open peer review processes, providing quick template tools so scientists can self-publish their work, giving everyone open access to knowledge. This is a hopeful direction towards innovative, efficient and meaningful science.

“The Lancet honors my innovative publishing work” verder lezen

How to make a living as an independent scientist?

Peer Production License
Published article on ResearchGate - Dapoxetine for Premature Ejaculation: a Harmful Placebo?
Article self-published with a Peer Production License on ResearchGate

On the 7th of October, 2014 I published my research paper “Dapoxetine for premature ejaculation: a harmful placebo?” on ResearchGate (RG).

ResearchGate is also called “the Facebook of science”.

The friendly people at RG told me I am the first scientist to self-publish his work on their platform. Because RG worked well for me to put my research in the spotlight, I decided to use their new peer review tool. Thanks to comments from various scientists and two rounds of open peer review, my manuscript got a lot better. Publication on RG is for free and I keep my copyrights. A previous publication in an open access journal costed me 1750 euros, mostly to keep my copyrights. My current article is a free read for anyone.

Published article on ResearchGate - Dapoxetine for Premature Ejaculation: a Harmful Placebo?I am an independent scientist without a research grant. For quite some time I sought a way to monetize my work. But how to do this when all is open access, open science, and open anything? I found an opportunity in the Peer Production License. It lets open science flourish and allows me too generate some income. If you download my article (you do not need to register, just click away the dialog), you can see how this works.

I know I am breaking new land here, so I consider this an experiment. If you follow me on twitter (@FFeys) or the blog feed, you can get updates on how things go.

Please share your comments on how you would make a living out of open, independent, and quality research.

Dapoxetine, een goedgekeurd geneesmiddel blijkt schadelijk placebo?

In 2012 gaf het Europees geneesmiddelen agentschap groen licht voor de vermarkting  van dapoxetine, een middel dat belooft mannen te helpen die te snel klaarkomen. Na het bekijken van een ‘infomercial’-spotje startte mijn speurtocht naar het bewijs achter die belofte…

Begin December 2013 zat ik in de bioscoop te wachten op de film toen ik deze infomercial zag over vroegtijdig orgasme en hoe het kan behandeld worden.

Dit spotje spreekt over een medisch probleem dat je best met je arts bespreekt want hij kan je helpen. Dit maakte me nieuwsgierig naar die oplossing. Als seksuoloog behandel ik al jaren met success mannen die te snel klaarkomen, en schreef er nooit medicatie voor uit.

Ik besloot om samen met mijn supervisor Dirk Devroey aan de Vrije Universiteit Brussel alle onderzoek over dit geneesmiddel te verzamelen. Zo kan ik grondiger de geadverteerde medicatie, dapoxetine  bestuderen. Beter bekend als “Priligy”, wordt op de markt gezet in 30 landen als het eerste orale geneesmiddel voor het ‘on-demand’ behandelen van premature ejaculatie. Het is een selectieve serotonine reuptake inhibitor (SSRI), die behoort tot hetzelfde soort geneesmiddelen als Prozac. Het werd oorspronkelijk ontwikkeld als anti-depressivum. Een gekende nevenwerking van deze SSRI anti-depressiva is dat ze de zin in seks verminderen en dat ze het moeilijker maken om klaar te komen. Eerdere studies en literatuuroverzichten (klik registratievenster weg om te lezen) vonden dat dapoxetine een doeltreffend middel is tegen het te snel klaarkomen. Dat verraste mij omdat ik in mijn onderzoek deze resultaten niet kan bevestigen.

Ik verwachtte minstens enige effectiviteit, maar mijn meta-analyse duidde op geen effect. Ik bekeek 8 klinische studies met in totaal 7000 vrijwilligers, en elke studie concludeerde dat dapoxetine werkt en veilig in gebruik is. De meeste studies gaven aan dat je ejaculatie met dapoxetine 60 seconden langer kan uitstellen.  Maar ik vond slechts 30 seconden én zelfs dat cijfer is onzeker want ik kon het statistisch niet onderbouwen.

Eén van de zaken die me opviel bij het bestaande onderzoek was de nadruk op het testen van de hypothese. Dat doe je door een wiskundige berekening waarbij je de nul-hypothese verwerpt. De nul-hypothese is dat dapoxetine even effectief is als een placebo middel of suikerpil. Na rekenwerk krijg je een getal, de p-waarde. Die zegt wat de kans is dat de nul-hypothses klopt. Je hoopt dus dat het een héél klein getal is. Is die p-waarde lager van 0.05 dan heb je een significant effect.

Hier komt een flauwe truuk uit de statistiek: wil je dat getal laag genoeg hebben, dan kan je best een grote groep gegevens onderzoeken. Zo komt zelfs een verwaarloosbaar klein effect naar boven. En dat gebeurde: de klinische dapoxetine-studies hadden gemiddeld 900 mensen aan boord. Dat is veel, want klinische studies hebben meestal een 200-tal deelnemers. Het resultaat was dus dat dapoxetine “een significante effectiviteit had”, terwijl in werkelijkheid het bijna niet effectief was.

Wat ik en iedereen wil weten is hoe effectief dapoxetine is. Helpt het mannen met hun te snel klaarkomen? Daarom gebruikte ik een andere analyse-techniek, de schatting van de effectiviteit. Ik berekende ook een 95 percent betrouwbaarheidsinterval (CI). Betrouwbaarheidsinterval dapoxetine placeboMet dapoxetine ejaculeren mannen na 2m17s met een CI van 1m22s tot 3m13s minuten (zie figuur). Stel dat je het onderzoek opnieuw zou doen, dan geeft het interval een idee welk resultaat je in 95 van de 100 gevallen zou krijgen. Dus de echte effectiviteit van dapoxetine ligt ergens tussen de 1m22s tot 3m13s. En hoe zit dat met een suikerpil? Wel dan kan je het klaarkomen uitstellen ergens tussen de 30s en de 2m54s. Wat je ziet is dat de effectiviteit van placebo met dapoxetine overlapt. Er zijn dus geen bewijs dat dapoxetine effectiever is dan placebo (want de overlap wijst erop dat het werkelijke effect waarschijnlijk gelijkaardig is).

Niet alleen vind ik geen bewijs dat dapoxetine beter werkt dan een suikerpil. Er zijn ook vervelende nevenwerkingen. In mijn analyse hadden de deelnemers tot 6 keer meer last van een ‘ziekerig’ gevoel en voelden ze zich tot drie keer vaker draaierig. Eén op de vijf deelnemers stopten ook voor het einde van de studie, wat erop wijst dat de medicatie niet goed verdragen wordt of weinig effectief is. In een langlopende studie liep dit op tot zelfs 1 op 2 mannen.

Zou jij een pil slikken die werkt als placebo, nevenwerkingen geeft, 8 euro per stuk kost en je doet hervallen van zodra je ermee stopt?

Heel algemeen was de manier waarop de studies werden uitgevoerd problematisch. Het was niet duidelijk of de deelnemers op de hoogte waren van hun medicatie. Sommigen kregen placebo, anderen dapoxetine, maar wie wat krijgt weten ze niet. De studie is dan dubbelblind opgezet. Als een deelnemer dan merkt dat hij een suikerpil krijgt, vallen verwachtingen als een kaartenhuis ineen. Vertekening van resultaten was ook mogelijk doordat bij de berekeningen enkel de gegevens van deelnemers zaten die tot op het einde volhielden of die minstens één keer op een follow-up afspraak kwamen. Last but not least: in bijna alle studies hadden de onderzoekers er financieel voordeel bij dat dapoxetine er goed zou uitkomen.

Als je al deze bevindingen samen bekijkt, vraagt een mens zich af: hoe kan het dat een schadelijk placebo op de markt komt? Waar ligt de verantwoordelijkheid van geneeskundige controle-autoriteiten? Van de ethische commissies die deze onderzoeken goedkeurden? Van de artsen die aan de studies meewerkten?

Uiteindelijk willen we deze mannen én hun partners op weg helpen naar een gezond seksleven. Toch? Ik blijf voorlopig bij mijn behandelmethode: wat geruststellende uitleg en enkele ontspanningsoefeningen. Dat geeft meestal om definitief oplossing.

Ik publiceerde mijn onderzoek Dapoxetine for Premature Ejaculation: a Harmful Placebo? (klik registratievenster weg om te lezen) op ResearchGate. Voor de publicatie was er een open peer review. Alle versies van het manuscript, revisies, data en correspondentie zijn voor iedereen vrij na te lezen onder een peer productie licentie

 

 

Open onafhankelijk onderzoek… hoe verdien je de boterham?

Peer Productie Licentie
Dapoxetine voor voortijdige zaadlozing: een schadelijk placebo?
Dapoxetine voor voortijdige zaadlozing: een schadelijk placebo?

Onafhankelijk werk afleveren van hoge kwaliteit: prachtig! Maar hoe verdien je dan je boterham als freelance onderzoeker? Mijn experiment met zelf-publicatie en de nieuwe peer productie licentie.

Vandaag publiceer ik als eerste onderzoeker ooit mijn wetenschappelijk artikel op ResearchGate (RG). Ook wel de ‘Facebook voor wetenschap’ genoemd, is het een online platform waar mijn medisch onderzoek goed in de aandacht staat. Voor de publicatie onderging mijn manuscript een peer review, net zoals in gangbare medische tijdschriften. Publicatie op RG kan zonder dat ik betaal voor de publicatie en ik behoud mijn auteursrechten. Bij Open access tijdschriften betaal je rond de 1500 euro om de auteursrechten op je manuscript te behouden. Ook kan je artikel dan door iedereen gelezen worden. De onderzoeks-data mogen vrij hergebruikt worden zolang je de bron vermeldt.

Peer Productie Licentie
Peer Productie Licentie

Ik ben onafhankelijk onderzoeker zonder subsidies. Al geruime tijd zocht ik een manier om ook mijn brood te verdienen met wetenschap. Ik heb nu een mogelijkheid gevonden in de peer productie licentie. Ze laat toe dat open wetenschap verder floreert én dat de onderzoeker in kwestie een inkomen genereert. Als je mijn artikel download (je hoeft niet te registreren, klik gewoon het registratievenster weg), zie je op de eerste pagina hoe ik dit oplos.

Hoe dit in de praktijk zal lopen, is deel van mijn experiment. Ik hou je op de hoogte!

Update

Update peer productie licentie
Update voorwaarden peer productie licentie

7/10/2014: De peer productie licentie is enkel nodig voor wie van plan is verder te borduren op mijn werk. Bijvoorbeeld in een eigen publicatie, presentatie of als de data opnieuw gebruikt worden voor verdere analyses.

Seemingly effective drugs, the case of vedolizumab for Crohn’s disease

vedolizumab-placebo-unblinding

This article in the New England Journal of Medicine (NEJM) reports on results from a clinical trial that evaluated the use of vedolizumab for Crohn’s disease. Media reported worldwide that this new drug is effective and without harmful drug side-effects. Takeda Pharmaceutical Company says they submitted a Biologics License Application (BLA) for vedolizumab to the U.S Food and Drug Administration (FDA). This license allows for selling and marketing vedolizumab. Apart from all the buzz, what’s in it for patients with Crohn? Not much , it seems.

Vedolizumab’s effect or an unblinding effect?

I reviewed the NEJM article and found some problems that may help interpret results. The most important issue is that trial participants may have known whether they got placebo or vedolizumab. Since the trial is a double blinded randomized trial, all participants, study personnel and outcome assessors should be blinded. This eliminates subjective, unconscious biases.

Overview of Study Drug Randomization
Click to magnify. Complex Study Drug Randomization Design. ©*

This is especially important since the study used the Crohn’s Disease Activity Index (CDAI) questionnaire. This survey gives extra weight to subjective complaints. To get valid results from it, any ‘breaking’ of the double blind must be avoided. Very small amounts of study unblinding can lead to misleading data. In fact, Hróbjartsson found that only 3% of patients need to become aware of their treatment (unblinded) to have an 36% exaggeration of treatment effects.

A complex study design was used with separate induction and maintenance phases. It followed that most of the participants gained experience with vedolizumab and became familiar with its subtle bodily cues during the subsequent maintenance phase.  It is clear that unblinded participants may have more expectations for recovery when they find out to be on the new investigational drug.

Imagine what it would be to find out you are on placebo.
Your intestines go into a disillusioned spasm.

The study wanted to know how many patients have a clinical remission at week 52. This associated graph shows something remarkable:

vedolizumab-placebo-unblinding
Up until week 38 placebo is as good as vedolizumab, then suddenly placebo scores deteriorate. What happened? ©*

Using this data, a doctor can say:

Dear patient, for 38 weeks it will not matter whether you take vedolizumab or placebo. In fact, placebo would save you a lot of money! If you plan to have symptoms after 38 weeks, it may then be better to switch to vedolizumab. Expect to find benefit from the drug at week 52.

Of course, this is complete nonsense. Upon inspecting the graph, the drugs’ performance remains more or less stable throughout the 52 weeks. Placebo remains stable too, but starts to degrade late in the study. This creates an apparently effective drug, caused by an knocked down placebo effect. Now is this a drug effect? Or, is this an unblinding effect due to bad study methodology?

Few Crohn patients will benefit, many will be harmed.

% of patients in clinical remission at week 52
% of patients in clinical remission at week 52 ©*

There is a statistical significant effect, despite a small difference (17%) between patients being ok on placebo versus those recovered on vedolizumab, every 8 weeks. Significance was reached because a large sample size was used. But in clinical practice, how relevant is this 17% difference? It would be helpful to report confidence intervals (CI), it is the standard method for presenting results of major findings.  Then we would know how confident we can be about this 17% difference. In fact, the study’s protocol (can be found as additional download on NEJM article page) planned to report CI. Unfortunately, this vital statistic was not reported. A concern, indeed.

The good news is that we can calculate the number of patients needed to treat (NNT). This tells us how many patients should take the drug for one patient to benefit. In this case 6 with a 95% CI [4 to 14]. We are certain that the real-life NNT is somewhere between 4 and 14.

Are we done? No, things get worse. Assume that some patients became unblinded during the study, since they rate their own outcome this would exaggerate results. Assume 27% exaggeration (Risk Ratios estimate, taken from Hróbjartsson’s paper), after some calculating the true NNT is 9 (I am not 100% sure (or even 95% 🙂 ) I calculated this NTT correctly, so if anyone can check this?). This is indeed a very sobering exercise. Most probably this is what patients can expect form vedolizumab:

If 9 patients are treated with vedolizumab every 8 weeks, then after 52 weeks, 1 patient will have clinical remission of Crohn. During 52 weeks, 8 patients have nothing but side-effects.

Are we done now? No, things do get worse. The paper reports serious adverse effects for 15.3% of patients taking placebo and 24.4% taking vedolizumab. Reframed in understandable words:

If 11 patients get vedolizumab, we expect that 1 has serious adverse effects. Yes, that is 1 out of 11!

% of patients with clinical remission and response at week 6
% of patients (induction phase trial) with clinical remission and response at week 6
differences (8% and 6% respectively) with placebo are very small ©*

The first induction phase of the study lasted 6 weeks (see study design). Even with a large sample size, vedolizumab just reached statistical significance for clinical remission, but did not do so for CDAI-100 response. Again, the differences (8% and 6% respectively) with placebo are very small.  Lacking a reported confidence interval, we are left in the dark as to the true estimated, clinically relevant drug effect. Yes, a concern.  I calculated the NNT for you. NNT is 13 with a 95% CI [7 to 85]. We are certain that the real-life NNT is somewhere between 7 and 85.

Are we done? No, as stated before, most likely some patients became unblinded. The true  NNT is 15. Pretty sobering figures, I would say.

If 15 patients are treated with vedolizumab, after 6 weeks 1 patient will have clinical remission of Crohn. 14 patients get nothing but side-effects.

Seriously, it is fair to say that if you have Crohn, you better seek alternatives for this ‘exiting new drug’. It is marketing talk.

Letter to the editor of NEJM

Titled ‘Vedolizumab for Crohn: impaired double blind?’, I wrote a letter to the editor of NEJM. A fellow scientist, told me my letter is too critical and would not get published since NEJM earns most of their money on pharmaceutical requests for article reprints.

On September 18 2013, the editor told me they would not print my letter, because space available for correspondence is limited. Fortunately there is plenty of web space, so I post everything here.

Dear Mr. Feys,

I am sorry that we will not be able to print your recent letter to the editor regarding the Sandborn article of 22-Aug-2013.  The space available for correspondence is very limited, and we must use our judgment to present a representative selection of the material received.  Many worthwhile communications must be declined for lack of space.

Thank you for your interest in the Journal.

Sincerely,

Mary Beth Hamel, M.D., M.P.H.
Deputy Editor

What can be done?

Articles should report statistics that people can understand. The number need to treat is a way to do this. Therefore people are shocked that only 1 patient would benefit from treatment with vedolizumab, and 14 patients get nothing but harmful side-effects. That 1 out of 11 can expect serious harmful effects.

Another thing is that regulatory approval of drugs should be transparent. This concerns public health. The BLA request at FDA involves the submission of clinical trial data such as from this study. Unfortunately, from then, the FDA approval processes are less transparent. It is not clear what the FDA considers ‘a clinical relevant and safe drug effect’. Is this based on CI? Is study methodology a criterion? Does the FDA consider measures taken to secure trial blinding?

I propose that BLA and New Drug Applications (NDA) investigations are routinely doubled by independent evaluators who have full access to anonymized patient data. Even better is the conduct of a independent government sponsored trial. This would also allow more ethical study designs, such as the balanced placebo design. This design was already proposed back in 1981. It features better separation of placebo and true drug effects.

What do you think about this study findings? How would you interpret them? Leave a comment below and start discussion!

*This post is part of PhD Thesis. Illustrations reproduced with permission from Sandborn WJ, Feagan BG, Rutgeerts P, Hanauer S, Colombel J-F, Sands BE, Lukas M, Fedorak RN, Lee S, Bressler B, Fox I, Rosario M, Sankoh S, Xu J, Stephens K, Milch C, Parikh A: Vedolizumab as Induction and Maintenance Therapy for Crohn’s Disease. N Engl J Med 2013, 369:711–721., Copyright Massachusetts Medical Society.

Join the Open Public Peer Review

many eyes open peer review

Good news, today Systematic Reviews confirmed to peer review my manuscript. The manuscript quantifies nocebo and enhanced placebo effects due to unblinding in randomized clinical trials (RCTs) for erection pills.

We found that none of the 205 journal publications (110 studies worth 23.877 RCT participants) provided sufficient details to assess measures taken to ensure RCT blinding.

To enhance the quality and allow for transparent public scrutiny, the findings are available for open public peer review. Clearly, this is an experiment under the open science paradigma. Scientists with expertise in the field of research methodology, placebo, nocebo, systematic reviews will have first interest. However, I invite any scientist to review and add comments.

Please use track changes in your favorite word processor ( this is mine 😉 ). I will synchronize deadlines with the official peer review timing so we can incorporate this public reviews’ comments. First deadline will be November 30.

More general comments can also be made below, using the comment section. I am thinking of a fair way to incorporate useful commentors, e.g an acknowledged in the publishes paper. For now, let’s start the discussion!

Find all the documents (manuscript, additional files, figures) in Google Docs

Klinisch onderzoek: daglicht is het beste desinfectans

AllTrials-2013-Organisations

Morgen een belangrijke dag voor de gezondheid van Europa. De Europese commissie stemt maatregelen die het onderzoek naar medische toepassingen op mensen verbeteren. Hier vind je mijn open brief aan de 5 commissieleden van ons land: bart staes, marianne thysen, anne delvaux, frederique ries en mark demesmaeker.

Dag Mijnheer, Mevrouw

Weet u dat u morgen stemt over het welzijn van 711.000.000 mensen ? Ik ben onderzoeker en maak me zorgen.
Klinisch onderzoek bepaalt welke medische toepassingen de menselijke gezondheid verbeteren. Vandaag is het grootste deel van dit onderzoek in handen van de georganiseerde misdaad. Ze hebben een ander belang, geld. Er is veel geld te verdienen in de gezondheidszorg, desnoods over lijken.

Gelukkig stelde jullie commissie de directieve ‘Clinical trials on medicinal products for human use‘ op. Het wil de transparantie van onderzoek op mensen verhogen. Waarom is dit belangrijk ?

  • Het vertrouwen van patiënten die op vrijwillige basis meedoen bij klinisch onderzoek wordt gebroken als hun ‘niet zo gunstige’ gegevens worden verborgen
  • Onvolledige informatie betekent dat dokters foute beslissingen nemen en ontneemt hen de kans goede geneeskunde te geven
  • Onderzoekers kennen de resultaten van eerder onderzoek niet, of weten niet eens of onderzoek plaatsvond. Daardoor wordt onderzoek onnodig herhaald

Wat ontbreekt er in het huidige voorstel? Prof Gøtzsche, voorvechter van evidence based medicine geeft tekst en uitleg. Meer ook op alltrials.net. Reeds 50.000 handtekeningen voor transparantie, waaronder wereldvermaarde organisaties.

Ik hoop dat u morgen kiest voor het welzijn van alle mensen in Europa. Ze zijn het waard.

PS: als u vragen heeft, kan u me gerust contacteren,

Beste groeten,

Frederik Feys,
MSc, sexologist, researcher

Update

Eerste hoopgevende reactie van medewerker van MEP Marianne Thyssen,

We kunnen u geruststellen dat de meeste fracties in het Parlement, waaronder de EVP waartoe Marianne Thyssen behoort, mee hun schouders zetten onder een nog grotere transparantie dan al in het voorstel van de Europese Commissie was voorzien

 

Maar geen info hoe dit juist gaat gebeuren.

Towards a realistic view on open science peer review ?

open science peer review

open science peer reviewA week ago, a scientific journal asked me if I wanted to evaluate an article (peer review). Since this is the first time that I was asked, I was flattered. A second later, I felt a responsibility to contribute to science. In order to estimate the value of the project, I quickly scanned the website of the journal, checked the review request and let the editor know that I would not do the review. My decision occupied my thoughts for the following days, until I realized that I first had to decide for myself what I consider peer review promoting open science. What is open science peer review ?

I am an advocate of open science and transparency, so as a reviewer I would need at least a plan of the study (protocol) and the data so I can check that the planned research is carried out and that results arise from the data.

I think it is also important that:

• the publication is freely accessible (open access), especially if the research was funded with public money. A community that pays for research has the right to view its results.

• the authors state they share the dataset with the scientific community. By reusing existing datasets science can progress quicker with no unnecessary duplication of efforts.

• the protocol is available as an addendum. Today most articles are published using the internet so a protocol, extensive analyzes, etc … can easily be provided as an additional download.

• a ‘film credit’ clearly identifies who did what. Who had the idea for the study, who sought funding, who did the study, who analyzed and who wrote the paper ?

• the paper mentions the funding: who paid what amount and to whom ?

• identification of conflicts of interest 1) by the authors: any stocks or consultancy work ? 2) by the journal: What sources of revenue has the journal, what reprint orders (reprint of articles) were done for the industry and for what amount ? Editors should mention anonymously any commercial pressure exerted them, their stocks, etc ….

From this list, is becomes clear that a critical evaluation of a research paper is an undertaking. Probably not a single paper meets these criteria. So if I ever want to do a peer review,  I have to make a priority list. For me, the absolute minimum to start the review process is a protocol, a dataset and if public money is used, a guarantee of a free, accessible publication.

I want to know what you think. Write a comment below or a brief comment on Twitter or Facebook, and together we will broaden the debate.