The Lancet honors my innovative publishing work

A few weeks ago, Brian Owens, writer for the leading medical journal, the Lancet interviewed me on my latest open science project, Dapoxetine for premature ejaculation. He wanted to know why and how I self-publish my work. Today, The Lancet reports: academia gets social. The future of science is emerging. Peer-to-peer science platforms facilitating open peer review processes, providing quick template tools so scientists can self-publish their work, giving everyone open access to knowledge. This is a hopeful direction towards innovative, efficient and meaningful science.

“The Lancet honors my innovative publishing work” verder lezen

How to make a living as an independent scientist?

Peer Production License
Published article on ResearchGate - Dapoxetine for Premature Ejaculation: a Harmful Placebo?
Article self-published with a Peer Production License on ResearchGate

On the 7th of October, 2014 I published my research paper “Dapoxetine for premature ejaculation: a harmful placebo?” on ResearchGate (RG).

ResearchGate is also called “the Facebook of science”.

The friendly people at RG told me I am the first scientist to self-publish his work on their platform. Because RG worked well for me to put my research in the spotlight, I decided to use their new peer review tool. Thanks to comments from various scientists and two rounds of open peer review, my manuscript got a lot better. Publication on RG is for free and I keep my copyrights. A previous publication in an open access journal costed me 1750 euros, mostly to keep my copyrights. My current article is a free read for anyone.

Published article on ResearchGate - Dapoxetine for Premature Ejaculation: a Harmful Placebo?I am an independent scientist without a research grant. For quite some time I sought a way to monetize my work. But how to do this when all is open access, open science, and open anything? I found an opportunity in the Peer Production License. It lets open science flourish and allows me too generate some income. If you download my article (you do not need to register, just click away the dialog), you can see how this works.

I know I am breaking new land here, so I consider this an experiment. If you follow me on twitter (@FFeys) or the blog feed, you can get updates on how things go.

Please share your comments on how you would make a living out of open, independent, and quality research.

Dapoxetine, een goedgekeurd geneesmiddel blijkt schadelijk placebo?

In 2012 gaf het Europees geneesmiddelen agentschap groen licht voor de vermarkting  van dapoxetine, een middel dat belooft mannen te helpen die te snel klaarkomen. Na het bekijken van een ‘infomercial’-spotje startte mijn speurtocht naar het bewijs achter die belofte…

Begin December 2013 zat ik in de bioscoop te wachten op de film toen ik deze infomercial zag over vroegtijdig orgasme en hoe het kan behandeld worden.

Dit spotje spreekt over een medisch probleem dat je best met je arts bespreekt want hij kan je helpen. Dit maakte me nieuwsgierig naar die oplossing. Als seksuoloog behandel ik al jaren met success mannen die te snel klaarkomen, en schreef er nooit medicatie voor uit.

Ik besloot om samen met mijn supervisor Dirk Devroey aan de Vrije Universiteit Brussel alle onderzoek over dit geneesmiddel te verzamelen. Zo kan ik grondiger de geadverteerde medicatie, dapoxetine  bestuderen. Beter bekend als “Priligy”, wordt op de markt gezet in 30 landen als het eerste orale geneesmiddel voor het ‘on-demand’ behandelen van premature ejaculatie. Het is een selectieve serotonine reuptake inhibitor (SSRI), die behoort tot hetzelfde soort geneesmiddelen als Prozac. Het werd oorspronkelijk ontwikkeld als anti-depressivum. Een gekende nevenwerking van deze SSRI anti-depressiva is dat ze de zin in seks verminderen en dat ze het moeilijker maken om klaar te komen. Eerdere studies en literatuuroverzichten (klik registratievenster weg om te lezen) vonden dat dapoxetine een doeltreffend middel is tegen het te snel klaarkomen. Dat verraste mij omdat ik in mijn onderzoek deze resultaten niet kan bevestigen.

Ik verwachtte minstens enige effectiviteit, maar mijn meta-analyse duidde op geen effect. Ik bekeek 8 klinische studies met in totaal 7000 vrijwilligers, en elke studie concludeerde dat dapoxetine werkt en veilig in gebruik is. De meeste studies gaven aan dat je ejaculatie met dapoxetine 60 seconden langer kan uitstellen.  Maar ik vond slechts 30 seconden én zelfs dat cijfer is onzeker want ik kon het statistisch niet onderbouwen.

Eén van de zaken die me opviel bij het bestaande onderzoek was de nadruk op het testen van de hypothese. Dat doe je door een wiskundige berekening waarbij je de nul-hypothese verwerpt. De nul-hypothese is dat dapoxetine even effectief is als een placebo middel of suikerpil. Na rekenwerk krijg je een getal, de p-waarde. Die zegt wat de kans is dat de nul-hypothses klopt. Je hoopt dus dat het een héél klein getal is. Is die p-waarde lager van 0.05 dan heb je een significant effect.

Hier komt een flauwe truuk uit de statistiek: wil je dat getal laag genoeg hebben, dan kan je best een grote groep gegevens onderzoeken. Zo komt zelfs een verwaarloosbaar klein effect naar boven. En dat gebeurde: de klinische dapoxetine-studies hadden gemiddeld 900 mensen aan boord. Dat is veel, want klinische studies hebben meestal een 200-tal deelnemers. Het resultaat was dus dat dapoxetine “een significante effectiviteit had”, terwijl in werkelijkheid het bijna niet effectief was.

Wat ik en iedereen wil weten is hoe effectief dapoxetine is. Helpt het mannen met hun te snel klaarkomen? Daarom gebruikte ik een andere analyse-techniek, de schatting van de effectiviteit. Ik berekende ook een 95 percent betrouwbaarheidsinterval (CI). Betrouwbaarheidsinterval dapoxetine placeboMet dapoxetine ejaculeren mannen na 2m17s met een CI van 1m22s tot 3m13s minuten (zie figuur). Stel dat je het onderzoek opnieuw zou doen, dan geeft het interval een idee welk resultaat je in 95 van de 100 gevallen zou krijgen. Dus de echte effectiviteit van dapoxetine ligt ergens tussen de 1m22s tot 3m13s. En hoe zit dat met een suikerpil? Wel dan kan je het klaarkomen uitstellen ergens tussen de 30s en de 2m54s. Wat je ziet is dat de effectiviteit van placebo met dapoxetine overlapt. Er zijn dus geen bewijs dat dapoxetine effectiever is dan placebo (want de overlap wijst erop dat het werkelijke effect waarschijnlijk gelijkaardig is).

Niet alleen vind ik geen bewijs dat dapoxetine beter werkt dan een suikerpil. Er zijn ook vervelende nevenwerkingen. In mijn analyse hadden de deelnemers tot 6 keer meer last van een ‘ziekerig’ gevoel en voelden ze zich tot drie keer vaker draaierig. Eén op de vijf deelnemers stopten ook voor het einde van de studie, wat erop wijst dat de medicatie niet goed verdragen wordt of weinig effectief is. In een langlopende studie liep dit op tot zelfs 1 op 2 mannen.

Zou jij een pil slikken die werkt als placebo, nevenwerkingen geeft, 8 euro per stuk kost en je doet hervallen van zodra je ermee stopt?

Heel algemeen was de manier waarop de studies werden uitgevoerd problematisch. Het was niet duidelijk of de deelnemers op de hoogte waren van hun medicatie. Sommigen kregen placebo, anderen dapoxetine, maar wie wat krijgt weten ze niet. De studie is dan dubbelblind opgezet. Als een deelnemer dan merkt dat hij een suikerpil krijgt, vallen verwachtingen als een kaartenhuis ineen. Vertekening van resultaten was ook mogelijk doordat bij de berekeningen enkel de gegevens van deelnemers zaten die tot op het einde volhielden of die minstens één keer op een follow-up afspraak kwamen. Last but not least: in bijna alle studies hadden de onderzoekers er financieel voordeel bij dat dapoxetine er goed zou uitkomen.

Als je al deze bevindingen samen bekijkt, vraagt een mens zich af: hoe kan het dat een schadelijk placebo op de markt komt? Waar ligt de verantwoordelijkheid van geneeskundige controle-autoriteiten? Van de ethische commissies die deze onderzoeken goedkeurden? Van de artsen die aan de studies meewerkten?

Uiteindelijk willen we deze mannen én hun partners op weg helpen naar een gezond seksleven. Toch? Ik blijf voorlopig bij mijn behandelmethode: wat geruststellende uitleg en enkele ontspanningsoefeningen. Dat geeft meestal om definitief oplossing.

Ik publiceerde mijn onderzoek Dapoxetine for Premature Ejaculation: a Harmful Placebo? (klik registratievenster weg om te lezen) op ResearchGate. Voor de publicatie was er een open peer review. Alle versies van het manuscript, revisies, data en correspondentie zijn voor iedereen vrij na te lezen onder een peer productie licentie

 

 

Open onafhankelijk onderzoek… hoe verdien je de boterham?

Peer Productie Licentie
Dapoxetine voor voortijdige zaadlozing: een schadelijk placebo?
Dapoxetine voor voortijdige zaadlozing: een schadelijk placebo?

Onafhankelijk werk afleveren van hoge kwaliteit: prachtig! Maar hoe verdien je dan je boterham als freelance onderzoeker? Mijn experiment met zelf-publicatie en de nieuwe peer productie licentie.

Vandaag publiceer ik als eerste onderzoeker ooit mijn wetenschappelijk artikel op ResearchGate (RG). Ook wel de ‘Facebook voor wetenschap’ genoemd, is het een online platform waar mijn medisch onderzoek goed in de aandacht staat. Voor de publicatie onderging mijn manuscript een peer review, net zoals in gangbare medische tijdschriften. Publicatie op RG kan zonder dat ik betaal voor de publicatie en ik behoud mijn auteursrechten. Bij Open access tijdschriften betaal je rond de 1500 euro om de auteursrechten op je manuscript te behouden. Ook kan je artikel dan door iedereen gelezen worden. De onderzoeks-data mogen vrij hergebruikt worden zolang je de bron vermeldt.

Peer Productie Licentie
Peer Productie Licentie

Ik ben onafhankelijk onderzoeker zonder subsidies. Al geruime tijd zocht ik een manier om ook mijn brood te verdienen met wetenschap. Ik heb nu een mogelijkheid gevonden in de peer productie licentie. Ze laat toe dat open wetenschap verder floreert én dat de onderzoeker in kwestie een inkomen genereert. Als je mijn artikel download (je hoeft niet te registreren, klik gewoon het registratievenster weg), zie je op de eerste pagina hoe ik dit oplos.

Hoe dit in de praktijk zal lopen, is deel van mijn experiment. Ik hou je op de hoogte!

Update

Update peer productie licentie
Update voorwaarden peer productie licentie

7/10/2014: De peer productie licentie is enkel nodig voor wie van plan is verder te borduren op mijn werk. Bijvoorbeeld in een eigen publicatie, presentatie of als de data opnieuw gebruikt worden voor verdere analyses.

Join the Open Public Peer Review

many eyes open peer review

Good news, today Systematic Reviews confirmed to peer review my manuscript. The manuscript quantifies nocebo and enhanced placebo effects due to unblinding in randomized clinical trials (RCTs) for erection pills.

We found that none of the 205 journal publications (110 studies worth 23.877 RCT participants) provided sufficient details to assess measures taken to ensure RCT blinding.

To enhance the quality and allow for transparent public scrutiny, the findings are available for open public peer review. Clearly, this is an experiment under the open science paradigma. Scientists with expertise in the field of research methodology, placebo, nocebo, systematic reviews will have first interest. However, I invite any scientist to review and add comments.

Please use track changes in your favorite word processor ( this is mine 😉 ). I will synchronize deadlines with the official peer review timing so we can incorporate this public reviews’ comments. First deadline will be November 30.

More general comments can also be made below, using the comment section. I am thinking of a fair way to incorporate useful commentors, e.g an acknowledged in the publishes paper. For now, let’s start the discussion!

Find all the documents (manuscript, additional files, figures) in Google Docs

Towards a realistic view on open science peer review ?

open science peer review

open science peer reviewA week ago, a scientific journal asked me if I wanted to evaluate an article (peer review). Since this is the first time that I was asked, I was flattered. A second later, I felt a responsibility to contribute to science. In order to estimate the value of the project, I quickly scanned the website of the journal, checked the review request and let the editor know that I would not do the review. My decision occupied my thoughts for the following days, until I realized that I first had to decide for myself what I consider peer review promoting open science. What is open science peer review ?

I am an advocate of open science and transparency, so as a reviewer I would need at least a plan of the study (protocol) and the data so I can check that the planned research is carried out and that results arise from the data.

I think it is also important that:

• the publication is freely accessible (open access), especially if the research was funded with public money. A community that pays for research has the right to view its results.

• the authors state they share the dataset with the scientific community. By reusing existing datasets science can progress quicker with no unnecessary duplication of efforts.

• the protocol is available as an addendum. Today most articles are published using the internet so a protocol, extensive analyzes, etc … can easily be provided as an additional download.

• a ‘film credit’ clearly identifies who did what. Who had the idea for the study, who sought funding, who did the study, who analyzed and who wrote the paper ?

• the paper mentions the funding: who paid what amount and to whom ?

• identification of conflicts of interest 1) by the authors: any stocks or consultancy work ? 2) by the journal: What sources of revenue has the journal, what reprint orders (reprint of articles) were done for the industry and for what amount ? Editors should mention anonymously any commercial pressure exerted them, their stocks, etc ….

From this list, is becomes clear that a critical evaluation of a research paper is an undertaking. Probably not a single paper meets these criteria. So if I ever want to do a peer review,  I have to make a priority list. For me, the absolute minimum to start the review process is a protocol, a dataset and if public money is used, a guarantee of a free, accessible publication.

I want to know what you think. Write a comment below or a brief comment on Twitter or Facebook, and together we will broaden the debate.