Workshop “Wat betekent het placebo-effect voor de huisarts?”

Het placebo-effect is een tot de verbeelding sprekend effect in de geneeskunde. Het verfrist onze kijk op alledaagse behandelingen. Groene pillen verminderen pijn beter dan rode pillen. Omdat we dat verwachten. Wat leren klinische dubbelblind studies over het placebo effect? De verwachting op genezing lijkt heel belangrijk. Zit dat tussen de twee oren? Wat is lichamelijk en wat is psychisch? Welke factoren bezorgen de patiënt beterschap? Welke ethische kwesties bij placebo in de arts-patiënt relatie? De donkere kanten van placebo: kwakzalverij of woorden die schade berokkenen. De lichte kant van placebo: maak het open en gebruik de kracht ervan. Vele intrigerende zaken die aanzetten tot reflectie.

Book: The Placebo Effect in Sexual Medicine, dr. Frederik Feys

Cover The Placebo Effect in Sexual Medicine: Methodological Factors in Randomized Clinical TrialsThe Placebo Effect in Sexual Medicine
Methodological Factors in Randomized Clinical Trials

Paperback – 24 Nov 2015
by Frederik Feys (Author)

€18.5 (excl delivery), includes a pdf version

If you would like to buy this book, send a message to mail@frederikfeys.com

Frederik Feys graduated as a dentist in 1997. He studied medicine for several years and holds a master’s degree in family and sexological sciences (2002). In 2015 he became Doctor in Medical Sciences.  In the clinical field he has been working since 12 years as a sex- and couple therapist. He applies the principles of autosuggestion in the form of self-help. His mission is to further explore how we can openly use the ‘vehicle’ behind the powerful placebo effect. So that clinicians can incorporate such effects in treatment decisions and patient counselling information. Ultimately improving the health and wellbeing of people.

Book Summary Medication side-effects can unblind randomized clinical trials (RCTs) that may result in misleading treatment effect estimates. Enhanced intervention blinding of people participating in an RCT can be achieved by using active placebo’s, a placebo that mimics side-effects of the intervention.

In the realm of sexual medicine, we found that such blinding-enhanced controlled RCTs for erection pills are absent. We also found a consistent failure to report on RCT blinding in journal publications. Clearly, the blinding efforts for almost all trials remain unclear. Our study found no conclusive evidence that unblinding leads to underestimating placebo effects or to the overestimation for intervention effects by investigators. Secondary analyses provided evidence that RCT participants with prior experience with the intervention reported substantially lowered placebo scores. It may be that participants with prior experience determine their allocation to placebo more efficiently and consequently engender lower expectancies as to their benefits.

After critical appraisal of the blinding status in studies for an ejaculation-delaying pill (dapoxetine), we found no evidence that dapoxetine is more effective than placebo. And dapoxetine comes with harmful effects. The blinding adequacy of almost all the studies remained unknown. The
methodology used in most studies was problematic due to incomplete data reporting, conflict of interests and selective reporting.

We conclude that methodological rigour in the conduct and reporting of RCTs is especially imperative for those health conditions that are evaluated
subjectively, such as depression, erectile dysfunction, low back pain, and many other symptom driven complaints.

Press release: Do we massively swallow placebo drugs?

PRESS RELEASE

When a drug is tested, this is often done “double blind”. This means that during the experiment neither the researcher nor the test subject knows who belongs to experimental, and who belongs to the control group. This is important, because in this way placebo effects can be excluded. But are these double-blind studies actually performed double-blinded? This is what Feys Frederik studied in his doctoral thesis.

His research looked at 222 scientific articles about erection pills and pills to delay ejaculation. It shows that it is quite possible that subjects figure out in which test group they are in. This is possible because people in the experimental group experienced side effects. People in a placebo group do not have this clue. Frederik Feys found out that little information about this is published in medical journals. Without this information, the reliability of drug testing can be questioned.

The research has a clear and important message: clinical studies should test whether they happened double blind. If they do not, or they do not report about this, it is possible that we massively swallow pills that work as placebo pills, but come with side effects. Only by testing the double blind, we know for sure whether drugs are effective and safe.

PhD thesis, successfully defended on November 24th, 2015
Department of Family Medicine and Chronic Care, Vrije Universiteit Brussel, Belgium

The Placebo Effect in Sexual Medicine: Methodological Factors in Randomized Clinical Trials
DOI: 10.13140/RG.2.1.3004.0406

Contact
Frederik Feys, MSc, PhD
+32488020010

Dapoxetine, een goedgekeurd geneesmiddel blijkt schadelijk placebo?

In 2012 gaf het Europees geneesmiddelen agentschap groen licht voor de vermarkting  van dapoxetine, een middel dat belooft mannen te helpen die te snel klaarkomen. Na het bekijken van een ‘infomercial’-spotje startte mijn speurtocht naar het bewijs achter die belofte…

Begin December 2013 zat ik in de bioscoop te wachten op de film toen ik deze infomercial zag over vroegtijdig orgasme en hoe het kan behandeld worden.

Dit spotje spreekt over een medisch probleem dat je best met je arts bespreekt want hij kan je helpen. Dit maakte me nieuwsgierig naar die oplossing. Als seksuoloog behandel ik al jaren met success mannen die te snel klaarkomen, en schreef er nooit medicatie voor uit.

Ik besloot om samen met mijn supervisor Dirk Devroey aan de Vrije Universiteit Brussel alle onderzoek over dit geneesmiddel te verzamelen. Zo kan ik grondiger de geadverteerde medicatie, dapoxetine  bestuderen. Beter bekend als “Priligy”, wordt op de markt gezet in 30 landen als het eerste orale geneesmiddel voor het ‘on-demand’ behandelen van premature ejaculatie. Het is een selectieve serotonine reuptake inhibitor (SSRI), die behoort tot hetzelfde soort geneesmiddelen als Prozac. Het werd oorspronkelijk ontwikkeld als anti-depressivum. Een gekende nevenwerking van deze SSRI anti-depressiva is dat ze de zin in seks verminderen en dat ze het moeilijker maken om klaar te komen. Eerdere studies en literatuuroverzichten (klik registratievenster weg om te lezen) vonden dat dapoxetine een doeltreffend middel is tegen het te snel klaarkomen. Dat verraste mij omdat ik in mijn onderzoek deze resultaten niet kan bevestigen.

Ik verwachtte minstens enige effectiviteit, maar mijn meta-analyse duidde op geen effect. Ik bekeek 8 klinische studies met in totaal 7000 vrijwilligers, en elke studie concludeerde dat dapoxetine werkt en veilig in gebruik is. De meeste studies gaven aan dat je ejaculatie met dapoxetine 60 seconden langer kan uitstellen.  Maar ik vond slechts 30 seconden én zelfs dat cijfer is onzeker want ik kon het statistisch niet onderbouwen.

Eén van de zaken die me opviel bij het bestaande onderzoek was de nadruk op het testen van de hypothese. Dat doe je door een wiskundige berekening waarbij je de nul-hypothese verwerpt. De nul-hypothese is dat dapoxetine even effectief is als een placebo middel of suikerpil. Na rekenwerk krijg je een getal, de p-waarde. Die zegt wat de kans is dat de nul-hypothses klopt. Je hoopt dus dat het een héél klein getal is. Is die p-waarde lager van 0.05 dan heb je een significant effect.

Hier komt een flauwe truuk uit de statistiek: wil je dat getal laag genoeg hebben, dan kan je best een grote groep gegevens onderzoeken. Zo komt zelfs een verwaarloosbaar klein effect naar boven. En dat gebeurde: de klinische dapoxetine-studies hadden gemiddeld 900 mensen aan boord. Dat is veel, want klinische studies hebben meestal een 200-tal deelnemers. Het resultaat was dus dat dapoxetine “een significante effectiviteit had”, terwijl in werkelijkheid het bijna niet effectief was.

Wat ik en iedereen wil weten is hoe effectief dapoxetine is. Helpt het mannen met hun te snel klaarkomen? Daarom gebruikte ik een andere analyse-techniek, de schatting van de effectiviteit. Ik berekende ook een 95 percent betrouwbaarheidsinterval (CI). Betrouwbaarheidsinterval dapoxetine placeboMet dapoxetine ejaculeren mannen na 2m17s met een CI van 1m22s tot 3m13s minuten (zie figuur). Stel dat je het onderzoek opnieuw zou doen, dan geeft het interval een idee welk resultaat je in 95 van de 100 gevallen zou krijgen. Dus de echte effectiviteit van dapoxetine ligt ergens tussen de 1m22s tot 3m13s. En hoe zit dat met een suikerpil? Wel dan kan je het klaarkomen uitstellen ergens tussen de 30s en de 2m54s. Wat je ziet is dat de effectiviteit van placebo met dapoxetine overlapt. Er zijn dus geen bewijs dat dapoxetine effectiever is dan placebo (want de overlap wijst erop dat het werkelijke effect waarschijnlijk gelijkaardig is).

Niet alleen vind ik geen bewijs dat dapoxetine beter werkt dan een suikerpil. Er zijn ook vervelende nevenwerkingen. In mijn analyse hadden de deelnemers tot 6 keer meer last van een ‘ziekerig’ gevoel en voelden ze zich tot drie keer vaker draaierig. Eén op de vijf deelnemers stopten ook voor het einde van de studie, wat erop wijst dat de medicatie niet goed verdragen wordt of weinig effectief is. In een langlopende studie liep dit op tot zelfs 1 op 2 mannen.

Zou jij een pil slikken die werkt als placebo, nevenwerkingen geeft, 8 euro per stuk kost en je doet hervallen van zodra je ermee stopt?

Heel algemeen was de manier waarop de studies werden uitgevoerd problematisch. Het was niet duidelijk of de deelnemers op de hoogte waren van hun medicatie. Sommigen kregen placebo, anderen dapoxetine, maar wie wat krijgt weten ze niet. De studie is dan dubbelblind opgezet. Als een deelnemer dan merkt dat hij een suikerpil krijgt, vallen verwachtingen als een kaartenhuis ineen. Vertekening van resultaten was ook mogelijk doordat bij de berekeningen enkel de gegevens van deelnemers zaten die tot op het einde volhielden of die minstens één keer op een follow-up afspraak kwamen. Last but not least: in bijna alle studies hadden de onderzoekers er financieel voordeel bij dat dapoxetine er goed zou uitkomen.

Als je al deze bevindingen samen bekijkt, vraagt een mens zich af: hoe kan het dat een schadelijk placebo op de markt komt? Waar ligt de verantwoordelijkheid van geneeskundige controle-autoriteiten? Van de ethische commissies die deze onderzoeken goedkeurden? Van de artsen die aan de studies meewerkten?

Uiteindelijk willen we deze mannen én hun partners op weg helpen naar een gezond seksleven. Toch? Ik blijf voorlopig bij mijn behandelmethode: wat geruststellende uitleg en enkele ontspanningsoefeningen. Dat geeft meestal om definitief oplossing.

Ik publiceerde mijn onderzoek Dapoxetine for Premature Ejaculation: a Harmful Placebo? (klik registratievenster weg om te lezen) op ResearchGate. Voor de publicatie was er een open peer review. Alle versies van het manuscript, revisies, data en correspondentie zijn voor iedereen vrij na te lezen onder een peer productie licentie

 

 

Do randomized clinical trials with inadequate blinding report enhanced placebo effects for intervention groups and nocebo effects for placebo groups?

Here you can find our full reporting: http://www.systematicreviewsjournal.com/content/3/1/14

We found clear evidence that studies assessing a subjective continuous outcome fail to report on measures taken to secure double blinding. Although we observed a trend for the presence of a nocebo effect, there was insufficient evidence to quantify its impact on expectations. RCTs with patients with no prior experience with PDE-5 inhibitors reported larger placebo effects and possibly these studies were better blinded. Future research should further investigate the factors that contribute to blinding and their impact on health outcomes in randomized trials of subjectively assessed conditions.

Seemingly effective drugs, the case of vedolizumab for Crohn’s disease

vedolizumab-placebo-unblinding

This article in the New England Journal of Medicine (NEJM) reports on results from a clinical trial that evaluated the use of vedolizumab for Crohn’s disease. Media reported worldwide that this new drug is effective and without harmful drug side-effects. Takeda Pharmaceutical Company says they submitted a Biologics License Application (BLA) for vedolizumab to the U.S Food and Drug Administration (FDA). This license allows for selling and marketing vedolizumab. Apart from all the buzz, what’s in it for patients with Crohn? Not much , it seems.

Vedolizumab’s effect or an unblinding effect?

I reviewed the NEJM article and found some problems that may help interpret results. The most important issue is that trial participants may have known whether they got placebo or vedolizumab. Since the trial is a double blinded randomized trial, all participants, study personnel and outcome assessors should be blinded. This eliminates subjective, unconscious biases.

Overview of Study Drug Randomization
Click to magnify. Complex Study Drug Randomization Design. ©*

This is especially important since the study used the Crohn’s Disease Activity Index (CDAI) questionnaire. This survey gives extra weight to subjective complaints. To get valid results from it, any ‘breaking’ of the double blind must be avoided. Very small amounts of study unblinding can lead to misleading data. In fact, Hróbjartsson found that only 3% of patients need to become aware of their treatment (unblinded) to have an 36% exaggeration of treatment effects.

A complex study design was used with separate induction and maintenance phases. It followed that most of the participants gained experience with vedolizumab and became familiar with its subtle bodily cues during the subsequent maintenance phase.  It is clear that unblinded participants may have more expectations for recovery when they find out to be on the new investigational drug.

Imagine what it would be to find out you are on placebo.
Your intestines go into a disillusioned spasm.

The study wanted to know how many patients have a clinical remission at week 52. This associated graph shows something remarkable:

vedolizumab-placebo-unblinding
Up until week 38 placebo is as good as vedolizumab, then suddenly placebo scores deteriorate. What happened? ©*

Using this data, a doctor can say:

Dear patient, for 38 weeks it will not matter whether you take vedolizumab or placebo. In fact, placebo would save you a lot of money! If you plan to have symptoms after 38 weeks, it may then be better to switch to vedolizumab. Expect to find benefit from the drug at week 52.

Of course, this is complete nonsense. Upon inspecting the graph, the drugs’ performance remains more or less stable throughout the 52 weeks. Placebo remains stable too, but starts to degrade late in the study. This creates an apparently effective drug, caused by an knocked down placebo effect. Now is this a drug effect? Or, is this an unblinding effect due to bad study methodology?

Few Crohn patients will benefit, many will be harmed.

% of patients in clinical remission at week 52
% of patients in clinical remission at week 52 ©*

There is a statistical significant effect, despite a small difference (17%) between patients being ok on placebo versus those recovered on vedolizumab, every 8 weeks. Significance was reached because a large sample size was used. But in clinical practice, how relevant is this 17% difference? It would be helpful to report confidence intervals (CI), it is the standard method for presenting results of major findings.  Then we would know how confident we can be about this 17% difference. In fact, the study’s protocol (can be found as additional download on NEJM article page) planned to report CI. Unfortunately, this vital statistic was not reported. A concern, indeed.

The good news is that we can calculate the number of patients needed to treat (NNT). This tells us how many patients should take the drug for one patient to benefit. In this case 6 with a 95% CI [4 to 14]. We are certain that the real-life NNT is somewhere between 4 and 14.

Are we done? No, things get worse. Assume that some patients became unblinded during the study, since they rate their own outcome this would exaggerate results. Assume 27% exaggeration (Risk Ratios estimate, taken from Hróbjartsson’s paper), after some calculating the true NNT is 9 (I am not 100% sure (or even 95% 🙂 ) I calculated this NTT correctly, so if anyone can check this?). This is indeed a very sobering exercise. Most probably this is what patients can expect form vedolizumab:

If 9 patients are treated with vedolizumab every 8 weeks, then after 52 weeks, 1 patient will have clinical remission of Crohn. During 52 weeks, 8 patients have nothing but side-effects.

Are we done now? No, things do get worse. The paper reports serious adverse effects for 15.3% of patients taking placebo and 24.4% taking vedolizumab. Reframed in understandable words:

If 11 patients get vedolizumab, we expect that 1 has serious adverse effects. Yes, that is 1 out of 11!

% of patients with clinical remission and response at week 6
% of patients (induction phase trial) with clinical remission and response at week 6
differences (8% and 6% respectively) with placebo are very small ©*

The first induction phase of the study lasted 6 weeks (see study design). Even with a large sample size, vedolizumab just reached statistical significance for clinical remission, but did not do so for CDAI-100 response. Again, the differences (8% and 6% respectively) with placebo are very small.  Lacking a reported confidence interval, we are left in the dark as to the true estimated, clinically relevant drug effect. Yes, a concern.  I calculated the NNT for you. NNT is 13 with a 95% CI [7 to 85]. We are certain that the real-life NNT is somewhere between 7 and 85.

Are we done? No, as stated before, most likely some patients became unblinded. The true  NNT is 15. Pretty sobering figures, I would say.

If 15 patients are treated with vedolizumab, after 6 weeks 1 patient will have clinical remission of Crohn. 14 patients get nothing but side-effects.

Seriously, it is fair to say that if you have Crohn, you better seek alternatives for this ‘exiting new drug’. It is marketing talk.

Letter to the editor of NEJM

Titled ‘Vedolizumab for Crohn: impaired double blind?’, I wrote a letter to the editor of NEJM. A fellow scientist, told me my letter is too critical and would not get published since NEJM earns most of their money on pharmaceutical requests for article reprints.

On September 18 2013, the editor told me they would not print my letter, because space available for correspondence is limited. Fortunately there is plenty of web space, so I post everything here.

Dear Mr. Feys,

I am sorry that we will not be able to print your recent letter to the editor regarding the Sandborn article of 22-Aug-2013.  The space available for correspondence is very limited, and we must use our judgment to present a representative selection of the material received.  Many worthwhile communications must be declined for lack of space.

Thank you for your interest in the Journal.

Sincerely,

Mary Beth Hamel, M.D., M.P.H.
Deputy Editor

What can be done?

Articles should report statistics that people can understand. The number need to treat is a way to do this. Therefore people are shocked that only 1 patient would benefit from treatment with vedolizumab, and 14 patients get nothing but harmful side-effects. That 1 out of 11 can expect serious harmful effects.

Another thing is that regulatory approval of drugs should be transparent. This concerns public health. The BLA request at FDA involves the submission of clinical trial data such as from this study. Unfortunately, from then, the FDA approval processes are less transparent. It is not clear what the FDA considers ‘a clinical relevant and safe drug effect’. Is this based on CI? Is study methodology a criterion? Does the FDA consider measures taken to secure trial blinding?

I propose that BLA and New Drug Applications (NDA) investigations are routinely doubled by independent evaluators who have full access to anonymized patient data. Even better is the conduct of a independent government sponsored trial. This would also allow more ethical study designs, such as the balanced placebo design. This design was already proposed back in 1981. It features better separation of placebo and true drug effects.

What do you think about this study findings? How would you interpret them? Leave a comment below and start discussion!

*This post is part of PhD Thesis. Illustrations reproduced with permission from Sandborn WJ, Feagan BG, Rutgeerts P, Hanauer S, Colombel J-F, Sands BE, Lukas M, Fedorak RN, Lee S, Bressler B, Fox I, Rosario M, Sankoh S, Xu J, Stephens K, Milch C, Parikh A: Vedolizumab as Induction and Maintenance Therapy for Crohn’s Disease. N Engl J Med 2013, 369:711–721., Copyright Massachusetts Medical Society.

Join the Open Public Peer Review

many eyes open peer review

Good news, today Systematic Reviews confirmed to peer review my manuscript. The manuscript quantifies nocebo and enhanced placebo effects due to unblinding in randomized clinical trials (RCTs) for erection pills.

We found that none of the 205 journal publications (110 studies worth 23.877 RCT participants) provided sufficient details to assess measures taken to ensure RCT blinding.

To enhance the quality and allow for transparent public scrutiny, the findings are available for open public peer review. Clearly, this is an experiment under the open science paradigma. Scientists with expertise in the field of research methodology, placebo, nocebo, systematic reviews will have first interest. However, I invite any scientist to review and add comments.

Please use track changes in your favorite word processor ( this is mine 😉 ). I will synchronize deadlines with the official peer review timing so we can incorporate this public reviews’ comments. First deadline will be November 30.

More general comments can also be made below, using the comment section. I am thinking of a fair way to incorporate useful commentors, e.g an acknowledged in the publishes paper. For now, let’s start the discussion!

Find all the documents (manuscript, additional files, figures) in Google Docs

Lezing “Pijn: onze psyche op de tandarts-stoel”

angst-voor-tandarts

Pijn is de voornaamste klacht bij de tandarts. Vaak verwachten patiënten dat de tand-behandeling pijn zal doen. Door hun angst voor de tandarts voelen ze meer pijn en stellen afspraken uit. Dat is jammer want dat maakt het herstellen van de tand moeilijk. Hoe kan het anders ? Wat vertelt placebo-onderzoek over pijn en onze psyche ? Hoe kan je pijn verminderen ? Wat kan de tandarts doen ? En wat kan de patiënt doen ?

Onderwerpen

  • Wat is belangrijk voor gezonde tanden ?
    Over meer dan poetsen
  • Eerst zien en dan geloven ?
    Over verwachtingen, suikerpillen en diagnoses
  • Kwakzalverij bij pijn
    Over ultrageluid & laserbehandeling
  • Het zit tussen 2 oren
    Over het lichaam en de psyche: zijn ze toch één ?
  • Als woorden pijn doen
    Over pijnlijke communicatie
  • Als woorden pijn verlichten
    Over stoom afblazen, belang van open vragen, voorlichting en ontspanningsoefeningen met autosuggestie

Data

  • 9/12/2013, 20u30; Organisatie studieclub tandartsen Erembodegem/Aalst
  • 14/1/12, 20u30; Organisatie studieclub tandartsen Oostende (T.K.O)
  • 4/2/2014, 20u30; Organisatie studieclub tandartsen Roeselare
  • 18/2/2014, 20u30; Organisatie studieclub tandartsen Meetsjesland
  • 20/3/2014, 20u30; Organisatie studieclub tandartsen Kempen (K.T.C.)