Stellungnahme des VFA zum Entwurf der allgemeinen Methoden 3.0 des IQWiG [Stand 15.11.2007]

Zusammenfassung

Das GKV-Wettbewerbsstärkungsgesetz (GKV-WSG) zum 01. April 2007 regelt unter anderem die Arbeit des IQWiG neu. Es sieht Beteiligung und Transparenz in allen relevanten Schritten des Bewertungsverfahrens vor. Der VFA sieht in dem vom IQWiG vorgelegten Entwurf der Methoden 3.0 in zahlreichen Punkten deutliche Widersprüche zum Gesetz.

Grundsätzliche Kritik am Methodenpapier
Die Teilung des Methodenpapiers in je einen Teil für die Nutzenbewertung und die Kosten-Nutzen-Bewertung sowie das zeitlich getrennte Stellungnahmeverfahren macht eine umfassende Bewertung undurchführbar. Auch die zu kurze Stellungnahmefrist von 4 Wochen erscheint bei einem Papier solchen Umfangs und Inhalts nicht angemessen.

Insgesamt sind die Methoden so angelegt, dass die zu betrachtende Evidenz maximal eingeschränkt wird. Im Ergebnis ist eine zutreffende Nutzenbewertung nicht möglich.

Vor dem Hintergrund der Ergebnisse der BMG-Fachtagungen vom 18.06.07 und 07./08.11.07, die das Methodenpapier ignoriert, zeichnet sich das Methodenpapier durch den Verzicht der Kenntnisnahme international anerkannter Standards sowohl der Evidenzbasierten Medizin als auch der Gesundheitsökonomie aus.

Mangelnde Beteiligung und Transparenz
Die Vergangenheit hat gezeigt, dass die Verfahren des IQWiG leider häufig einer Beliebigkeit unterlagen. Das Methodenpapier setzt dies fort. Die Auftragskonkretisierung der jeweiligen Bewertungen soll weiterhin nicht veröffentlicht werden und diese darf auch im Stellungnahmeverfahren nicht mehr thematisiert werden. Der Einbezug externer Experten und anderer Betroffener unterliegt weiterhin ausschließlich der Auswahl des IQWiG.

Das Verfahren bleibt insgesamt intransparent angefangen von der Auftragsvergabe, über die Auswahl der Auftragnehmer, das interne Reviewverfahren, bis hin zur Nennung der Autoren der Berichte. An keiner der relevanten Stellen werden Namen beauftragter Experten oder Zwischenergebnisse veröffentlicht.

Wie die Empfehlung des IQWiG letztlich zustande kommt bleibt unklar und ist auch für den Auftraggeber aus den schriftlichen Darstellungen nicht nachvollziehbar.

Hier erscheint ein „Scoping-Prozess“ wie von verschiedener Seite gefordert eine sinnvolle Alternative, da er die im Gesetz geforderte Beteiligung gewährleisten kann. Die Transparenz sollte durch Veröffentlichung der Unterlagen aller relevanten Zwischenschritte gewährleistet werden.

Zu eng gefasster Nutzenbegriff
Dreh- und Angelpunkt einer adäquaten Nutzenbewertung ist die Definition des Nutzens. Das Gesetz sieht dabei die Betrachtung von mindestens fünf Nutzendimensionen vor:

Das IQWiG reduziert diese eigenmächtig auf nur noch drei Dimensionen und ändert deren Inhalte. Dies widerspricht dem Auftrag des Gesetzgebers.

Missachtung von internationalen Standards der evidenzbasierten Medizin (EbM)
Im Gesetz ist festgeschrieben, dass das IQWiG sich an den international anerkannten Standards der evidenzbasierten Medizin zu orientieren hat. Die Methoden des IQWiG zeigen hier deutliche Lücken auf.

Jeder Auftrag, den das IQWiG bearbeitet hat, fächert sich in eine Vielzahl von verschiedenen Teilfragen auf, die jeweils separat zu beantworten sind. Der internationale Standard der EbM sieht vor, für jede dieser Teilfragen die jeweils beste verfügbare Evidenz („best available evidence“) zu nutzen. In vielen Fällen kann man die Teilfragen aus kontrollierten Studien beantworten, in anderen Fällen ist dies jedoch nicht möglich.
Wichtig ist, dass man die beste verfügbare Evidenz für jede Teilfrage suchen und finden muss – es gibt zumeist nicht eine Studie oder Studienform, die alle Fragen beantwortet, da medizinisches Wissen häufig ein Mosaik ist.

Das IQWiG reduziert sich bei seinem Ansatz darauf, für jede Fragestellung nur die Evidenz zu berücksichtigen, die es aufgrund theoretischer Überlegungen als die „beste Evidenz“ festlegt. Dieses selektive Vorgehen widerspricht dem Vorgehen der EbM und negiert vorhandenes Wissen. Patienten werden so Chancen vorenthalten.

IQWiG verwendet Methoden unsachgemäß
Der Auftrag des IQWiG ist die unvoreingenommene wissenschaftliche Bewertung des Nutzens von Therapieoptionen. Methodisch stellt die IQWiG-Bewertung daher eine retrospektive Bewertung der vorhandenen Evidenz dar. Dementsprechend ist es fehlerhaft, hier statistische Methoden heranzuziehen, die für die prospektive Studienplanung konzipiert wurden. Das IQWiG zieht Studien für Fragestellungen heran, für die diese meist nicht geplant wurden. Damit nimmt das IQWiG ein unkalkulierbares Risiko für Fehlinterpretation in Kauf. Im Ergebnis bedeutet dies, dass Patienten Therapien mit Zusatznutzen vorenthalten werden können.

Bei einer deskriptiven Bewertung der Studienlage durch das IQWiG ist der Ansatz nicht zielführend, von einem nicht vorhandenen Nutzen auszugehen und im zweiten Schritt die Literatur zur Überprüfung dieser Hypothese heranziehen zu wollen. Dies ist ein Ansatz für die prospektive Studienplanung und nicht für die deskriptive Beschreibung der vorhandenen Evidenz.

IQWiG-Berichte als Entscheidungsgrundlage nicht geeignet
Das IQWiG beruft sich bei seinen Bewertungen ausschließlich auf vorhandene randomisierte kontrollierte Studien (RCTs). Dies sind ganz überwiegend publizierte Studien, die zur Beantwortung der Fragen für eine Zulassung geplant und durchgeführt wurden (klinische Wirksamkeit, Verträglichkeit). Andere Fragen können durch diese vorhandenen Daten entweder gar nicht oder nur unzureichend beantwortet werden.

Andererseits liegen häufig Daten aus anderen Studienformen als RCTs vor, die die Frage z. B. nach der Lebensqualität der Patienten beantworten können. Da diese in der Regel die wesentlichen Informationen aus dem Versorgungsalltag systematisch ignorieren, bieten die Berichte des IQWiG dem Entscheidungsträger keine ausreichende Entscheidungsbasis.

Auch liegen nicht für alle in Frage kommenden Präparate einer Indikation vergleichende Studien vor. Hier gibt es zwar statistische Verfahren, diesen Mangel an Informationen auszugleichen, die Verfahren werden vom IQWiG allerdings in seinem Methodenpapier mit keinem Wort erwähnt. Es muss davon ausgegangen werden, dass der Auftraggeber auch in solchen Situationen keine adäquate Entscheidungshilfe erhält.

“Deklaration der Interessenkonflikte“
Die Einteilung der Welt in Beeinflusser und Beeinflussbare ist ein zu ideologisches und zu simplifizierendes Gesellschaftsbild. Jeder Akteur im Gesundheitswesen hat Interessen, wie der Patient, der Arzt, der Politiker, der Versicherer, der Krankenhausbetreiber, die Industrie. Der Versuch, diese schematisch in gut und schlecht einzuteilen, ist Reflexion eines vereinfachten Welt- und Menschenbildes, das nicht in eine moderne, pluralistische und liberale Demokratie passt.



Stellungnahme des VFA zum Entwurf der IQWiG-Methoden 3.0 vom 15.11.2007


Langfassung

Grundsätzliche Anmerkungen zu den Methoden
Das Methodenpapier „Allgemeine Methoden 3.0“ wurde mit einer Stellungnahmefrist von 4 Wochen veröffentlicht. Das Methodenpapier zur Kosten-Nutzen-Bewertung wird gemäß Ankündigung erst deutlich nach Ablauf dieser Frist separat publiziert und zur Stellungnahme gestellt. Eine adäquate Kommentierung der beiden Methodendokumente ist daher unmöglich. Erst zusammen mit dem zweiten Teil kann die Zielrichtung und die Verknüpfung der allgemeinen Methoden mit denen zur Kosten-Nutzen-Bewertung überprüft werden.

Das Methodenpapier „allgemeine Methoden“ sollte zusammen und zeitgleich mit dem Papier zur Kosten-Nutzen-Bewertung zur Kommentierung gestellt werden. Dabei ist eine ausreichende Zeitspanne für die Kommentierung vorzusehen. Die Kommentare dieser Stellungnahme beziehen sich daher ausschließlich auf eine isolierte Nutzenbewertung.

Dem Methodenentwurf waren Bemühungen des Bundesministeriums für Gesundheit (BMG) zu einer ausführlichen wissenschaftlichen Beratung und Diskussion vorausgegangen, die bei einem Arbeitspapier dieser Größenordnung dringend erforderlich sind. Das IQWiG ist aber weder inhaltlich noch formell auf die Vorschläge der Experten aus den BMG-Fachtagungen eingegangen.

Neben dem Verzicht der Berücksichtigung von inhaltlichen Vorschlägen ist die kurze Stellungnahmefrist besonders bemerkenswert, weil die Experten des BMG sehr deutlich die zu kurzen Fristen des IQWiG kritisiert haben.

Die Erfahrung der letzten 2 Jahre Nutzenbewertung des IQWiG zeigt, dass alle fehlenden Regelungen im Methodenpapier des IQWiG zu beliebigen Bewertungen führen. Auch dieser Methodenentwurf enthält immer wiederkehrend Formulierungen, die dem Institut alle Optionen offen lassen. Dies wird zum Beispiel an Formulierungen deutlich wie „in der Regel“, „in Ausnahmefällen“ oder bei weiteren Konjunktiven. Dabei werden meist keine Kriterien oder Bedingungen für die Abweichungen und Ausnahmen genannt.

Letztlich können weder die Öffentlichkeit noch die jeweiligen Auftragnehmer nachvollziehen, welche Empfehlungen das IQWiG auf welcher Grundlage getroffen hat – ein Verstoß gegen das Transparenzgebot des § 35 b Abs. 1 SGB V und gegen internationale Standards.


Spezifische Anmerkungen zu Abschnitten des IQWiG-Methodenentwurfes 3.0

Die spezifischen Anmerkungen dieser Stellungnahme gliedern sich analog der einzelnen Kapitel des Methodenentwurfs 3.0 des IQWiG. Die entsprechenden Kapitelnummern sind dabei zur Orientierung in Klammern gesetzt.

Das IQWiG (1)

Eigenmächtige Definition der Aufgaben durch das IQWiG
Die vom IQWiG vorgelegten Interpretationen des GKV-WSG über seine Aufgaben sind an einigen Stellen nicht nachvollziehbar. Das IQWiG beschreibt im Methodenentwurf seinen gesetzlichen Auftrag zur Bewertung des Zusatznutzens auf der Basis vorliegender, bereits durchgeführter und publizierter Studien. Allerdings interpretiert das IQWiG seinen Auftrag analog einer Zulassungsentscheidung auf Basis noch zu planender Studien mit entsprechenden Planungsmöglichkeiten ( „Planungssicherheit“). Dies ist aber nicht der gesetzliche Auftrag, und die vom IQWiG geforderten Studien sind im Nachhinein auch häufig nicht zu leisten.

So stellt das IQWiG zum Beispiel für den Nachweis eines Zusatznutzens die Forderung nach mindestens zwei signifikanten Endpunktstudien auf. Insbesondere bei Langzeittherapien kann diese Forderung mit dem derzeit üblichem Verständnis von Ethik unvereinbar sein. Es wird sich heute kaum eine Ethik-Kommission finden, die eine zweite Endpunktstudie genehmigt, wenn in der ersten eine signifikante Verbesserung der Überlebensrate unter einem der Präparate bereits nachgewiesen ist, und insbesondere auch die klinische Wirksamkeit längst belegt ist.

Der Versuch, die Anforderungen, die bei Zulassungen angelegt werden, für die Nutzenbewertung zu übernehmen, kann zu der Forderung nach zwei weiteren Endpunktstudien nach erfolgter Zulassung führen. Dies wäre problematisch, da aufgrund der Ablehnung von Surrogaten nun Langzeitstudien für Therapien gefordert werden, deren klinische Wirksamkeit längst belegt ist.

Die Vorgehensweise des IQWiG muss sich an der retrospektiven Evidenzsynthese orientieren und sollte sich daher grundsätzlich von dem prospektiv geplanten Wirksamkeitsnachweis unterscheiden.

Ferner wird vom IQWiG der Begriff der Notwendigkeit eingeführt. Es wird weder klar, warum dieser Begriff hier nötig ist, noch wozu er im Weiteren dienen soll. Der Auftrag des IQWiG liegt in der Durchführung von Nutzenbewertungen und nicht in der Betrachtung von Notwendigkeit.

Unvollständige Zitierung des Gesetzes
Darüber hinaus ist die vom IQWiG vorgenommene Definition der Perspektive bei der Kostenübernahme so nicht zutreffend. Das GKV-WSG definiert hier, dass die Perspektive der Versichertengemeinschaft auch eingenommen werden soll, und nicht insbesondere. Dies bedeutet, dass regelhaft die gesellschaftliche Perspektive, die internationaler Standard der Gesundheitsökonomie ist, eingenommen werden soll. Dies wird auch durch das Ergebnis der BMG-Fachtagungen, insbesondere die Synopse der 1. BMG-Fachtagung (Antes et al.[1]) unterstützt.

IQWiG stellt die klinische Epidemiologie als Wissenschaft in Frage
In seinem Methodenentwurf führt das IQWiG aus, dass es unter keinen Umständen Auftrag des Instituts sein könne, auch Studien unzureichender Ergebnissicherheit zur Bewertung des Nutzens heranzuziehen. Laut IQWiG würde diese Vorgehensweise verschleiern, dass die Entscheidungen des G-BA nicht auf eine wissenschaftlich gesicherte Basis gestellt werden können.[2]
Implizit wird durch diese Aussage unterstellt, es gebe sichere und unsichere Evidenz. Alle Evidenz unterliegt aber grundsätzlich der Unsicherheit, deren Umfang zu beschreiben ist.
Hiermit werden Forschungsergebnisse der Epidemiologie pauschal für insuffizient erklärt. Das IQWiG vertritt hier eine Extremposition, die nicht zu sinnvollen Ergebnissen führen dürfte.

IQWiG fordert unsachgemäße und undurchführbare Studien
Auch im Detail wird die Fragwürdigkeit vieler Forderungen des IQWiG an Studien deutlich.

So „begrüßt“ das IQWiG eine Überprüfung der Verblindung einer Studie[3]. Gerade die letzten Verfahren haben aber gezeigt, dass das IQWiG von einem sehr restriktiven Patientenbild ausgeht. Der heutige informierte und aufgeklärte Patient ist häufig sehr wohl in der Lage Verblindungen zu überwinden. Je spürbarer der Therapieeffekt, desto höher ist dabei die Wahrscheinlichkeit, dass der Patient seine Gruppenzugehörigkeit errät.

Die Übereinstimmung zwischen vermuteter und tatsächlicher Gruppenzugehörigkeit lässt dann allerdings nicht auf eine schlechte Verblindung schließen, sondern weist auf einen großen Effekt hin. Bei Bewertungen des IQWiG würde in diesem Fall aufgrund der hohen Übereinstimmung auf eine „schlechte Verblindung“ geschlossen und die Studie als geringwertiger eingestuft werden. Dies führt zu einer systematischen Fehlbewertung von Studien.

Auch fordert das IQWiG für seine Bewertungen einer Therapieoption das Vorliegen von Studien für alle denkbaren Vergleichsoptionen, eine Forderung, die in dieser Form unrealistisch ist. Diese Forderung kann dazu führen, dass neue Präparate für die Indikation Hypertonie gemäß den Forderungen des IQWiG mit mindestens jeweils zwei Endpunktstudien gegen die fünf existierenden Wirkstoffgruppen vorweisen. Da das IQWiG außerdem mehrere Endpunkte für die Studien fordert, ergäben sich zahlreiche Probleme hinsichtlich des finanziellen, zeitlichen und logistischen Aufwandes. Auch wären Fallzahlen notwendig, die kaum realistisch darstellbar sind.

Begriff der EbM (1.3)
Die vom IQWiG gegebene Definition des Begriffes „Evidenz“ ist eingeengt auf die Interpretation des IQWiG. Die Definition des Deutschen Netzwerks Evidenzbasierte Medizin e.V. (DNEbM) hingegen lautet[4]:
„Unter Evidenzbasierter Medizin (EbM) oder evidenzbasierter Praxis im engeren Sinne versteht man eine Vorgehensweise des medizinischen Handelns, individuelle Patienten auf der Basis der besten zur Verfügung stehenden Daten zu versorgen. Diese Technik umfasst die systematische Suche nach der relevanten Evidenz in der medizinischen Literatur für ein konkretes klinisches Problem, die kritische Beurteilung der Validität der Evidenz nach klinisch-epidemiologischen Gesichtspunkten; die Bewertung der Größe des beobachteten Effekts sowie die Anwendung dieser Evidenz auf den konkreten Patienten mit Hilfe der klinischen Erfahrung und der Vorstellungen der Patienten. Ein verwandter Begriff ist die evidenzbasierte Gesundheitsversorgung („Evidence-Based Health Care“), bei der die Prinzipien der EbM auf alle Gesundheitsberufe und alle Bereiche der Gesundheitsversorgung, einschließlich Entscheidungen zur Steuerung des Gesundheitssystems, angewandt werden.“

Hervorzuheben ist hier, dass laut EbM-Netzwerk beim Begriff der Evidence-based Health-Care die Prinzipien der EbM unverändert auf den Bereich des Gesundheitssystems angewandt werden. Anders als vom IQWiG behauptet, geht dies nicht mit einer Umdeutung der Prinzipien der EbM einher.

Stellenwert von RCTs in der Evidenzbasierten Medizin
Randomisierte kontrollierte Studien (RCTs) sind allgemein als Standard in der wissenschaftlichen Beurteilung der klinischen Wirksamkeit von medizinischen Interventionen anerkannt. Prinzip der RCTs ist, durch Randomisierung eine vorhersagbare Zuordnung der Patienten zu einer bestimmten Behandlungsgruppe möglichst auszuschalten. Die Randomisierung soll die geringstmögliche Verzerrung der Schätzung des Behandlungsgruppenvergleichs gegenüber Auswirkungen von bekannten und unbekannten prognostischen Variablen leisten. Ob und wie sehr eine Randomisierung diese Ansprüche erfüllt, hängt vom Einzelfall ab.

Die Beschränkung auf RCTs in der Nutzenbewertung greift zu kurz und verzichtet auf wichtige Informationen. Zudem ist die in den RCTs beschriebene Wirksamkeit nicht immer gleichzusetzen mit den möglichen Nutzendimensionen einer Therapie.

Für eine Entscheidungsfindung müssen daher die durch eine Therapie ermöglichten Nutzen für den Patienten in den Mittelpunkt der Betrachtung gestellt und die vorhandene Evidenz im Spektrum berücksichtigt werden.

Aus folgenden Gründen ist es notwendig, die Datenbasis der RCTs mit Daten aus anderen Evidenzstufen zu ergänzen.

Im Sinne einer Verbesserung der Entscheidungsgrundlage sollten bei der Arbeit des IQWiG auch Non-RCTs mitberücksichtigt werden, wenn für eine konkrete Fragestellung keine RCTs vorliegen. In der Evidenzbasierten Medizin wird z.B. Beobachtungsstudien eine Aussagekraft zugestanden, wie bspw. die Arbeit von GRADE[5] unterstreicht.

Warum eine regelhafte Hinzuziehung von Evidenz außerhalb von RCTs notwendig ist, ergibt sich hierbei aus Forderungen des IQWiG selbst:

Statt theoretisch bester Evidenz muss die pro Nutzenaspekt bestverfügbare Evidenz genutzt werden
Die EbM nutzt das Konzept der sogenannten „bestverfügbaren Evidenz“. Es gibt also gerade für die Situation, dass eine Frage oder ein Aspekt der Frage nicht aus bestimmten Studientypen beantwortet werden kann, ein definiertes Vorgehen: die Frage wird dann aus den Studien beantwortet, die dafür als nächstbeste Evidenz zur Verfügung stehen. Die Standards der EbM sind hier eindeutig - das Vorgehen des IQWiG entspricht diesen Standards nicht. Mit der vom IQWiG vorgenommenen Umdeutung der Begriffe wird gegen die Forderung des Gesetzes verstoßen, internationale Standards der EbM zu berücksichtigen (§ 35 b Abs. 1 S. 5 SGB V).
Das heißt für die Nutzenbewertung, dass pro Nutzenaspekt jeweils die bestverfügbare Evidenz recherchiert und berücksichtigt werden muss.

IQWiG mißt mit zweierlei Maß
Anders als bei medikamentösen Interventionen, bei denen nur RCTs akzeptiert werden, greift das IQWiG selber bei nicht-medikamentösen Interventionen auf Beobachtungsstudien zurück, wenn keine zureichende Evidenz aus RCTs vorliegt. Es ist aus wissenschaftlicher Sicht nicht nachzuvollziehen, warum hier vom IQWiG bei der Nutzenbewertung zwei unterschiedliche Strategien verfolgt werden.

Das IQWiG nimmt ein zu großes Risiko für Fehlentscheidungen in Kauf
Bei der vom IQWiG durchgeführten Nutzenbewertung handelt es sich um ein retrospektiv durchgeführtes, systematisches Review der vorhandenen Studien. Die im Methodenentwurf beschriebenen Methodiken sind häufig jedoch für prospektiv geplante Studien gedacht.

So versucht das IQWiG zum Beispiel, falsch positive Nutzenbewertungen zu reduzieren, indem es wo möglich Multiplizitätskorrekturen einsetzen möchte. Diese Maßnahmen zur Korrektur der Multiplizität, ebenso wie die zitierte „2-trials“-Forderung[8], sind wissenschaftlich nicht berechtigt. Vielmehr führen sie dazu, dass das Risiko falsch negativer Nutzenbewertungen enorm ansteigt, und damit die Wahrscheinlichkeit, dass den Patienten effektive Medikation vorenthalten wird.

Produkte des Instituts (2)

Die postulierte Objektivität in den Produkten gibt es nicht
In der Produkterstellung des IQWiG wird eine Vielzahl von prozeduralen Schritten und Entscheidungsschritten angesetzt, die an vielen Stellen subjektive Wertungen darstellen. Dies wird auch von den Experten des BMG in ihrer Synopse der 1. Fachtagung eindeutig festgestellt, wenn sie dort klar darauf hinweisen, dass „Auch im Assessment zahlreiche Wertentscheidungen enthalten sind“.[9] Dort wird auch explizit gefordert, dass genau deswegen diese Wertentscheidungen offenzulegen und zu diskutieren seien.

Mangelnde Auftragskonkretisierung
§ 139a Abs. 5 S. 1 definiert klar: „Das Institut hat in allen wichtigen Abschnitten des Bewertungsverfahren Sachverständigen […] Gelegenheit zur Stellungnahme zu geben“. Die Gruppe der zu Beteiligenden wird dabei im Gesetz klar definiert.

Die Auftragskonkretisierung soll dagegen laut IQWiG-Methoden nur „gegebenenfalls unter Einbeziehung externer fachlicher Expertise oder der Meinung einzelner Betroffener…“ erfolgen.

Da die Auftragskonkretisierung nicht veröffentlicht werden soll, kann im Zweifelfall jegliche Kritik am Berichtsplan mit Hinweis auf die unbekannte Auftragskonkretisierung ausgehebelt werden.

Mangelnde Beteiligung
Einer adäquaten und angemessenen Beteiligung all derer, die laut Gesetz einzubeziehen sind, erteilt das IQWiG eine komplette Absage. Trotz der einhelligen Empfehlungen von nationalen und internationalen Experten, die Beteiligung im Rahmen eines Scoping-Prozesses zu sichern und so für ein hohes Maß an Transparenz zu sorgen, wird diese einfache Lösung ignoriert.

Gerade weil das IQWiG versucht dem Scoping eine Absage zu erteilen, verwundert es umso mehr, dass es selber an anderer Stelle der Methoden auf das GRADE-Instrument hinweist, das gerade auf einem Scoping-Prozess aufbaut.[10]

Auch die vom IQWiG festgelegte Frist von vier Wochen bei allen Arten von Stellungnahmen wurde zuletzt auf der BMG-Fachtagung von den unabhängigen Experten des BMG als viel zu kurz kritisiert[11]. Das hindert das IQWiG aber keineswegs daran, diese Vorgaben ungeachtet der Kritik weiterhin als Regel im Methodenpapier zu fixieren.

Einbeziehung von Experten, Stellungnahmeverfahren und mündliche Erörterung haben keine fassbare Konsequenz
Die IQWiG-Methoden selber verdeutlichen[12], dass das Stellungnahmeverfahren nur von vernachlässigbare Bedeutung hat.
„Mit dem Ziel einer zeitnahen Fertigstellung beginnt die Informationsbeschaffung und -bewertung bereits vor Abschluss des Stellungnahmeverfahrens zum Berichtplan auf der Basis der dann geltenden Kriterien.“

Das IQWiG verstößt gegen den wichtigen selbst auferlegten Grundsatz der BIAS-Vermeidung, da die weitere Konkretisierung unter Kenntnis der ersten Ergebnisse erfolgt. Somit wird das Problem der sog. „Data-driven analysis“ („datengesteuerte Analyse“) in die Verfahren eingeführt.[13]

Auch bei den zu erstellenden Patienteninformationen legt das IQWiG fest, dass – auch nur gegebenenfalls - ein Patient als Legitimation für die Auftragskonkretisierung und die Definition der patientenrelevanten Endpunkte beteiligt werden soll. Es bleibt unklar wie dieser eine Patient gefunden und rekrutiert wird.

Dadurch, dass die Auftragskonkretisierung und diverse andere Dokumente nicht dargelegt werden, ist ein Nachvollziehen der Entscheidungen und eine entsprechende Kommentierung von außen nicht möglich. Dennoch soll z. B. das Kuratorium dazu Stellung nehmen, ob der Auftrag des G-BA vollständig bearbeitet wurde.

Der Methodenentwurf sieht weiter vor, dass durchgängig für alle Produkte des IQWiG mündliche Erörterungen nur optional stattfinden sollen. Ob eine Erörterung stattfindet, wird jeweils nur vom IQWiG entschieden.

Die bisherigen Erörterungen hatten dabei nicht den Charakter einer offenen Diskussion. Die zu diskutierenden Fragen werden den Teilnehmern, die eine Einladung erhalten, erst in der Sitzung präsentiert. Eine adäquate Vorbereitung für die Teilnehmer wird bislang vom IQWiG verhindert.
Die Kontrolle, was, wann und wie im Rahmen der Erörterung kommentiert werden kann, blieb und bleibt damit vollständig beim IQWiG – und damit leider auch im Unklaren.
Im Ergebnis wird nach außen also der Anschein einer Beteiligung gewahrt. Eine reale Beteiligung findet nicht statt.

Nicht nachvollziehbar ist, warum Patienteninformationen nicht auch einem offenen Stellungnahmeverfahren unterzogen werden. Es werden hier nur Auftraggeber, Kuratorium und wissenschaftlicher Beirat einbezogen. Da die Fristen ebenfalls wieder vier Wochen betragen, käme es durch ein offenes Verfahren zu keiner Zeitverzögerung. Die Beteiligung der Patienten wäre hier besonders wichtig.

Das IQWiG kommt der im Gesetz geforderten Transparenz nicht nach
Gerade dadurch, dass wesentliche Dokumente vom IQWiG nicht veröffentlicht werden, wird Transparenz und Nachvollziehbarkeit verhindert. Dies ist erkennbar z. B. an fehlender Veröffentlichung

Auf diese Weise können weder die vom Gesetz als zu Beteiligende genannten, noch die jeweiligen Auftraggeber (G-BA oder BMG) nachvollziehen, was, warum und wie in den Bewertungen des IQWiG entschieden wurde.

Das IQWiG verstößt damit auch gegen die Anforderungen, die der Sachverständigenrat in seinem aktuellen Gutachten beschrieben hatte.[14] Zudem ignoriert das IQWiG auch die Empfehlungen der Experten des BMG.

Massiv angelegte Unklarheiten bei der Auftragsvergabe und der Auftragsbearbeitung
Die Eignungskriterien, die externe Sachverständige erfüllen müssen, sind innerhalb des IQWiG-Methodendokumentes widersprüchlich und in Bezug auf wesentliche Aspekte unüblich, wie Beispielhaft dargestellt wird:

Die fehlende Transparenz betrifft auch die fehlende Darlegung des sog. „internen Reviews“ beim IQWiG. Sämtliche internen Reviewprozesse bei Berichten, Rapid Reports oder Patienteninformationen werden im Methodenpapier nicht beschrieben. Das IQWiG verhindert so die Nachvollziehbarkeit der Änderungen, die es an den Berichten der externen Sachverständigen vornimmt.[18]

Es ist somit insgesamt undurchschaubar, was in den jeweiligen IQWiG-Berichten eigentlich wann, wie und von wem eingebracht wurde. Ob die Autoren eines Berichts vollständig genannt wurden, wer gereviewt hat, was der extern beauftragte Autor des Berichtes tatsächlich geschrieben hat, welche Änderungen der Reviewer empfahl und welche Änderungen das IQWiG anschließend noch vornahm, bleibt im Dunkeln.

Auch die konkreten Regelungen für die Abgabe von Stellungnahmen werden in den Methoden nicht dargelegt – es gibt nur Querverweise auf andere Dokumente.[19] Damit wird aber eine konkrete und transparente Darlegung der Verfahrensweisen ausgehebelt, da die entsprechenden Leitfäden selbst nicht Gegenstand der Methoden sind.

Wie die Vergangenheit gezeigt hat, ändert das IQWiG Dokumente ohne Benachrichtigung der Öffentlichkeit. So wurden z.B. geändert:

Alle diese intransparenten Prozesse zeigen, dass die Arbeitsweise des IQWiG auf Basis des Methodenentwurfs 3.0 nicht gesetzeskonform gestaltet werden kann.


Bewertung des Nutzens medizinischer Interventionen (3)

Vom IQWiG massiv eingeschränkter Nutzenbegriff
Das IQWiG stellt selbst fest, dass eine vom Gesetzgeber gewünschte Nutzenbewertung mehr als einen Nutzenaspekt braucht.
Vor dem Hintergrund der klaren Aufzählung des Gesetzes zu den mindestens zu beachtenden Nutzenaspekten[20] reduziert das IQWiG aber die Zahl der Nutzenaspekte und damit den Nutzenbegriff.

Während das Gesetz[21] folgende fünf Aspekte benennt:

verkürzt und verändert da IQWiG die Kriterien inhaltlich auf[22]

Besonders erstaunlich ist die Ummanipulation des Begriffs „Lebensqualität“ aus dem Gesetz, den das IQWiG in „gesundheitsbezogene Lebensqualität“ umdeutet.

Nur noch als sog. „sekundäre Endpunkte“ könnten laut IQWiG interventions- und erkrankungsbedingter Aufwand und Patientenzufriedenheit ggf. ergänzend berücksichtigt werden.

Patientenrelevante Innovationen hinsichtlich der Darreichungsform (i.v. oder s.c. versus oral) oder mit geringerem Interaktionspotential genügen somit nicht den Anforderungen des IQWiG. Dies hätte zur Konsequenz, dass die Forschung und Weiterentwicklung in diesen Bereichen grundsätzlich in Frage zu stellen ist.

Für die Bewertung des Nutzens müssten valide Surrogate mitberücksichtigt werden: nach den Ausführungen des Methodenentwurfs stellt sich die Frage, warum sich das Institut hier ggf. über die Entscheidung der Zulassungsbehörden hinwegsetzt – Zulassungsbehörden akzeptieren in vielen Fällen anerkannte Surrogatparameter. Darüber hinaus sind die vom IQWiG geforderten Studien[23] zum Nachweis der Validität eines Surrogats häufig ethisch gar nicht vertretbar, wie das Beispiel von Interventionsstudien zur Validität des Blutdrucks als Surrogat für die KHK-Mortalität zeigt.

Es sei angemerkt, dass das IQWiG in der aktuell vorliegenden Definition Unterschiede in den Substanzen hinsichtlich Subindikationen oder Begleitindikationen in der Nutzenbetrachtung nicht berücksichtigt, obwohl dies für Therapieentscheidungen häufig relevant ist.

Evidenz für den Nutzennachweis
Das IQWiG stellt in seinen Methoden fest[24], dass RCTs üblicherweise auf wenige Endpunkte fokussieren. Dadurch, dass das IQWiG die Nutzenbewertung auf RCTs begrenzen will, werden somit im Ergebnis Nutzenaspekte systematisch begrenzt auf einige wenige. Alle anderen Nutzenbelege werden gemäß dem Vorgehen des IQWiG weder gesucht, noch in die Bewertung einbezogen.[25]

Die Festlegung des IQWiG, dass man zu jeder Fragestellung ein RCT durchführen könne, hilft hier regelhaft nicht weiter. Es geht bei der Nutzenbewertung im Rahmen nicht um die Betrachtung, was man hätte machen können – das IQWiG hat den Auftrag, vorhandene Evidenz zu suchen, zu bewerten und den Zusatznutzen darzustellen. Ebenfalls ist weder jede Fragestellung durch die Durchführung eines RCTs beantwortbar. Auch wird die hierbei notwendige Logistik, Zeit und finanzielle Belastung grob unterschätzt.

Auch nach der Auswahl von RCTs selektiert das IQWiG weiter. Studien werden nur dann berücksichtigt, wenn sie exakt den Zulassungsstatus in Deutschland abbilden.[26] Da der vom IQWiG gewünschte Studientyp häufig vor der Zulassung durchgeführt wird, können diese Studien den Zulassungsstatus in Deutschland oft nicht abbilden. Neben internationalen Studien werden mit den Festlegungen der Methoden 3.0 damit auch Zulassungsstudien potenziell ausgeschlossen.

Ignorieren von nationaler und internationaler Expertise durch das IQWiG
Die von nationalen und internationalen Experten im Auftrag des BMG erarbeiteten Empfehlungen finden keinen Niederschlag in den Methoden des IQWiG. So wird auch von den Experten des BMG z. B. empfohlen, den Nutzenbegriff stärker auszuweiten und die bestverfügbare Evidenz je Nutzenaspekt zu berücksichtigen. Das IQWiG bleibt dagegen bei dem Ansatz, nur einen Studientyp (RCTs) betrachten zu wollen.

Das Konzept der Angemessenheit des Sachverständigenrates wird vom IQWiG ignoriert. Im SVR-Gutachten geht der Nutzen über die klinische Wirksamkeit hinaus und bezieht die gesamte verfügbare Evidenz ein. Das aktuelle Sachverständigenratsgutachten wird vom IQWiG nicht zitiert.

Fragwürdige Beurteilung des Schadens von Medikamenten
Sowohl die Wirksamkeit als auch die Verträglichkeit sind für jedes im Handel verfügbare Medikament schon mit der Zulassung auf Basis adäquater Daten nachgewiesen, und auch eine Nutzen-Schaden-Abwägung wird regelmäßig seitens der Behörden vorgenommen. Sowohl für die Zulassung als auch für die Bewertung der Sicherheitsdaten sind die Zulassungsbehörden zuständig.

Hierfür werden neben den RCTs standardmäßig auch Beobachtungsstudien herangezogen. Das STROBE-Statement beschreibt den Nutzen der Beobachtungsstudien wie folgt „Observational studies are more suitable to detect rare or late adverse effects of treatments and are more likely to provide an indication of what is achieved in daily medical practice“.[27]

Zudem sei auf die Beliebigkeit bei der Bewertung des Schadens bzw. des Risikos hingewiesen. Das IQWiG definiert ohne jegliche Begründung die Relevanz bestimmter Nebenwirkungen und selektiert entsprechend.

Um einen Vorteil hinsichtlich des Schadensprofils einer Therapieoption nachzuweisen, fordert das IQWiG den Kausalitätsnachweis anhand von RCTs[28].

Für die Überprüfung des Risikoprofils der gleichen Option hingegen zieht das IQWiG zusätzlich epidemiologische Studiendesigns heran[29]. Unklar ist dabei, wo das IQWiG den Unterschied von Schaden und Risiko sieht. Aus Sicht des VFA sind diese identisch und sollten daher auch am gleichen Datenmaterial (d. h. inklusive der epidemiologischen Studien) überprüft werden.


Leitlinien und DMPs (4)
Das IQWiG dehnt seinen vom Gesetz gegebenen Auftrag über eine Bewertung von Leitlinien aus.

Die Absicht des IQWiG hinter der inhaltlichen Bewertung wird in den Methoden verdeutlicht: es geht hier um ein zu bildendes Instrument, mit dem geprüft werden kann, ob „innerhalb der zur Verfügung stehenden Ressourcen die Maßnahme umsetzbar und finanzierbar“ ist, sprich: als zu teuer empfundene Maßnahmen sollen aus der Leitlinie und damit aus der Versorgung herausgenommen werden können.[30] Konkret heißt dies, dass sehr wohl auch evidenzbasierte Empfehlungen aus Kostengründen negiert werden sollen, ohne die entsprechenden Therapien mit einer Kosten-Nutzen-Bewertung nach internationalen Standards geprüft zu haben.

Die Methoden des IQWiG stehen im Widerspruch zu den Festlegungen der Bundesärztekammer zu Leitlinien.[31] Es ist ausdrücklich nicht Aufgabe von Leitlinien, nur die billigst mögliche Versorgung abzubilden – es ist Aufgabe der Leitlinien, die bestmöglichen Empfehlungen, ggf. mit Alternativen, für ein praxisorientiertes Vorgehen aufzuzeigen. Leitlinien sollen einen Satz von Empfehlungen für ein Versorgungsproblem definieren.

Die Evaluation der Implementierung von Leitlinien durch das IQWiG ist nicht durch das Gesetz gedeckt. Zudem ist sie aus prinzipiellen wie auch aus rein praktischen Gründen abzulehnen. Der Auftrag des Gesetzes an das IQWiG ist die Bewertung von Leitlinien. Je mehr Aufgaben sich das IQWiG im Rahmen seiner Methoden selber zuschreibt, desto mehr Aufgaben der totalen Steuerung von Gesundheitsleistungen werden in diese eine Hand gelegt. Es ist jedoch vom Gesetz ausdrücklich nicht gewollt, wenn letzten Endes die Erstellung, Bewertung und Evaluation von Leitlinien im Zusammenspiel G-BA und IQWiG monopolartig ausgestaltet werden.


Evidenzbasierte Gesundheitsinformation für Bürger und Patienten (5)
Die gesetzliche Grundlage nach § 139a Abs. 3 Nr. 6 SGB V bestimmt die Bereitstellung von Gesundheitsinformationen.

Das IQWiG unterlässt in seinem Methodenpapier 3.0 eine explizite Darstellung der Vorgehensweisen hierzu und kommt über allgemeine Begriffserläuterungen von Patientenkommunikation nicht hinaus. Insbesondere durch den Ausgangspunkt, dass Patienteninformationen „…Belege für den Nutzen, den Schaden und die Ungewissheiten enthalten müssen …“[32] scheinen diese Informationen automatisch einem systematischen Bias zu unterliegen. Dies begründet sich u.a. in der nicht sachadäquaten Definition von Nutzen (siehe 3.1) gemäß § 35b Abs. 1 SGB V, woraus auch der Beleg für den Nutzen im Rahmen der Patienteninformation nur selektiv resultieren kann.

Die patientenrelevanten Nutzenaspekte, die durch das IQWIG a priori durch dieses Methodenpapier ausgeschlossen werden, können sich infolgedessen auch nicht in einer dem Patienten entsprechenden Information widerspiegeln.

Hintergrund und Ziele (5.1)
Für die Zielvorstellungen der gesundheitsbasierten Patienteninformation beschreibt das IQWIG die „… Einbindung der Wertvorstellungen von Patienten …“[33].Dabei wird nicht erwähnt, wie die Wertvorstellungen der Patienten überhaupt erhoben werden. Es gibt in Bezug auf Rationierung von Gesundheitsleistungen keine konsentierten Wertvorstellungen. Andererseits lehnt das IQWiG nicht-RCT-konforme Patientenbefragungen zur Erhebung von Patientenwerten bzw. Patientenpräferenzen kategorisch ab. Es bleibt unklar, mit welcher Methodik diese Wertvorstellungen standardisiert einzubeziehen sind. Aus Sicht des VFA ist es unzureichend, Aspekte in eine medizinische Entscheidungsfindung im Rahmen evidenzbasierter Gesundheitsinformation einzubinden, bei denen im Vorhinein nicht geklärt ist, auf welche Art und Weise derartige Wertungen operationalisiert werden.

Patientenzentrierte Kommunikation (5.2)

Kommunikationsstandards (5.2.1)
Da durch das Institut neben deutschen auch englischsprachige Gesundheitsinformationen publiziert werden, benennt das IQWIG den Einsatz von englischen Bewertungsinstrumenten, um „… den Grad der Lesbarkeit seiner Informationen abzuschätzen“[34]. Unerkennbar ist hier, von welchen Instrumenten dabei die Rede ist, womit der Einsatz derartiger Methoden intransparent verläuft. Tests zur Verständlichkeit der Packungsbeilage, die sogenannten „User Testings of Patient Information Leaflets“, gehören seit Oktober 2005 europaweit zum Pflichtprogramm bei der Zulassung von Arzneimitteln.[35] Es gibt entsprechende deutsche Testverfahren. Englische Readibility wird nicht in allen Staaten der EU anerkannt. Daher ist im Sinne des optimalen Ressourcen-Einsatzes der GKV-Gelder die Übersetzung der Patienteninformationen ins Englische zwecks Durchführung eines englischen Lesbarkeitstests abzulehnen.
Ferner ist der eigentliche Sinn der englischsprachigen Publizierung der Gesundheitsinformationen fraglich, da nicht explizit benannt wird, für welche Zielgruppe diese überhaupt dienlich sein sollen. Sofern der patientenrelevante Nutzen im Mittelpunkt stehen sollte, müssten Gesundheitsinformationen in den Sprachen übersetzt werden, die für in Deutschland lebende Migranten und Ausländer wesentlich sind.

Lediglich benannt wird, dass das Institut „[…] mit externen Partnern […]“ zusammenarbeitet.[36] In welche Sprachen und von welchen Partnern die Gesundheitsinformationen letztendlich übersetzt werden, ist nicht erkennbar. In diesem Zusammenhang ist ebenso fraglich, ob die Neutralität der Gesundheitsinformationen tatsächlich gewahrt werden kann.

Visuelle Kommunikation und Multimedia (5.2.2)
Das IQWIG führt aktuelle Umfragen bei Patienten durch. Dabei ist nicht erkennbar, inwieweit die Informationen verarbeitet werden und tatsächlich nutzbringend Verwendung finden. Dies erweckt den Anschein, dass eine derartige Plattform keinen Einfluss auf weitergehende Gesundheitsinformationen ausübt. Sofern patientenbezogene Umfrageergebnisse mit in die Arbeit des IQWIG einfließen, muss zumindest deutlich werden, wie diese Umfrageergebnisse umgesetzt werden.

Themenwahl, Recherche und wissenschaftliche Bewertung (5.3)

Themenwahl (5.3.1)
Das IQWiG hat keine eindeutige Definition für die epidemiologisch bedeutsame, krankheitsbezogene Themenwahl[37] gefunden. Anstatt
nun die Themenwahl im Rahmen eines Scopings festzulegen, konzipiert das IQWiG eigenhändig Kriterien: die Themenauswahl soll sich nun an der Existenz von Daten zur Krankheitslast orientieren[38].
Ein Bezug auf die „Krankheitslast“ findet sich in § 139a Abs. 3 Nr. 6 SGB V aber nicht. Es liegt der Verdacht nahe, dass hier also ein Augenmerk auf „teure“ Krankheiten gelegt wird.

Evidenzbewertung (5.3.3)
Kritisch ist anzumerken, dass sich die Gesundheitsinformationen laut IQWIG primär auf systematische Übersichten beziehen, bei denen das Institut im Vorhinein die Übersichten ausschließt, „[…] die vom Hersteller eines bestimmten Produkts gesponsert werden […]“[39]. Dabei wird diesen Übersichten automatisch ein BIAS unterstellt. Dieser Ausschluss wird damit begründet, dass das IQWIG als unabhängiges Institut fungiert. Art und Umfang des Sponsoring wird dabei noch nicht einmal klassifiziert. Im gleichen Absatz wird allerdings vom IQWiG selber gefordert, dass „systematische Übersichten den aktuellen Wissensstand unvoreingenommen bewerten sollten“.[40]

Die Methoden der EbM sind zweifelsohne geeignet, die Qualität einer Publikation / einer Studie zu bewerten. Ein vom IQWiG paternalistisch vorgenommener Ausschluss verfügbarer Informationen kann daher nicht nachvollzogen werden, zumal die vom IQWiG zitierten Studien darlegen, dass allenfalls die „Conclusions“ in einigen der genannten Fälle, jedoch nicht die Ergebnissdarstellung selbst tangiert waren.[41]

Informationsprodukte (5.4)

Kernprodukte (5.4.1)
Als Kernprodukte für die Gesundheitsinformationen benennt das IQWIG Informationsberichte, Merkblätter und Kurzantworten, die es gemeinsam mit den zusätzlichen Elementen als ein „[…] evidenzbasiertes Nachschlagewerk für Gesundheit“[42] beschreibt. Im Rahmen der Qualitätssicherung für alle Produkte aus dem Ressort Gesundheitsinformation wird den Autoren die Gelegenheit geboten, sich zu den Patienteninformationen zu äußern. Der Kommentierungsprozess weicht inhaltlich und vom Umfang her jedoch ohne Begründung von anderen Stellungnahmeprozessen des IQWiG ab.

Erfahrungsberichte (5.4.3)
Das IQWIG ist grundsätzlich nicht zu einer individuellen Gesundheitsberatung beauftragt,[43] eröffnet Patienten jedoch die Möglichkeit „[…] ihre Ansichten und Sorgen mitzuteilen […]“[44]. Wie mit diesem Input umgegangen werden soll, bleibt allerdings offen. Lediglich bei dem Einsatz von Erfahrungsberichten als Gesundheitsinformationen klingt an, dass offensichtlich eine Form der Zensur durchgeführt wird. So wird dargestellt, dass in den Erfahrungsberichten, in denen Patienten indikationsspezifische Erlebnisse schildern, „[…] jedoch kein Widerspruch zu den evidenzbasierten Gesundheitsinformationen dargestellt“[45] werden soll. Dies bedeutet, dass Patientenerfahrung, die es nach IQWiG-Einschätzung nicht geben darf, nicht aufgenommen werden.

Offen bleibt, anhand welcher Kriterien die Interviewpartner für Erfahrungsberichte ausgewählt werden. Zudem ist fraglich, ob derartige Berichte, die eine einseitige Perspektive aufzeigen, als eine Gesundheitsinformation im Sinne eines objektiven Verfahrens gelten können.

Überwachung und Auswertung (5.5)

Routinemonitoring (5.5.1)
Das Monitoring der Gesundheitsinformations-Website des IQWIG unterliegt einem ähnlichen Problem, wie die Bewertungen zur Benutzerfreundlichkeit zu Gesundheitsthemen (5.2.2). Das Institut beschreibt zwar ausführlich, welche Nutzerdaten erhoben werden, unterlässt aber eine Aussage, inwiefern diese Informationen verarbeitet werden. So bleibt offen, ob das IQWIG die Öffentlichkeit über die erhobenen Daten informiert und welche Konsequenzen daraus gezogen werden. Monitoring bietet eine steuernde Funktion, die hiermit vollkommen intransparent bleibt.

Auch wird durch die sehr umfangreiche Informationsbeschaffung des IQWiG durch die Auswertung des Nutzungsverhaltens der ratsuchenden Patienten der Eindruck erweckt, dass das IQWIG „Transparenz“ mit „gläserner Patient“ verwechselt.


Allgemeine methodische Aspekte (6)

Informationsbeschaffung (6.1)
Der gestaffelte Grad der Informationsbeschaffung des IQWiG in den Bewertungsverfahren und Arbeitsprozessen ist zu kritisieren. Eine Staffelung des Aufwandes (von „umfassend“ zu „orientierend“, von „sorgfältig“ bis zu „quick and dirty“) ist nur dann zu rechtfertigen, wenn gewährleistet wird, dass nur umfassende Recherchen zur Grundlage von Entscheidungen der jeweiligen Auftraggeber werden. Unter Punkt 3 der Aufzählung auf S. 13 des IQWiG-Methodenentwurfes wird ausführlich dargelegt, dass das IQWiG sicherzustellen habe, dass der G-BA immer eine solide wissenschaftliche Basis bekomme.

Daraus wird deutlich, dass die Recherche, die das IQWiG durchzuführen hat, immer ausführlich sein muss und alle verfügbare Evidenz für jeden zu betrachtenden Nutzenaspekt einschließen muss – denn auch eine nicht recherchierte Evidenz, die deswegen in der Folge dem Auftraggeber nicht vorgelegt wird, führt zu unwissenschaftlichen Ergebnissen und verfälscht das Bild der vorhandenen Evidenz.

Dass das IQWiG hier mit einem selektiven und Evidenz-ausschließenden Ansatz vorgeht, wird daran deutlich, dass im Methodenentwurf der „mindestens auszuwählende Studientyp“ genannt wird[46]. Ein EbM-konformes Vorgehen bestünde aber darin, die Fragestellung und alle Aspekte, nach denen gesucht werden soll, zu definieren, um dann die jeweils bestverfügbare Evidenz je betrachteten Endpunkt zu suchen – die Eingrenzung auf einen Studientyp erübrigt sich.

Bei der in den Methodenentwürfen dargelegten Suchstrategie fehlen Informationen darüber, wie mit einer iterativen Suche und v.a. mit Aktualisierungen der Suche umgegangen werden soll. Die Strategie für die erste näherungsweise Suche („quick shot“) ist nicht dargelegt worden. Dies ist deswegen bedeutsam, da das IQWiG an anderer Stelle ausführt, dass mit der Bearbeitung in den Verfahren u.U. schon vor den ersten Erörterungen angefangen werden kann. Dadurch besteht hier die Gefahr, dass Entscheidungen bereits aufgrund der Ergebnisse von Datenanalysen vorgenommen werden.

Im Methodenentwurf stellt das IQWiG ferner fest[47], dass die Nichtveröffentlichung vertraulich an das IQWiG gegebener Informationen dem Transparenzgebot widerspricht, und solche Informationen deswegen nicht berücksichtigt werden können.

An anderer Stelle erklärt das IQWiG aber, dass z. B. die Originaldokumente der externen Sachverständigen oder der externen Reviewer nicht veröffentlicht werden. Es können nicht auf der einen Seite Informationen wegen des Transparenzgebotes publiziert werden müssen, auf der anderen Seite nicht.

Da es sich hierbei um einen Widerspruch im Methodenentwurf handelt, muss sich das IQWiG entscheiden, was es hier will: Entweder gilt das Gesetz oder die Hausregeln des IQWiG.

Qualitätsbewertung von Einzelstudien (6.2)
Das IQWiG führt in diesem Abschnitt aus, dass eine Qualitätsprüfung der verschiedenen Studien(-typen) notwendig ist, die als Grundlage einer Bewertung heranzuziehen sind. Konkret sagt das IQWiG[48], dass sich „aufgrund der Komplexität der Studienbewertung anhand der Evidenzhierarchie kein abschließendes Qualitätsurteil“ bilden lässt. Dies wird durch die Ausführungen zur Bewertung des Bias noch weiter ausdifferenziert. Es bleibt offen, welche Konsequenzen die Qualitätsbewertung einer Einzelstudie für die Gesamtbewertung einer Therapieoption hat. Besonders wurde auf der BMG-Tagung von den internationalen Experten darauf aufmerksam gemacht, dass die Evidenzhierarchie nicht als in Stein gemeißelt zu gelten hat.

Ferner beschreibt das IQWiG, dass die Qualitätsprüfung unabhängig von dem Studientyp vorgenommen werden muss. Dies bedeutet zwangsläufig, dass eine den Regeln der EbM gehorchende offene Recherche durchgeführt werden muss, um daraus sämtliche Evidenz zu identifizieren, die dann einer Bewertung zugeführt wird.

Subgruppenanalysen (6.2.4)
Dieses für die Meta-Analyse sehr relevante Thema wird offensichtlich bewusst in den Abschnitt der Bewertung von Einzelstudien eingegliedert. Es wird im gesamten Kapitel die Sicht aus der Planung und Bewertung einer prospektiven, klinischen Studie dargestellt, indem Forderungen an den Sponsor[49] entsprechender Studien formuliert werden.
Das IQWiG hat an dieser Stelle allerdings das eigentliche Thema nicht getroffen. Es müsste vielmehr beschreiben, was es selber bei seiner retrospektiv durchgeführten Meta-Analyse vorhandener klinischer Studien beachten muss. Der gesamte Abschnitt sollte daher neu formuliert werden. Dabei geht es einerseits um den Nachweis des Effektes in bestimmten Subgruppen, andererseits um die Interpretation eines Gesamteffektes bei Vorliegen von Heterogenität bzgl. des Effektes in Subgruppen.

Das schwierige Thema der Homogenität bzw. Heterogenität von Subgruppen wird leider nur sehr allgemein beschrieben. Wie man hier Homogenität feststellt oder wie man mit Heterogenität umgeht, wird nicht ausgeführt. Zudem sollte die Problematik von Interaktionstests adäquat behandelt werden. Die in verschiedenen Guidelines (ICH-E9, CHMP) publizierten Regeln und Hinweise sollten referenziert und beachtet werden.

Es ist nicht ausreichend, sich bei der Bewertung von Subgruppenergebnissen nur auf vorhandene publizierte Subgruppenergebnisse zu berufen. Hier sollten vielmehr die Studiensponsoren gebeten werden, die Ergebnisse nachzureichen, um eine valide Meta-Analyse dieser Subgruppe durchzuführen.

Die Frage der Prä-Spezifizierung der Subgruppe ist für die einzelne Studie, nicht aber für die Meta-Analyse von Relevanz. Analoges gilt für das multiple Testen. Das IQWiG hält sich in der Bewertung von Subgruppenanalysen alle Optionen offen, was nicht wissenschaftlichen Standards entspricht.

Konsistenzbeurteilung von Studien (6.2.6)
Das IQWiG bewertet die Konsistenz der publizierten Daten. Im Falle von Inkonsistenzen ist es allerdings im Ermessen des IQWiG, ob versucht wird, diese aufzulösen oder nicht.

Da das IQWiG im Falle nicht aufgelöster Inkonsistenzen Sensitivitätsanalysen durchführt, die das Ergebnis entscheidend beeinflussen können, ist hier eine Regelhaftigkeit der Nachfragen zu fordern. Die wissenschaftlich umstrittene „worst-case“-Analyse wird vom IQWiG auch im Methodenentwurf 3.0 noch immer als einzige Form der Sensitivitätsanalyse genannt. Es ist zu fordern, dass das IQWiG sich der modernen und international üblichen Analysemethoden annimmt und diese in seinen Papieren beschreibt.

Bewertung von Sekundärliteratur (6.3)
Die vom IQWiG dargelegte Strategie, relevante Studien aus den Ergebnissen vorhandener HTAs o.ä. zu identifizieren, birgt die Gefahr methodischer Fehler. Wie das IQWiG an anderer Stelle ausführt, muss alleine die in z. B. HTAs verwendete Suchstrategie in jedem Einzelfall auf den Auftrag hin überprüft und ggf. angepasst werden. Diese gilt ebenso für die Auswahl der recherchierten Literatur, da hier alle Verfahrensspezifischen und subjektiven Kriterien zum tragen kommen – die Auswahlkriterien müssen dezidiert an jeder Stelle überprüft werden.

Die vom IQWiG vorgesehene Nutzung von systematischen Übersichtsarbeiten zur Identifikation relevanter Primärstudien kann wegen der zuvor genannten Einschränkungen nicht sinnvoll sein. Die Literaturrecherche muss immer umfassend erfolgen. Damit wird ein selektives Herausgreifen von Literaturquellen aus anderen HTAs überflüssig.

Spezielle biometrische Aspekte (6.4)

„Signifikanzlastigkeit“ bei der Darstellung der Ergebnisse
Das IQWiG legt dar, dass „Die Bewertung der Evidenz (…) in eine eindeutige Feststellung (zur Feststellung des Nutzens oder Schadens) münden [soll]“.[50]

Bei der vom IQWiG durchgeführten Nutzenbewertung handelt es sich jedoch um ein retrospektiv durchgeführtes systematisches Review vorhandene Daten. Somit erfüllen die Analysen nicht die Anforderungen für konfirmatorische, also beweisende Statistik, wie sie z. B. in den ICH-Guidelines E9 beschrieben werden.

Also haben die vom IQWiG durchgeführten Analysen KEINEN konfirmatorischen Charakter. Vielmehr ist es erforderlich, die Stärke der Evidenz zu beschreiben (Angabe von statistischen Kenngrößen wie Mittelwerten, KI etc.).

Auch ist die Datenlage bereits zum Zeitpunkt der Planung der Nutzenbewertung bekannt und wird – wie im Methodenentwurf explizit erwähnt – auch während der Erstellung des Berichtsplans schon detailliert gesichtet. Sämtliche formulierte Hypothesen im Berichtsplan sind folglich datengetrieben. Damit haben alle darauf beruhenden Tests nur explorativen, das heißt erklärenden Charakter, analog zu posterior formulierten Hypothesen aus klinischen Studien. Hier verweist selbst der Methodenentwurf im Kapitel zu Subgruppenanalysen explizit auf die Problematik.

Damit muss auch die Einteilung der Empfehlungen in „Beweise“ und „Hinweise“ eines Zusatznutzens klar in Frage gestellt werden. Signifikanzen spielen bei den Empfehlungen keine Rolle – zumal sie auf Studien beruhen, die ursprünglich nicht für die Fragestellung geplant wurden, für die sie nun herangezogen werden. Auch an die Problematik der oben erwähnten Multiplizitätskorrektur sei hier nochmals hingewiesen.

Für die Entscheidung ist vielmehr von Relevanz, in wie weit die einzelnen Nutzendimensionen bestimmte Therapieoptionen favorisieren und wie unsicher diese Aussagen sind. Dementsprechend ist auch das Entscheidungsproblem unterschiedlich, Evidenzsynthese kann nie zu einer dichotomen Ja/Nein-Entscheidung führen.

Zudem sei nochmals darauf hingewiesen, dass eine Empfehlung des Nichtwissens auf Basis der vom IQWiG postulierten Evidenz dem Auftraggeber keine Hilfestellung bietet, zumal Informationen aus best verfügbarer Evidenz vorgelegen hätten.

Wahl des Modells (fixed versus random effects)
„Das Institut verwendet vorrangig Modelle mit zufälligen Effekten und weicht nur in begründeten Ausnahmefällen auf Modelle mit fixen Effekten aus.“[51] Dieser Ansatz des IQWiG entspricht nicht dem aktuellen wissenschaftlichen Stand, wie in grundlegender Literatur dazu nachvollzogen werden kann.[52],[53],[54]

Indirekte Meta-Analysen bei fehlender direkter Evidenz
Der Methodenentwurf legt dar, dass ein Zusatznutzen von neuen Therapieoptionen anhand von aktiv vergleichenden randomisierten kontrollierten Studien nachgewiesen werden muss. Die Zulassungsbehörden verlangen häufig Placebo-kontrollierte Studien oder einen Vergleich zu einem im Vorfeld festgelegten Standard. Vergleiche mit älteren noch auf dem Markt befindlichen Therapieoptionen sind häufig nicht durchführbar, zum Beispiel aufgrund der mangelnden Bereitschaft der Patienten, an einer Studie mit veralteten Wirkstoffen teilzunehmen, wenn bereits eine Zulassung für neuere Medikamente besteht.

Für eben diese Situation wurde in jüngster Zeit die Methodik der indirekten Meta-Analysen entwickelt, die bei Existenz von direkten Vergleichsstudien mit einem gemeinsamen Komparator Ringschlüsse ermöglicht Indirekte Meta-Analysen ermöglichen eine Abschätzung, wie sonst nicht verglichene Therapieoptionen zu einander im Verhältnis stehen.

Einige nationale Bewertungsinstitutionen haben daher dieses Konzept der indirekten Analyse bei fehlender direkter Evidenz als Standard in die Verfahren aufgenommen.

In Gesprächen mit Vertretern des IQWiG, zum Beispiel bei Anhörungen, war angekündigt worden, dieses Konzept weiter zu verfolgen, wenn auch nicht als primäre Analyse. Daher ist es sehr verwunderlich, dass dieses Konzept im Methodenpapier nicht einmal Erwähnung findet. Andere Konzepte hingegen, die das IQWiG eventuell heranzieht, wie zum Beispiel Bayes-Verfahren, werden im Methodenentwurf erwähnt.

“Deklaration der Interessenkonflikte“
Die Einteilung der Welt in Beeinflusser und Beeinflussbare ist ein zu ideologisches und zu simplifizierendes Gesellschaftsbild. Das IQWiG fordert u.a. folgendes bei der Darlegung von Interessenkonflikten von externen Sachverständigen: „Als Interessenkonflikte werden dabei insbesondere folgende Kriterien angesehen: … alle aktuellen persönlichen Beziehungen zu anderen Personen oder Organisationen, die die beauftragte Arbeit inhaltlich beeinflussen können.“[55]

Jeder Akteur im Gesundheitswesen hat Interessen, wie der Patient, der Arzt, der Politiker, der Versicherer, der Krankenhausbetreiber, die Industrie. Der Versuch, diese schematisch in gut und schlecht einzuteilen, ist Reflexion eines vereinfachten Welt- und Menschenbildes, das nicht in eine moderne, pluralistische und liberale Demokratie passt.


Fußnoten:
¹ Externer Link: Synopse der 1. Fachtagung des BMG
² Entwurf Methoden 3.0, S. 13
3 Entwurf Methoden 3.0, S. 92
4 http://www.ebm-netzwerk.de/grundlagen/glossar#ebm, Zugriff 26.11.07, 16:00 Uhr
⁵ www.gradeworkinggroup.org
⁶ Bei den Cholinesterasehemmern bei Alzheimer wiesen die Zulassungsstudie eine Behandlungsdauer von in der Regel 6 Monaten auf. Beobachtungsstudien jedoch hatten über einen längeren Zeitraum von 48 Monaten die kognitiven Effekte beobachtet. Gerade hier haben also nur Beobachtungsstudien die vom IQWiG geforderten Daten enthalten.
7 Bei den Cholinesterasehemmern zum Beispiel war ein Endpunkt die Heimeinweisung. Die RCTs in der Demenzbehandlung fokussieren aber auf Kognition als Parameter. Mehrere Beobachtungsstudien untersuchten den Langzeiteffekt der Medikamentklasse auf die Heimeinweisungen, mittels statistischer Techniken wurden mögliche Confounder adjustiert. Gerade diese Beobachtungsstudien geben also wertvolle Hinweise auf für die Nutzenbewertung relevante Aspekte.
8 siehe S. 6, „Eigenmächtige Definition…“
9 Antes et. al, Synopse der 1. BMG-Fachtagung, S. 6
10 Entwurf Methoden 3.0, S. 40 und 55
11 Externer Link: Synopse der 1. Fachtagung des BMG
¹² Entwurf Methoden 3.0, S. 18
13 Cochrane Handbook for Systemativc Reviews of Interventions, Sept. 2006, Chapter 4.6, p. 63
14 Externer Link: SVR-Gutachten 2007, Kapitel 5; Zugriff: 04.12.07, 11:00 Uhr
¹⁵ Entwurf Methoden 3.0, S. 27
16 Entwurf Methoden 3.0, S. 28
17 Entwurf Methoden 3.0, S. 28/29
18 Entwurf Methoden 3.0, S. 22
19 Entwurf Methoden 3.0, S. 17
20 § 35b SGB V
21 § 35b SGB V
22 Entwurf Methoden 3.0, S. 33
23 Entwurf Methoden 3.0, S. 34
24 Entwurf Methoden 3.0, S. 35
25 Entwurf Methoden 3.0, S. 13
26 Entwurf Methoden 3.0, S. 43
27 P.N. Papanikolaou, G.D. Christidi and J.P. Ioannidis, Comparison of evidence on harms of medical interventions in randomized and nonrandomized studies, CMAJ 174 (2006), pp. 635–641
28 Entwurf Methoden 3.0, S. 33
29 Entwurf Methoden 3.0, S. 36
30 Entwurf Methoden 3.0, S. 53
31 http://aerzteblatt.de/v4/archiv/pdf.asp?id=7397, Zugriff: 06.12.07, 9:30 Uhr
³² Entwurf Methoden 3.0, S. 58
33 Entwurf Methoden 3.0, S. 58
34 Entwurf Methoden 3.0, S. 59
35 EU-Richtlinie 2001/83/EC
36 Entwurf Methoden 3.0, S. 64
37 Entwurf Methoden 3.0, S. 65
38 Entwurf Methoden 3.0, S. 65
39 Entwurf Methoden 3.0, S. 69
40 Entwurf Methoden 3.0, S. 69
41 BMJ. 2007 Nov 16 [Epub ahead of print] Financial ties and concordance between results and conclusions in meta-analyses: retrospective cohort study.Yank V, Rennie D, Bero LA.
42 Entwurf Methoden 3.0, S. 72
43 Entwurf Methoden 3.0, S. 63
44 Entwurf Methoden 3.0, S. 75
45 Entwurf Methoden 3.0, S. 75
46 Entwurf Methoden 3.0, S. 83
47 Entwurf Methoden 3.0, S. 87
48 Entwurf Methoden 3.0, S. 89
49 gemäß AMG
50 Entwurf Methoden 3.0, S. 33: Die Bewertung der Evidenz (…) in eine eindeutige Feststellung münden [soll], dass entweder das Vorliegen eines (Zusatz-) Nutzens (bzw. Schadens) einer Maßnahme oder das Fehlen eines (Zusatz-) Nutzens (bzw. Schadens) belegt ist oder das Vorliegen oder Fehlen eines (Zusatz-)Nutzens (bzw. Schadens) nicht belegt und daher unklar ist, ob ein (Zusatz-) Nutzen (bzw. Schaden) durch die Maßnahme erzielt wird.
51 Entwurf Methoden 3.0, S. 109
52 Senn S, The many modes of Meta, DIA Journal 2000;34:535-549
53 Senn S, Trying to be precixe about vagueness, SiM 2007;26:1470
54 Cochrane Handbook for Systematic Reviews of Interventions, Version 4.2.6, Sept. 2006, Section 8.7.3
55 Entwurf Methoden 3.0, S. 28