Studien für eine Übersichtsarbeit auswählen und screenen

Studien werden für eine Übersichtsarbeit anhand vorab festgelegter Ein- und Ausschlusskriterien ausgewählt, meist in zwei Stufen: zuerst Titel und Abstract, anschließend der Volltext. Ausgeschlossen wird nur bei eindeutig belegter Ungeeignetheit nach den vordefinierten Kriterien; bei fehlenden oder mehrdeutigen Informationen wird der Treffer weitergeprüft, und Volltextausschlüsse werden mit einem spezifischen Grund dokumentiert.

Die Review-Frage und die gewählte Review-Methode bestimmen, welche Eignungskriterien gelten; je nach Review-Typ, Protokoll, Teamstruktur oder Berichtsstandard kann der konkrete Ablauf variieren.

Screening ist von der Literaturrecherche, der kritischen Qualitätsbewertung und der späteren Evidenzorganisation zu unterscheiden: Es beantwortet die Frage, welche gefundenen Studien nach den vordefinierten Eignungskriterien weiterverfolgt oder eingeschlossen werden.

Inhaltsverzeichnis⌄

Ein- und Ausschlusskriterien vor dem Screening festlegen

Ein- und Ausschlusskriterien sollten vor dem Screening festgelegt und direkt an die Review-Frage gebunden werden.

Einschlusskriterien legen die Bedingungen fest, die eine Studie erfüllen muss, um geeignet zu sein, während Ausschlusskriterien Bedingungen benennen, die sie ungeeignet machen.

Die vorherige Festlegung dieser Eignungskriterien gibt jeder Screening-Entscheidung eine explizite Grundlage, anstatt zuzulassen, dass die nach der Suche gefundenen Studien die Regeln bestimmen.

Die geeigneten Kriterien hängen vom Umfang und der Review-Methode ab.

Bei einem eng fokussierten Review können eng spezifizierte Teilnehmer, Interventionen, Vergleiche oder Studiendesigns erforderlich sein, während ein anderer Review-Ansatz bewusst weitere Eignungsgrenzen verwenden kann.

Aus diesem Grund sollte die Wahl der Review-Methode die Eignungskriterien leiten, anstatt sich für jedes Review auf eine starre Vorlage zu verlassen.

Die Kriterien sollten die Review-Frage und den protokolldefinierten Umfang als prüfbare Bedingungen formulieren, anhand derer ein Treffer eingeschlossen, ausgeschlossen oder bei unzureichenden Informationen weitergeprüft wird.

Die wichtigsten Kriteriengruppen reichen von Dimensionen, die die Review-Frage definieren, bis zu Studiendesign, Setting und protokolldefinierten Publikationsgrenzen.

Das Diagramm und die folgende Liste zeigen, wie diese Kriterien vor dem Screening in konkrete Entscheidungsbedingungen übersetzt werden; nicht jede Kriterienklasse ist für jedes Review obligatorisch.

• Population: die für die Review-Frage relevanten Teilnehmer- oder Populationsmerkmale definieren; Treffer außerhalb dieser vordefinierten Merkmale werden ausgeschlossen, wenn die Abweichung eindeutig ist.
• Intervention oder Exposition: die Intervention, Exposition oder das Konzept angeben, das eine Studie qualifiziert; Treffer erfüllen dieses Kriterium, wenn sie die definierte Bedingung adressieren, während eine bestätigte Abweichung den Ausschluss nach diesem Kriterium begründet.
• Vergleichsgruppe: wenn die Review-Frage eine Vergleichsgruppe erfordert, definieren, welche Vergleichsbedingungen qualifizieren; wenn der gewählte Ansatz keine Vergleichsgruppe erfordert, sollte sie keine künstliche Ausschlussregel werden.
• Studiendesign: die für das Review geeigneten Studiendesigns identifizieren; ein Treffer wird ausgeschlossen, wenn sein bestätigtes Design außerhalb des vordefinierten Rahmens liegt.
• Setting: geografische, institutionelle, gemeinschaftliche, klinische oder andere Setting-Einschränkungen nur dann definieren, wenn sie für die Review-Frage relevant sind; bestätigte Settings außerhalb dieser Grenzen sind ungeeignet.
• Publikationsmerkmale: alle protokolldefinierten Grenzen hinsichtlich Publikationstyp oder -status angeben; sie als Eignungsbedingungen anwenden, nicht als Urteile über die Studienqualität.
• Zeitraum: eine Grenze für den Publikations- oder Studienzeitraum definieren, wenn die Review-Frage oder das Protokoll eine solche erfordert; Studien außerhalb dieses angegebenen Zeitraums werden aufgrund dieses Kriteriums ausgeschlossen.
• Sprache: jede Sprachbeschränkung explizit angeben, wenn das Protokoll eine verwendet; eine Sprachgrenze ist bedingt und keine Anforderung für jedes Review.

Die Breite und Formulierung der Kriterien kann sich auch mit dem Review-Typ ändern, wie in den Unterschieden zwischen systematischem Review und Scoping-Review deutlich wird.

Sobald das Screening beginnt, sollten die vordefinierten Kriterien konsequent auf vergleichbare Treffer angewendet werden.

Studien in zwei Stufen screenen

Das zweistufige Studienscreening beginnt üblicherweise mit dem Titel- und Abstract-Screening und geht anschließend zur Volltextprüfung der potenziell geeigneten oder noch unklaren Treffer über.

Die erste Stufe nutzt die begrenzten Informationen aus Titel und Abstract, während die zweite Stufe die detaillierteren Informationen des vollständigen Berichts verwendet.

Beide Stufen wenden dieselben vordefinierten Eignungskriterien auf unterschiedliche Informationstiefen an; die Eignungslogik ändert sich zwischen den Stufen nicht.

Die aus der Literaturrecherche gewonnenen Treffer bilden die Eingabe für den gestuften Prozess; potenziell geeignete oder ungeklärte Treffer werden von der ersten Bewertung zur detaillierteren Eignungsentscheidung weitergeleitet.

1. Titel- und Abstract-Screening: Jeden gefundenen Treffer anhand der Eignungskriterien mit den Informationen aus Titel und Abstract prüfen. Treffer ausschließen, wenn die Ungeeignetheit eindeutig belegt ist; potenziell geeignete oder ungeklärte Treffer werden zur Volltextprüfung weitergeleitet.
2. Volltextprüfung: Den vollständigen Bericht anhand derselben Eignungskriterien mit den detaillierteren Informationen des Volltexts bewerten. Diese Prüfung entscheidet über den endgültigen Einschluss oder einen begründeten Ausschluss.

Unzureichende Informationen in der ersten Screening-Stufe führen zur weiteren Prüfung, wenn noch keine zuverlässige Ausschlussentscheidung möglich ist.

Der genaue Arbeitsablauf kann je nach Review-Methode oder -Protokoll variieren; das zweistufige Vorgehen ist verbreitet, aber nicht für jede Übersichtsarbeit zwingend.

Die zentrale Anforderung ist eine reproduzierbare, dokumentierte Abfolge, in der die Eignungsentscheidungen den Weg von den gefundenen Treffern zur endgültigen eingeschlossenen Studienauswahl bestimmen.

Titel und Abstracts anhand der Eignungskriterien screenen

Beim Titel- und Abstract-Screening sollte ein Treffer nur dann ausgeschlossen werden, wenn die verfügbaren Informationen ausreichen, um anhand eines vordefinierten Eignungskriteriums eine klare Ungeeignetheit festzustellen.

Es sollten nur Kriterien angewendet werden, die sich anhand von Titel und Abstract vernünftig bewerten lassen.

Wenn relevante Informationen fehlen oder mehrdeutig sind, ist der Treffer als unklar zu behandeln, anstatt von einer Ungeeignetheit auszugehen.

Die drei folgenden Entscheidungszustände machen die Abstufung explizit: eindeutig ungeeignet, potenziell geeignet oder unklar.

• Eindeutig ungeeignet: Den Treffer ausschließen, wenn Titel oder Abstract eindeutig zeigen, dass er nach einem vordefinierten Kriterium ungeeignet ist.
• Potenziell geeignet: Den Treffer zurückbehalten, wenn die verfügbaren Informationen darauf hindeuten, dass er die Eignungskriterien möglicherweise erfüllt und eine Volltextprüfung rechtfertigt.
• Unklar: Den Treffer weiterleiten, wenn fehlende oder mehrdeutige Informationen eine zuverlässige Ausschlussentscheidung verhindern; der Volltext liefert die zusätzlichen Informationen, die für die weitere Prüfung benötigt werden.

Wenn beispielsweise das Setting ein Eignungskriterium ist, das Abstract das Studien-Setting aber nicht angibt, begründet allein dieses Fehlen keine Ungeeignetheit.

Der Treffer bleibt unklar und wird zur Volltextprüfung weitergeleitet, statt wegen einer nur vermuteten Ungeeignetheit ausgeschlossen zu werden.

Volltexte für den endgültigen Einschluss prüfen

Die Volltextprüfung wendet die vollständigen Eignungskriterien auf jeden zurückbehaltenen Treffer an, um die endgültige Einschlussentscheidung zu treffen.

Der Volltext liefert Details, die während des ersten Screenings möglicherweise nicht verfügbar waren, und ermöglicht so die Bewertung zuvor ungeklärter Merkmale.

Ein Bericht wird eingeschlossen, wenn alle Einschlussbedingungen erfüllt sind und kein Ausschlusskriterium greift; er wird ausgeschlossen, wenn der Volltext eindeutig belegt, dass eine Einschlussbedingung nicht erfüllt ist oder eine Ausschlussbedingung zutrifft.

Die folgende Darstellung zeigt, wie Informationen aus dem Volltext mit dem geprüften Kriterium und einer dokumentierten endgültigen Entscheidung verbunden werden.

Ein zurückbehaltener Treffer kann beispielsweise anhand seines Abstracts geeignet erscheinen, aber der Volltext kann zeigen, dass sein Studiendesign außerhalb der vordefinierten Eignungskriterien liegt; der Ausschlussgrund sollte dieses Studiendesign-Kriterium nennen, anstatt nur anzugeben, dass der Bericht irrelevant ist.

Die Volltextprüfung bewertet die Eignung und ist nicht automatisch eine kritische Qualitätsbewertung. Eine Qualitätsanforderung gehört nur dann in die Einschlussentscheidung, wenn sie vorab ausdrücklich als Eignungskriterium definiert wurde.

Die endgültige Einschluss- oder Ausschlussentscheidung sollte auf die Evidenz im vollständigen Bericht und das angewandte Kriterium zurückführbar bleiben.

Unabhängige Prüfer einsetzen und Dissens beim Screening klären

Das unabhängige Screening durch zwei Prüfer wird in Arbeitsabläufen für systematische Reviews und Scoping-Reviews häufig eingesetzt, um den Einfluss einzelner Auswahlentscheidungen zu verringern.

Für systematische Reviews empfiehlt das Cochrane-Handbuch, dass mindestens zwei Personen unabhängig beurteilen, ob Studien die Eignungskriterien erfüllen; das Verfahren zur Klärung von Dissens sollte vorab festgelegt sein.

Die genaue Anzahl der Prüfer und die Eskalationsverfahren können je nach Review-Design und -Protokoll variieren.

Ein Dissens beim Screening sollte durch einen expliziten, an die Eignungskriterien gebundenen Prozess gelöst werden und nicht durch stillschweigendes Überstimmen eines Prüfers.

Die Lösung eines Dissens beim Screening beginnt damit, die getrennten Entscheidungen der unabhängigen Prüfer zu bewahren und das Kriterium oder die Interpretation zu identifizieren, die den Konflikt verursacht hat.

Die Lösungssequenz führt von einer kriterienbasierten Diskussion hin zu einem Konsens oder, wenn der Dissens ungelöst bleibt, zu einer Entscheidung durch einen dritten Prüfer.

1. Unabhängig beurteilen: Jeder Prüfer wendet die vordefinierten Eignungskriterien an, ohne zur Bestimmung des anfänglichen Urteils die Entscheidung des anderen Prüfers heranzuziehen. Die getrennte Beurteilung bewahrt zwei unabhängig voneinander getroffene Screening-Entscheidungen für den Vergleich.
2. Den Konflikt identifizieren: Die Entscheidungen vergleichen und das spezifische Kriterium, die fehlende Information oder die Interpretation identifizieren, die für den Dissens beim Screening verantwortlich ist. Dies unterscheidet einen inhaltlichen Eignungskonflikt von einem einfachen Versehen.
3. Anhand der Kriterien diskutieren: Den umstrittenen Treffer erneut anhand der vordefinierten Eignungskriterien und der für diese Entscheidung verfügbaren Informationen prüfen. Ziel ist es, den identifizierten Konflikt durch konsequente Kriterienanwendung zu lösen, nicht durch Präferenz oder Dienstalter der Prüfer.
4. Konsens erreichen, wo möglich: Wenn die Diskussion die widersprüchliche Interpretation oder das Versehen auflöst, die vereinbarte Eignungsentscheidung und ihre Grundlage dokumentieren. Konsens spiegelt eine gemeinsame, kriterienbasierte Entscheidung wider, nicht das stillschweigende Ersetzen des Urteils eines Prüfers durch einen anderen.
5. Bei Bedarf eine Entscheidung durch einen dritten Prüfer herbeiführen: Wenn die unabhängigen Prüfer keinen Konsens erzielen können, kann ein dritter Prüfer gemäß dem Review-Protokoll und den Eignungskriterien entscheiden. Die Entscheidungsfindung und die endgültige Entscheidung dokumentieren, sodass die Lösung nachvollziehbar bleibt.

Ein Prüfer kann einen Treffer beispielsweise einschließen, während ein anderer ihn ausschließt, weil sie dessen Studiendesign unterschiedlich interpretieren.

Die Lösung sollte zum vordefinierten Studiendesign-Kriterium und den angegebenen Methoden des Treffers zurückkehren, wobei Konsens genutzt wird, wenn die Diskussion den Konflikt löst, oder die Entscheidung eines dritten Prüfers, wenn dies nicht der Fall ist.

Die dokumentierte Entscheidung sollte die Eignungskriterien und den Lösungsprozess widerspiegeln, nicht die Autorität oder das Dienstalter eines Prüfers.

Entscheidungen und Ablauf der Studienauswahl dokumentieren

Eine transparente Studienauswahl erfordert eine nachvollziehbare Aufzeichnung der Stufenzahlen, der Auswahlentscheidungen, der Ausschlussgründe für Volltexte und der schließlich eingeschlossenen Studien.

Diese Entscheidungen werden während des Screenings dokumentiert, damit jede Zählung mit der vorhergehenden und der nachfolgenden Stufe abgeglichen werden kann.

Der resultierende Prüfpfad sollte zeigen, was in jede Stufe eingegangen ist, was sie verlassen hat und den dokumentierten Grund für relevante Ausschlüsse.

Die Berichtssequenz sollte die Identifizierung, das Screening und die Volltextprüfung bis zum endgültigen Einschluss abbilden, ohne unerklärte Änderungen der Zählungen.

PRISMA 2020 empfiehlt, den Auswahlprozess von den identifizierten Einträgen bis zu den eingeschlossenen Studien zu berichten, idealerweise mit einem Flussdiagramm für systematische Reviews.

Wenn die PRISMA-Berichterstattung auf das Review-Design anwendbar ist, veranschaulicht das PRISMA-Flussdiagramm den Ablauf durch Identifizierung, Screening, Eignungsprüfung, Ausschlüsse und Einschluss; es berichtet den Auswahlprozess, anstatt die Eignungskriterien zu definieren.

1. Einträge identifizieren: Die Anzahl der identifizierten Einträge und alle dokumentierten Entfernungen vor dem Screening übertragen, sodass die anfängliche Screening-Zählung abgeglichen werden kann.
2. Einträge screenen: Die Anzahl der gescreenten Einträge und die Anzahl der während der Titel- und Abstractsichtung ausgeschlossenen Einträge angeben, wobei die Terminologie konsistent mit der gezählten Einheit bleibt.
3. Volltextprüfung: Die für die Detailprüfung gesuchten oder beschafften Berichte dokumentieren und unterscheiden, welche Berichte nicht beschafft werden konnten und welche auf Eignung geprüft wurden.
4. Volltextausschlüsse: Nach der Volltextprüfung ausgeschlossene Berichte dokumentieren und spezifische Ausschlussgründe angeben – wie ein ungeeignetes Studiendesign oder eine ungeeignete Population – anstatt den Grund unerklärt zu lassen.
5. Endgültiger Einschluss: Die Anzahl der eingeschlossenen Studien und, wo der Berichtsrahmen dies unterscheidet, die zugehörige Anzahl der eingeschlossenen Berichte angeben.

Die Zählungen sollten zwischen den Stufen mit konsistenten Einheiten und Definitionen abgeglichen werden.

Wenn beispielsweise eine dokumentierte Anzahl von Berichten in die Volltextprüfung eingeht, sollte die nachfolgende Nachweiskette diese Berichte durch Ausschluss mit angegebenen Gründen, gegebenenfalls Nichtbeschaffbarkeit oder Einschluss erfassen.

PRISMA 2020 empfiehlt, Berichte, die die Einschlusskriterien zu erfüllen scheinen, aber nach der Volltextprüfung ausgeschlossen werden, zusammen mit den Hauptgründen für den Ausschluss zu berichten.

Sobald die eingeschlossene Studienauswahl und ihr Auswahlpfad bestätigt sind, besteht die nächste Aufgabe darin, die ausgewählte Evidenz zu organisieren, ohne diese nachgelagerte Arbeit als Teil der Studienauswahl zu behandeln.

Die Dokumentation der Studienauswahl endet mit einer nachvollziehbaren endgültigen Einschlussentscheidung und einer abgeglichenen Aufzeichnung darüber, wie die eingeschlossene Auswahl erreicht wurde.