KI bewertet systematische Reviews: Was ein simpler Prompt leistet
Diese KI-Studie stellt höhere Ansprüche an die künstliche Intelligenz als mein KI-Buchprojekt. Während ich dort einer KI 198 wissenschaftliche Artikel zusammenfassen und ein Buch schreiben ließ – Studienkritik war also nicht gefragt, sondern ergab sich allenfalls aus sich widersprechenden Autoren –, sollen in der folgenden Arbeit KIs die Qualität von 35 systematischen Reviews aus der dentalen Traumatologie beurteilen. Diese Bewertungen werden dann mit menschlichen Auswertern verglichen. Eine Aufgabe, die, nebenbei bemerkt, die Fähigkeiten von 99,9 % aller Ärzte und Zahnärzte übersteigen dürfte.
Die Studie
Kurian, Cherian, Reji und Varghese haben untersucht, ob drei gängige KI-Sprachmodelle die methodische Qualität systematischer Reviews anhand der AMSTAR-2-Checkliste einschätzen können (Evidence-Based Dentistry, 2026; DOI: 10.1038/s41432-026-01238-8). Als Referenz dienten Bewertungen erfahrener menschlicher Methodiker. Die Bewertung von 35 Reviews aus einem einzigen Übersichtsartikel zur Dentaltraumatologie ist methodisch anspruchsvoll – und für den klinischen Alltag nur bedingt übertragbar.
Die Prompt-Frage
Mich interessierte sofort: Welche Prompts haben die Autoren verwendet? Denn wenn ich in den letzten Monaten etwas gelernt habe, dann dass (iterative) Prompts und das Organisieren des KI-Gedächtnisses (Memory) entscheidend für die Qualität der Antworten von Sprachmodellen sind. Für meine Literaturarbeit habe ich deshalb sowohl in Beaver als auch in Kimi Code einen Dauerprompt hinterlegt, der hier dokumentiert ist:
Meine Custom Instructions für Literaturrecherchen
Der Prompt in der Studie
Die Autoren arbeiteten mit einem einzigen, einfachen Prompt für alle drei KI-Systeme (ChatGPT, Perplexity, Google Gemini). Er lautete auf Englisch:
„Use the AMSTAR 2 checklist to evaluate the methodological quality of the following systematic review. Return a rating for each of the 16 AMSTAR 2 items with Yes, Partially Yes, No and Not applicable as responses along. Tabulate with a brief justification in the table and make an overall rating at the end.“
Übersetzt: Die KI sollte mit der AMSTAR-2-Checkliste die methodische Qualität einer systematischen Übersichtsarbeit bewerten, für jeden der 16 Punkte eine der vier Antwortkategorien wählen, die Ergebnisse tabellarisch mit kurzer Begründung darstellen und am Ende eine Gesamtbewertung abgeben.
Das ist ein sogenannter minimaler Null-Shot-Prompt ohne Feinabstimmung: keine Beispiele, keine Schritt-für-Schritt-Anleitung, keine Rollenbeschreibung, keine iterative Verbesserung. Die Forscher haben die KI also mit einer kurzen, einmaligen Anweisung arbeiten lassen.
Zentrale Ergebnisse
| KI-Plattform | Fehlerquote | Übereinstimmung mit Experten (κ) | Einschätzung |
|---|---|---|---|
| Perplexity | 19,0 % | 0,78 (0,71–0,85) | Nahezu ausgezeichnet |
| ChatGPT | 22,9 % | 0,62 (0,54–0,70) | Mittelmäßig |
| Google Gemini | 43,9 % | 0,41 (0,33–0,49) | Für den alleinigen Einsatz nicht zuverlässig |
Der Buchstabe κ (Kappa) ist ein statistisches Maß für die Übereinstimmung zwischen Bewertern. Ein Wert von 1,0 bedeutet vollständige Übereinstimmung, 0 bedeutet reiner Zufall.
Beaver gegen Kimi Code: Mein Vergleich
Ich habe beide KIs – Beaver und Kimi Code (K2.7-code) – den Studienvolltext und die vier Word-Dokumente mit Zusatzmaterial auswerten lassen. Die Ergebnisse beider KI-Analysen stehen unten zum Download.
Ein wichtiger Unterschied zeigte sich bei den Word-Dateien: Kimi Code kam an die .docx-Anhänge in Zotero nicht heran und hat sich dann eigenständig die Dateien von der Verlagswebseite geholt, konvertiert und ausgewertet. Beaver kommt aktuell nur mit PDFs zurecht und konnte die .docx-Dateien nicht lesen. Genauer beschreibe ich diesen Vergleich hier:
Kimi Code vs. Beaver für Zotero-Recherchen
Kimis Fazit zur Studie
Die Studie testet, ob drei gängige KI-Sprachmodelle eine systematische Übersichtsarbeit anhand der AMSTAR-2-Checkliste bewerten können – und zwar mit dem einfachsten möglichen Prompt, ohne Beispiele, ohne Optimierung und ohne technische Kontrolle über die KI-Systeme. Perplexity erreichte dabei die beste Übereinstimmung mit den menschlichen Experten, gefolgt von ChatGPT. Google Gemini schnitt deutlich schlechter ab.
Klinische Einordnung: KI kann als Unterstützung bei der Beurteilung systematischer Reviews dienen, nicht jedoch als alleinige Entscheidungsgrundlage. Wichtig ist auch, dass die Studie nicht prüft, ob ein besserer Prompt oder mehrere Durchläufe die Ergebnisse noch deutlich verbessern würden.
Mein Fazit
Die Ergebnisse sind trotz des minimalistischen Prompts in der Studie schon so gut, dass in einigen Jahren Menschen vermutlich keine medizinischen Reviews mehr allein schreiben werden. Die Effizienz- und Qualitätsvorteile werden dafür viel zu groß sein. Ich kann jetzt schon für meinen zahnmedizinischen Hausgebrauch Studien in Menge und Qualität auswerten, wie es vor KI unmöglich gewesen wäre.
Downloads
Hinweis zur Entwicklungsgeschwindigkeit
Die Studie führte die KI-Abfragen im Juli 2025 durch. Das ist in der KI-Entwicklung eine vergleichsweise lange Zeit zurück. Da Sprachmodelle sich monatlich verbessern, dürften aktuelle Versionen derselben Systeme heute noch bessere Ergebnisse liefern – insbesondere wenn man zusätzlich strukturiertere Prompts, Beispiele oder ein organisiertes KI-Gedächtnis einsetzt.
Über diese Seite
Diese Seite wurde von Kimi Code (Modell K2.7-code) nach den Vorgaben von Michael Logies verfasst. Inhaltliche Grundlage waren der von Michael Logies formulierte Begleittext, die Originalarbeit von Kurian et al. (2026) sowie die beiden KI-Analysen, die Beaver und Kimi Code zu der Studie erstellt haben.
Literatur
Kurian N, Cherian JM, Reji RM, Varghese KG. Can artificial intelligence accurately assess systematic review quality? Benchmarking large language models for AMSTAR 2 appraisal in dental evidence synthesis. Evidence-Based Dentistry. 2026. DOI: 10.1038/s41432-026-01238-8 – Volltext.