OpenScholar und Beaver für Zotero: ein Architekturvergleich

Michael Logies

Wer sich ernsthaft mit KI-gestützter Wissenschaftsrecherche beschäftigt, stößt früher oder später auf OpenScholar. Das System verfolgt ähnliche Ziele wie Beaver für Zotero – wissenschaftliche Literatur zuverlässig und ohne Halluzinationen zusammenzufassen –, geht dabei aber grundlegend anders vor. Ein Vergleich der beiden Ansätze macht deutlich, wo die jeweiligen Stärken liegen und warum ein hybrider Einsatz sinnvoll sein kann.

Erarbeitet von Michael Logies in Zusammenarbeit mit Google Gemini und Claude Code, Juni 2026.

📋 Inhalt dieser Seite

  1. Was ist OpenScholar? – Entwickler, Datenbasis, öffentliche Verfügbarkeit
  2. Datenbasis im Vergleich – Metadaten vs. Volltext-RAG
  3. Such- und Synthese-Architektur – Wie beide Systeme intern vorgehen
  4. Belegbare Aussagen: ScholarQABench – Nature-Studie Februar 2026
  5. OpenAlex und OSDS: gleiche Volltextbasis? – Katalog-Link vs. vorab indexierter Volltext
  6. Hybridworkflow: Beaver + Paywall-Literatur – Vor- und Nachteile
  7. Backward Snowballing als Brücke – Wie Beaver den Abstract-Filter teilweise überwindet
  8. Zahnmedizinische Abdeckung – Was OpenScholar im Fachbereich leistet und nicht leistet
  9. Fazit – Komplementäre Stärken

Was ist OpenScholar?

OpenScholar ist ein Open-Source-System zur KI-gestützten Synthese wissenschaftlicher Literatur, entwickelt von Forschern der University of Washington und des Allen Institute for AI (AI2). Es nutzt als Kernressource den OpenScholar DataStore (OSDS): eine Sammlung von 45 Millionen Open-Access-Publikationen aus Semantic Scholar mit 237 Millionen vorberechneten Passage-Einbettungen – dem derzeit größten öffentlich zugänglichen Datenspeicher für wissenschaftliche Texte.

Das System ist als Open Source unter github.com/akariasai/openscholar verfügbar; eine öffentliche Demo läuft unter open-scholar.allen.ai. Die wissenschaftliche Evaluation erschien am 4. Februar 2026 in Nature.1

Datenbasis: Metadaten vs. Volltext-RAG

Der grundlegendste Unterschied liegt in dem, womit die KI beim Suchschritt tatsächlich arbeitet:

EigenschaftBeaver (via OpenAlex)OpenScholar (OSDS)
Umfang>490 Mio. Einträge (alle Disziplinen)45 Mio. Open-Access-Arbeiten
Zugriff beim SuchschrittMetadaten und Abstracts (API)Volltext: 237 Mio. Passage-Einbettungen
TiefenanalyseErst nach Import in Zotero-BibliothekDirekt, ohne lokale Bibliothek
ZugangsbeschränkungKeine für Metadaten; Volltext aus eigener BibliothekAusschließlich Open Access
Eigene BibliothekJa – Zotero-PDFs direkt eingebundenNein – nur OSDS-Korpus

Beavers externe Suche über OpenAlex ist in der offiziellen Dokumentation ausdrücklich als „experimentell" eingestuft und primär auf Discovery ausgerichtet: Sie hilft beim Aufbau der eigenen Zotero-Bibliothek, ersetzt aber keine Volltext-Analyse. Die eigentliche Stärke von Beaver entfaltet sich erst, wenn die relevanten PDFs in Zotero importiert sind.

Such- und Synthese-Architektur

Beaver arbeitet im Web-Modus als Discovery-Werkzeug: Ein autonomer Sub-Agent durchsucht OpenAlex nach Themen oder Zitationspfaden und schlägt relevante Treffer für den Import vor. Die Synthesis-Qualität im Discovery-Schritt ist durch die Beschränkung auf Abstracts oberflächlicher; die maximale Tiefe (satzgenaue Zitationen, Methodenkritik, Widerspruchsanalyse) entfaltet sich erst nach dem Import in die lokale Bibliothek.

OpenScholar implementiert eine mehrstufige RAG-Pipeline:

  1. Retrieval: Bi-Encoder-Suche über die 237 Millionen Passage-Einbettungen des OSDS.
  2. Reranking: Ein Cross-Encoder-Reranker bewertet die gefundenen Passagen nach Relevanz neu.
  3. Synthese: Ein Sprachmodell generiert eine belegte Antwort auf Basis der abgerufenen Passagen.
  4. Iterative Feedback-Schleife: Das Modell prüft den eigenen Entwurf auf unbelegte Behauptungen oder Lücken und stößt autonom neue Suchprozesse an, bis die Faktenlage gedeckt ist.

Diese autonome Feedback-Schleife ist ein qualitativer Unterschied zu Beaver: OpenScholar kann selbstständig entscheiden, wann weitere Quellen benötigt werden – Beaver übergibt diese Entscheidung an den Nutzer.

Belegbare Aussagen: ScholarQABench

Für OpenScholar liegt eine empirische Grundlage vor, die für Beaver im Bereich der externen Websuche fehlt:

Das Team veröffentlichte am 4. Februar 2026 in Nature eine Evaluation auf Basis des ScholarQABench: 2.967 expertengeschriebene Anfragen aus vier Domänen (Biomedizin, Physik, Informatik, Neurowissenschaften). Wichtigste Ergebnisse:1

  • Zitationsgenauigkeit: OpenScholar zitiert Quellen so präzise wie menschliche Experten. GPT-4o halluziniert Zitationen dagegen in 78–90 % der Fälle.
  • Nutzerpräferenz (Blindtest): Fachwissenschaftler bevorzugten die Synthesen von OpenScholar in 51 % der Fälle gegenüber Antworten menschlicher Experten.
  • Pipeline-Effekt: Wird OpenScholars Retrieval-Pipeline mit GPT-4o kombiniert, steigt die Expertenpräferenz auf 70 % – GPT-4o allein ohne Pipeline erreicht nur 32 %.
  • Korrektheit: OpenScholar-8B übertrifft GPT-4o um 6,1 % auf dem Benchmark.

Belegdichte im Vergleich:

Für OpenScholar liegt eine publizierte, peer-reviewte Benchmark-Studie in Nature vor. Für Beaver existieren keine kontrollierten, wissenschaftlich publizierten Tests zur Qualität der externen OpenAlex-Suche; die verfügbare Evidenz beschränkt sich auf technische Dokumentationen, Praxisberichte und die Selbsteinschätzung der Entwickler (Einstufung als „experimentell").

OpenAlex und OSDS: gleiche Volltextbasis?

Auf den ersten Blick scheint der Unterschied kleiner, als er ist: OpenAlex kennt rund 60 Millionen freie Volltext-PDFs (aus PubMed, PubMed Central, Unpaywall u. a.) und verlinkt sie – und OpenScholars OSDS speist sich aus denselben Quellen. Sind Beaver und OpenScholar für Open-Access-Literatur also faktisch gleichwertig?

Die Antwort lautet: theoretisch ähnlich, praktisch fundamental verschieden – und der Unterschied liegt nicht in den Datenquellen, sondern in der Art des Zugriffs:

Argumente für eine ähnliche Datenbasis
  • Gemeinsame Quellen: Sowohl OpenAlex als auch der OSDS aggregieren dieselben globalen Open-Access-Repositorien – PubMed Central, Crossref, Unpaywall, institutionelle Repositorien. Wenn ein zahnmedizinischer Artikel in PMC als Open Access vorliegt, ist er für beide Systeme prinzipiell erreichbar.
  • Identische fundamentale Verfügbarkeit: Ob Gold-OA, Green-OA oder Hybrid – eine Arbeit, die einen freien Volltext hat, ist für beide Systeme grundsätzlich gleichwertig sichtbar.
Strukturelle Unterschiede im tatsächlichen Zugriff
  • Metadaten-Filter vs. Volltext-Indexierung: OpenAlex liefert Beaver im ersten Suchschritt primär Metadaten – Titel, Abstracts, Schlagwörter. Ein freies PDF wird von Beaver nur dann als relevant erkannt und vorgeschlagen, wenn das Paper diesen Metadaten-Filter passiert. OpenScholar hat die 45 Millionen OA-Arbeiten seines Datenspeichers vorab in 237 Millionen Textpassagen zerlegt und eingebettet. OpenScholar findet eine Arbeit, weil ein Begriff tief im Volltext steht; Beaver findet sie im ersten Schritt nur, wenn der Begriff im Abstract auftaucht.
  • Ad-hoc-Abruf vs. statischer Datenspeicher: OpenAlex liefert meist die URL-Verlinkung zum Volltext; Beaver muss das freie PDF nach der Auswahl autonom herunterladen und parsen. In der Praxis scheitert dieser Schritt regelmäßig an dynamischen URL-Umleitungen, Captchas oder restriktiven Publisher-Firewalls. OpenScholar umgeht das vollständig, weil die Volltexte bereits statisch vorverarbeitet im OSDS liegen.

Kurz: Beide Systeme kennen dieselbe Open-Access-Literatur. Aber OpenScholar hat sie bereits vollständig gelesen und indexiert – Beaver liest einen neuen Titel erst dann im Volltext, wenn der Nutzer ihn explizit importiert.

Hybridworkflow: Beaver und Paywall-Literatur

OpenScholar ist auf Open-Access-Inhalte beschränkt. Beaver dagegen kann Paywall-PDFs direkt aus Zotero analysieren. Das eröffnet einen hybriden Workflow – mit Chancen und Grenzen:

Vorteile des hybriden Workflows
  • Volltext-Hoheit bei Closed-Access-Inhalten: Durch manuelles Einpflegen von Paywall-PDFs in Zotero hebelt Beaver die Open-Access-Restriktion von OpenScholar aus. Sobald das Dokument in der Bibliothek liegt, wechselt Beaver für diese Datei vom Metadaten- in den Volltext-Modus und kann tiefe inhaltliche Verknüpfungen, spezifische Datenpunkte und methodische Nuancen extrahieren – für die OpenScholar vollständig blind bleibt.
  • Kompensation des Sichtbarkeits-Bias: Die OpenAlex-Schnittstelle von Beaver erkennt über Metadaten auch Paywall-Artikel, die OpenScholar nicht findet. Die Existenz dieser Arbeiten wird also nicht übersehen, auch wenn der Volltext zunächst fehlt.
Nachteile und verbleibende Einschränkungen
  • Abstract-Filter-Bias bei der Vorauswahl: Da Beaver im Discovery-Schritt via OpenAlex nur Abstracts analysieren kann, erfolgt die Relevanzbewertung oberflächlich. Artikel, deren entscheidende Argumente oder Daten nicht im Abstract ausformuliert sind, fallen durch dieses Raster – und werden für den Import gar nicht erst vorgeschlagen. Ein Volltext-Suchsystem wie OpenScholar würde diese Arbeiten finden; da OpenScholar aber prinzipbedingt keine Paywall-Inhalte einschließt, bleibt dieser Blindspot strukturell unaufgelöst.
  • Bruch in der Synthese-Autonomie: OpenScholars iterative Feedback-Schleife ermöglicht es dem Modell, Evidenzlücken autonom zu erkennen und eigenständig nachzusuchen. Bei Beaver bricht diese Kette: Die KI kann nicht selbstständig entscheiden, ein Paywall-Paper im Volltext zu beschaffen und zu analysieren. Die intellektuelle Last der Bibliotheksergänzung verlagert sich vollständig auf den menschlichen Nutzer.

Backward Snowballing als Brücke

Beaver kann den Abstract-Filter-Bias teilweise kompensieren, wenn man seinen Workflow konsequent nutzt: Nach dem Import und der Volltext-Analyse schlägt Beaver weitere Titel zur Beschaffung vor – abgeleitet aus Literaturverzeichnissen und inhaltlichen Hinweisen im Volltext. Dieses Verfahren entspricht methodisch dem Backward Snowballing und ist qualitativ besser als eine reine Abstract-Suche, weil die Relevanzprüfung auf dem echten Zitationskontext im Text basiert.

Stärken und Grenzen des Snowballing in Beaver

Stärken:

  • Der Abstract-Filter-Bias wird für nachgelagerte Literatur effektiv überwunden: Die Relevanzprüfung basiert nicht mehr auf einem Abstract, sondern auf dem semantischen Kontext im Volltext – also auf dem tatsächlichen Zitationskontext.
  • Beaver liefert gezielte Beschaffungshinweise (nicht ungerichtete Websuche), die nachweislich mit der Forschungsfrage verknüpft sind und den zeitlichen Aufwand für die manuelle Suche reduzieren.

Grenzen:

  • Seed-Paper-Bias: Der Prozess hängt vollständig von der Qualität der Ausgangsliteratur ab. Befindet sich in der Zotero-Bibliothek ein systematischer Blindspot (z. B. weil eine bestimmte wissenschaftliche Schule in Paywall-Journals publiziert, die initial nicht importiert wurden), bleibt Beaver in der Zitationsblase der vorhandenen Texte gefangen.
  • Asynchroner Workflow: Während OpenScholar eine Such- und Schreibschleife autonom durchläuft, erzwingt Beaver einen unterbrochenen Prozess: Analyse → manueller Lesestopp → manuelle PDF-Beschaffung → Import → Re-Analyse. Eine KI-gesteuerte Ad-hoc-Synthese eines noch unbekannten Themenfeldes wird dadurch strukturell ausgebremst.

Zahnmedizinische Abdeckung in OpenScholar

Da diese Website aus einer Zahnarztpraxis heraus betrieben wird, stellt sich die Frage nach der Zahnmedizin-spezifischen Leistungsfähigkeit von OpenScholar direkt.

Argumente für eine gute Abdeckung
  • Breite biomedizinische Datenbasis: Der OpenScholar DataStore baut auf dem peS2o-Korpus (Semantic Scholar Open Corpus) auf. Die Biomedizin besitzt durch die flächendeckende PubMed-Central-Indexierung die höchste Open-Access-Abdeckung aller Wissenschaftsdisziplinen. Zahnmedizinische Grundlagenforschung – Biomaterialien, orale Mikrobiologie, kraniofaziale Biologie – ist daher quantitativ stark im Korpus vertreten.
  • Validierte Domänenkompetenz in Biomedizin: Im ScholarQABench wurde OpenScholar explizit in der Domäne Biomedicine evaluiert und erreichte dabei Zitiergenauigkeit auf Expertenniveau. Zahnmedizin ist als klinische Subdisziplin der Biomedizin methodisch von dieser Evaluation eingeschlossen.
Argumente gegen eine lückenlose Abdeckung
  • Das klinische Paywall-Defizit: Praxisnahe klinische Studien erscheinen in der Zahnmedizin überproportional häufig in Verlagsjournalen hinter Paywalls (Quintessenz, Elsevier, Wiley u. a.). Da OpenScholar strikt auf Open-Access-Volltexte begrenzt ist, bleibt das System für signifikante Teile der klinischen Evidenz – etwa konkrete chirurgische oder prothetische Fallstudien – blind.
  • Niedrigere Open-Access-Quote im Fachvergleich: Analysen zur Open-Access-Verfügbarkeit (u. a. Piwowar et al.)5 zeigen, dass die Zahnmedizin mit einer Open-Access-Quote von rund 41 % (gemessen sieben Jahre nach Publikation) hinter anderen biomedizinischen Feldern wie Molekularbiologie oder Infektiologie zurückbleibt. Das verkleinert die für OpenScholar nutzbare Datenbasis in diesem Fachbereich im Vergleich zu anderen medizinischen Disziplinen.

Belegdichte: Die technische Zusammensetzung des OSDS und seine Leistungsfähigkeit im biomedizinischen Sektor sind durch die Entwickler sauber dokumentiert. Es fehlen jedoch isolierte Feldstudien, die die Abdeckungsrate speziell für zahnmedizinische MeSH-Klassifikationen quantifizieren.

Im Praxisalltag bedeutet das: OpenScholar ist für die zahnmedizinische Grundlagenforschung (Biomaterialien, Mikrobiologie, Epidemiologie) ein brauchbares Explorationstools – insbesondere dort, wo Open-Access-Journals dominieren. Für klinisch-operative Fragestellungen (Implantatchirurgie, Prothetik, Endodontik), bei denen führende Zeitschriften Paywall-gebunden sind, bleibt Beaver mit einer gezielt aufgebauten Zotero-Bibliothek das verlässlichere Werkzeug.

Fazit

Beide Systeme sind nicht in direkter Konkurrenz, sondern ergänzen sich:

  • OpenScholar ist das stärkere Werkzeug für explorative, breit angelegte Recherchen in Open-Access-Literatur: autonome iterative Synthese, belegte Zitationen auf Expertennniveau, publizierter Benchmark. Die Grenze ist strukturell: keine Paywall-Inhalte, keine eigene Bibliotheksintegration.
  • Beaver für Zotero ist das stärkere Werkzeug für die Tiefenanalyse einer gezielt aufgebauten, kurierten Bibliothek – inklusive Paywall-PDFs. Die Discovery-Phase via OpenAlex ist durch die Metadaten-Beschränkung schwächer als OpenScholars Volltext-RAG, kann aber durch konsequentes Snowballing über Volltexte verbessert werden.

Ein sinnvoller Ablauf für eine gründliche Recherche: OpenScholar für den ersten thematischen Überblick und die Identifikation zentraler Open-Access-Arbeiten → Import der relevanten Paper (und Beschaffung wichtiger Paywall-Titel) in Zotero → Beaver für die vertiefende Analyse, Methodenkritik und Synthese der vollständigen Bibliothek.

Die fundamentale Bruchstelle der aktuellen KI-Infrastruktur für Wissenschaftsrecherche: breite, aber flache Metadatensuche vs. tiefe, aber auf Open Access isolierte Volltext-Suche. Beide Ansätze lösen sie nicht – sie kompensieren sie jeweils auf einer anderen Seite.

Literatur

  1. Asai A, Lo K, Li Z, Shi W, Ludwig J, Ooi BC, Hajishirzi H. Synthesizing scientific literature with retrieval-augmented language models. Nature. 2026;629:127–134. doi:10.1038/s41586-025-10072-4 (Preprint: arXiv:2411.14199)
  2. University of Washington News. In a study, AI model OpenScholar synthesizes scientific research and cites sources as accurately as human experts. 4. Februar 2026. washington.edu
  3. AkariAsai/OpenScholar. GitHub-Repository. github.com/akariasai/openscholar
  4. Beaver-Dokumentation. Custom Models. beaverapp.ai
  5. Piwowar H, Priem J, Larivière V, Alperin JP, Matthias L, Norlander B, Farley A, West J, Haustein S. The state of OA: a large-scale analysis of the prevalence and impact of Open Access articles. PeerJ. 2018;6:e4375. doi:10.7717/peerj.4375