Der Memory-Server im Labor: 21 Studien, 125 Testfragen, +20,8 Prozentpunkte Trefferquote
Stand: 20.9.2026 · Messumfang: 125 real aufgezeichnete Suchanfragen in drei Messkörben · 21 Fachartikel in Volltext ausgewertet · alle Messwerte in den unten verlinkten Berichten dokumentiert
Die Memory-MCP-Hauptseite beschreibt, wie der Gedächtnis-Server aufgebaut ist. Diese Seite dokumentiert, wie wir seine Trefferqualität gemessen und gesteigert haben — mit der wissenschaftlichen Literatur als Wegweiser und eigenen Messreihen als Beweis.
Die Ausgangsfrage
Der Server beantwortet Suchanfragen, indem er zwei Wege mischt: eine Volltextsuche (findet exakte Begriffe) und eine Bedeutungssuche (findet semantisch Ähnliches, auch wenn das Wort anders lautet). Beide Ergebnislisten werden zu einer fusioniert.
Die Frage war: Wie gut findet der Server eine alte Notiz wirklich wieder, wenn der Nutzer mit anderen Worten fragt als damals gespeichert wurde? — Und: Welche Stellschrauben verbessern das messbar?
So haben wir gemessen
- 125 real aufgezeichnete Suchanfragen aus dem Alltag des Agenten, in drei „Messkörben": 46 Fragen, deren Antwortnotizen beim Feilen mitgetunt wurden (Korb 1, „geschärfte Messlatte"), 42 völlig unabhängige Fragen (Runde 2) und 37 Fragen zum harten Rest (Runde 3, die Noteinsparungsfragen in neuem Vokabular).
- Gold-Antworten: Zu jeder Frage wurde per Datenbankabfrage verifiziert, welche Notiz(en) die richtige Antwort enthält. Gemessen wurde, ob sie unter den Top-5-Treffern liegt (Recall@5) und wie weit oben (MRR).
- Jeder Hebel wurde einzeln gemessen — vorher/nachher mit identischem Fragenkorb, damit die Wirkung dem Hebel zuzuschreiben ist, nicht dem Zufall.
Die 21 Studien (plus eine Grundlagenarbeit)
Alle Arbeiten wurden über OpenAlex identifiziert und — bis auf eine — im Volltext ausgewertet. Die Spalte rechts fasst zusammen, was unser System daraus gemacht hat.
| Arbeit (Jahr) | Erkenntnis für unser System |
|---|---|
| Reciprocal Rank Fusion, Cormack et al. (2009) | Grundlage der Fusion; im Grid-Experiment zeigte sich: K ist unkritisch, das Gewichtsverhältnis der beiden Suchwege ist der eigentliche Hebel |
| MemGPT, Packer et al. (2023) | Der Kontext wird wie Betriebssystems-RAM verwaltet; externe Notizspeicher sind der richtige Weg, um alte Sitzungen zu überleben |
| Generative Agents, Park et al. (2023) | Wichtigkeits-Schwellen als Konsolidierungsauslöser — ein CPU-taugliches Muster für den Aufräumrhythmus |
| RECOMP, Xu et al. (2023) | Komprimierte Treffer sparen Kontext, verlieren aber Präzision — wir liefern ganze Notizen plus einen Textausschnitt als Vorschau |
| E5, Wang et al. (2022) | Die kontrastiv trainierte Modellfamilie, auf der unser mehrsprachiges Einbettungsmodell beruht |
| Lost in the Middle, Liu et al. (2024) | Trefferposition im Kontext zählt: weit hinten sinkt die Verwertbarkeit — deshalb lieber wenige, gut gerankte Treffer |
| Dense X Retrieval, Chen et al. (2024) | Feingranulare Retrieval-Einheiten (Sätze/Fakten) — Vorlage für unsere Schlüsselzeilen als Fakten-Ebene |
| The Chronicles of RAG, Finardi et al. (2024) | Chunking ist einer der größten Stellschrauben überhaupt — motivierte unsere Messreihe zum Zerlegungsverhalten |
| Late Chunking, Günther et al. (2024) | Kontextuelle Chunk-Embeddings brauchen lange Kontexte; mit unserem 450-Token-Limit nicht umsetzbar |
| Meta-Chunking, Zhao et al. (2024) | Sprachmodellgestütztes Zerlegen ist qualitativ stark, aber auf CPU unbezahlbar (in den Studien 140 bis über 57.000 Sekunden pro Dokument) |
| Mix-of-Granularity, Zhong et al. (2024) | Zwei Granularitäten schlagen eine; der Gewinn entsteht beim Übergang von der ersten zur zweiten Ebene |
| LongMemEval, Wu et al. (2024) | Benchmark mit klarer Botschaft: titelartige Schlüsselzeilen bringen +9,4 % Trefferquote — Vorlage für unseren Suchanker |
| LoCoMo, Maharana et al. (2024) | Sehr lange Gesprächsarchive; repliziert die Grundregel: den Notizkörper niemals kürzen |
| MemoryBank, Zhong et al. (2024) | Ebbinghaus-artiges Vergessen; wir haben den Zeitverfall bewusst abgeschaltet, weil unser Wissen zeitstabil ist |
| A Survey on Memory Mechanisms, Zhang et al. (2024) | Taxonomie der Speichermechanismen — half, die Hebel systematisch auszuwählen statt zu raten |
| RAPTOR, Sarthi et al. (2024) | Hierarchische Zusammenfassungs-Bäume; im Review verworfen: das Risiko, dass Zusammenfassungsebenen Falsches erfinden, passte nicht zu einem Faktspeicher |
| HippoRAG, Gutiérrez et al. (2024) | Graph-basierte Speicher mit Neurowissenschafts-Anleihen; ohne GPU-Budget bewusst nicht gebaut |
| Zep, Rasmussen et al. (2025) | Zwei Zeitachsen (gültig ab vs. bekannt ab); unsere einfachen Zeitstempel plus deaktivierter Zeitverfall decken unseren Bedarf ab |
| A-Mem, Xu et al. (2025) | Agentische Notizvernetzung; bestätigte, dass robuste kleinere Einbettungsmodelle für Notizverarbeitung genügen |
| Mem0, Chhikara et al. (2025) | Die ADD/UPDATE/DELETE/NOOP-Entscheidung beim Schreiben: „nur ersetzen, wenn der neue Eintrag reicher ist" — das Muster unserer Supersede-Regel |
| From RAG to Memory, Gutiérrez et al. (2025) | Nicht-parametrisches Lernen über Notizspeicher — die Architekturklasse, die unser System praktisch umsetzt |
| Memory Construction, Pan et al. (2025) | Segment-Ebene beim Speichern; zentrale Messung: Zusammenführen beim Schreiben schlägt Zusammenführen bei der Abfrage deutlich |
Die Messreihe
Trefferquote = Recall@5 (liegt die richtige Notiz unter den Top-5-Treffern?). MRR bewertet zusätzlich, wie weit oben sie liegt.
| Stand (2026) | Korb 1 (46 Fragen, getunt) | Runde 2 (42, unabhängig) | Runde 3 (37, hartes Feld) |
|---|---|---|---|
| Baseline (19.9.) | 89,1 % / MRR 0,696 | — | — |
| Nach Aufräumen + Suchanker (19.9.) | 97,8 % / 0,864 | 83,3 % / 0,707 | 68,4 % / 0,564 |
| Suchgewichtung 0,85 + weiteres Aufräumen (20.9.) | 91,3 % / 0,815 * | 88,1 % / 0,766 | 73,0 % / 0,587 |
| + Übersetzungswörterbuch (isoliert gemessen) | 91,3 % / 0,815 | 88,1 % / 0,766 | 75,7 % / 0,614 |
| + Schlüsselzeilen-Anreicherung = Endstand | 91,3 % / 0,817 | 88,1 % / 0,766 | 89,2 % / 0,731 |
* Korb 1 „sank" scheinbar, weil die Messlatte geschärft wurde: Ausweichtreffer auf inzwischen gelöschte Duplikatnotizen zählen nicht mehr als Erfolg, und eine Frage zielt bewusst auf einen entfernten Altstand. Die unabhängigen Körbe zeigen den echten Zuwachs.
Die Gesamtbilanz des härtesten Messkorbs: von 68,4 % auf 89,2 % Trefferquote (+20,8 Prozentpunkte), MRR von 0,564 auf 0,731. Gegenprobe ohne das neue Wörterbuch lieferte exakt die alten Werte — der Zuwachs ist also dem Hebel zuzuschreiben.
Die umgesetzten Verbesserungen
- Aufräumen statt horten: 446 → 403 Notizen (überholte gelöscht, vollständige Texte in Dateien archiviert); 28 überlange Notizen auf Kurzfassung plus Dateiverweis reduziert. Die Messung bestätigte: Das verbessert das Ranking.
- Schlüsselzeilen als Suchanker: Die erste Zeile jeder Notiz wird in der Suche 3-fach gewichtet und zusätzlich ins Einbettungsmodell eingespeist. Größter Einzelgewinn des Programms.
- Suchgewichtung: Der Stichwort-Arm zählt 0,85-fach statt gleich — das behebt Verluste in der Fusion bei Fragen, die nur ein Suchweg beantworten kann.
- Übersetzungswörterbuch: Ein gepflegtes Wörterbuch (
synonyms.json) übersetzt Alltagswörter unsichtbar in Fachbegriffe („Tresor" → Passwort-Datenbank, „Denk-Stufe" → Reasoning). Weitere Brücken werden nach und nach ergänzt — geprüft durch ein Gesundheitscheck-Skript, das die Messkörbe regelmäßig durchrechnet. - Komfort: Jeder Treffer zeigt jetzt den besten Textausschnitt („snippet"), und die Suche kann mit einem Token-Budget arbeiten.
- Bewusst verworfen: ein Datums-Feld in der Suche (kostete Präzision, brachte nichts), Änderungen an der Fusionskonstante (wirkungslos), hierarchische Zusammenfassungsbäume (Halluzinationsrisiko im Faktspeicher).
Downloads
📄 Research report (English) (20 KB, Stand 19.9.2026) – Der ausführliche Projektbericht: Fragestellung, Methodik, alle Messwerte, verworfene Alternativen.
📄 Full-text analysis (English) (18 KB, Stand 19.9.2026) – Die konsolidierte Auswertung aller 21 Volltexte mit Belegstellen.
Beide Berichte sind auf Englisch (Originalsprache der Studien). Die Installationsanleitung für den Gedächtnis-Server und die Nutzungsregeln findest du auf der Memory-MCP-Hauptseite.