KI-Agenten-Gedächtnis: Was gilt als gelernt?

Ein Agent merkt sich deine letzte Korrektur. Bei der nächsten Aufgabe verwendet er sie wieder. Hat er damit etwas gelernt?

Sein Verhalten hat sich verändert. Ob die Veränderung hilft, hängt davon ab, was die Korrektur bedeutete, wo sie gilt und ob das nächste Ergebnis geprüft wurde. Den Begriff Verbesserung würde ich für diese letzte Frage reservieren. Eine Präferenz zu speichern, eine Aktion zu wiederholen und ein Ergebnis zu verbessern sind unterschiedliche Aussagen. Jede braucht eigene Belege.

Mit dieser Unterscheidung haben wir die Betriebsdaten hinter Normans Kategorisierungsgedächtnis untersucht. Das Ergebnis ist ein qualitativer technischer Bericht: Was belegen die Aufzeichnungen, was lässt sich aus ihrer Struktur nicht ableiten und wie würden wir die offenen Fragen testen? Dafür brauchen wir weder Kundenbeispiele noch interne Mengenangaben.

Was lernt ein KI-Agent aus einer Korrektur?

Lernen bedeutet hier, den externen Zustand zu ändern, der eine spätere Entscheidung beeinflusst. Die Modellgewichte werden dadurch nicht aktualisiert. Eine gespeicherte Entscheidung kann einen Prompt ergänzen, einen bekannten Fall auflösen oder als Beleg für eine Überprüfung dienen. Das sind verschiedene Verwendungen derselben Beobachtung.

Die schwierige Frage betrifft den Geltungsbereich. „Verwende für diesen Eintrag Kategorie B“ kann eine dauerhafte Präferenz, eine Ausnahme oder die Korrektur eines Auslesefehlers bedeuten. Die Änderung allein unterscheidet das nicht zuverlässig. Eine Implementierung kann einen Grund zuordnen. Auch diese Zuordnung ist jedoch eine Interpretation, die falsch sein kann.

Der Preprint Grounding Agent Memory vom 10. September untersucht, wie sich mögliche Erinnerungen anhand der Umgebung prüfen lassen, statt abgeschlossenen Abläufen allein zu vertrauen. Seine Experimente messen Norman nicht.

Was hat unsere Untersuchung des Lerngedächtnisses gezeigt?

Unsere Untersuchung vom 13. September nutzte aggregierte Datenbankabfragen, die nur das Vorhandensein bestimmter Merkmale zurückgaben. Wir haben keine Dokumenttexte, gespeicherten Werte, Geschäftspartner oder Kundenkennungen abgerufen. Betrachtet wurden aktive Zuordnungsmuster für Geschäftspartner sowie aufbewahrte Kategorisierungsbefunde mit verknüpften Testaufzeichnungen. Es war eine Momentaufnahme, kein Experiment und keine Zeitreihe.

Alle folgenden Beobachtungen kamen in dieser Momentaufnahme vor. Ihre Interpretation bleibt bewusst eng, damit der Bericht nicht mehr verspricht, als die Abfrage beantworten kann.

Daraus folgt eine konkrete Erkenntnis bei Norman: Bestätigung, Änderung, Wiederverwendung und Auswertung sind beobachtbare Aktivitäten. Sie sollten nicht in einem einzigen Status „gelernt“ verschwinden. Wie Korrekturen in das Gedächtnis gelangen, haben wir bereits beschrieben. Hier geht es darum, welche Aussagen ein technischer Bericht aus den entstandenen Aufzeichnungen ableiten darf.

Warum ist wiederholtes Feedback keine Konfidenz?

Ein Bestätigungszähler erfasst Ereignisse. Er sagt dir nicht, ob sie aus unabhängigen Situationen stammen, aus wiederholter Bearbeitung desselben Falls oder aus einer Präferenz, deren Bedingungen im Zuordnungsschlüssel fehlen. Für eine belastbare Aussage sind diese Unterschiede entscheidend.

Nehmen wir ein ausdrücklich erfundenes Beispiel. Ein Team möchte vertraute Einträge der Kategorie A zuordnen. Später ändert es einen Eintrag auf B. Ein Gedächtnissystem kann B sofort speichern. Es muss trotzdem unterscheiden zwischen „B ist die letzte Entscheidung“ und „B passt zu jedem ähnlichen Eintrag“. Weitere Bestätigungen von B beantworten diese Frage nur, wenn der Geltungsbereich stimmt.

Normans Aktualisierungspfad bildet einen Teil dieser Unterscheidung ab: Übereinstimmende Entscheidungen erhöhen die Evidenz. Ein abweichender Wert ersetzt die gespeicherte Entscheidung und beginnt mit neuer Bestätigungsevidenz. Der vorherige Wert bleibt erhalten. Das ist ein Anpassungsmechanismus, keine statistisch kalibrierte Wahrscheinlichkeit für Richtigkeit.

Auch Meridians Ankündigung vom 9. September betont Kundenpräferenzen und Kontext bei der Kategorisierung. Das beschreibt Anbieterfunktionen und belegt keinen Qualitätsvorsprung eines der Produkte.

Warum beweist Wiederverwendung keine Richtigkeit?

Ein Detail unserer Untersuchung ist auch außerhalb der Buchhaltung relevant. Ein Gedächtniseintrag kann die aktuelle Entscheidung, einen früheren Wert, Bestätigungsevidenz und einen kumulierten Anwendungszähler enthalten. Der Wert kann sich ändern, während der Anwendungszähler erhalten bleibt. Im untersuchten Zuordnungspfad steigt der Zähler, wenn eine nutzbare Kategorie ausgewählt wird. Er erfasst nicht den Erfolg der gesamten Aufgabe.

Eine Momentaufnahme mit „aktuelle Entscheidung B, bereits angewendet“ beweist deshalb nicht, dass B angewendet wurde. Anwendungen können noch zu A gehören. Der Zähler bleibt nützlich, um Aktivität zu verstehen. Die Ereignisfolge wurde aber verdichtet. Weder eine große Zahl noch ein schön gezeichnetes Diagramm kann diese Reihenfolge nachträglich rekonstruieren.

Dasselbe Problem betrifft Leistungsversprechen. Ein Anwendungszähler misst weder eingesparte Zeit noch vermiedene Arbeit oder verhinderte Fehler. Dafür brauchst du einen Vergleich mit einem anderen Ablauf und eine Definition des Ergebnisses. Wiederverwendung „Genauigkeit“ zu nennen, wäre daher ein Messfehler, selbst wenn die Funktion gut arbeitet.

Unser früherer Beitrag über die Genauigkeit von KI-Buchhaltung erklärt das Problem des Bezugswerts. Beim Gedächtnis kommt eine weitere Anforderung dazu: Das Ergebnis muss der Version der Entscheidung zugeordnet werden können, die es tatsächlich hervorgebracht hat.

Wie solltest du das Gedächtnis eines Agenten testen?

Beginne mit einer prüfbaren Behauptung: „Mit dieser Erinnerung löst der Agent einen späteren passenden Fall besser.“ Halte Eingaben, erlaubte Aktionen und erwartetes Ergebnis fest. Vergleiche dieselbe Aufgabe mit und ohne die betreffende Erinnerung. Erfasse fehlgeschlagene Durchläufe und nicht bewertbare Fälle ebenso wie erfolgreiche Ergebnisse.

Prüfe anschließend die Grenze des Geltungsbereichs. Spätere Aufgaben sollten einen passenden Fall, einen ähnlich aussehenden unpassenden Fall und eine geänderte Präferenz enthalten. Erfolg heißt, eine relevante Erkenntnis zu nutzen und eine unpassende nicht anzuwenden. Nur die ursprüngliche Korrektur nachzuspielen, prüft eine Regression. Es testet keine Übertragbarkeit auf neue Fälle.

Eine mögliche Erkenntnis würden wir mit einem Vertrag wie diesem beschreiben. Das ist ein beispielhaftes Berichtsformat, weder Normans gespeichertes Schema noch eine ausführbare Konfiguration:

{
  "claim": "Kategorie B im festgelegten Kontext bevorzugen",
  "scope": "Der erklärte Ablauf und seine Zuordnungsbedingungen",
  "evidence": "Ausdrückliche Korrektur",
  "contradiction_policy": "Die Aussage erneut prüfen",
  "evaluation": "Spätere Fälle einschließlich unpassender Kontexte"
}

Unsere Arbeit an Tests aus Produktionsbeobachtungen erklärt, warum Testfälle an konkrete Probleme gebunden bleiben sollten. Ein erzeugter Fall braucht weiterhin eine prüfbare Erwartung. Den Fall anzulegen, ihn auszuführen oder ein Ergebnis zu speichern, belegt noch nicht, dass diese Erwartung erfüllt wurde.

Was haben wir noch nicht nachgewiesen?

Diese Untersuchung belegt keine kausale Verbesserung der Genauigkeit, keinen allgemein richtigen Evidenzschwellenwert, keine passende Lebensdauer jeder Erinnerung und keine Vollständigkeit der Lernpipeline. Dafür gibt sie bewusst zu wenig Informationen zurück. Reine Vorhandenseinsprüfungen können nicht zeigen, welche Ereignisse im gesamten Prozess fehlen.

Sie erklären auch nicht, warum sich eine konkrete Entscheidung geändert hat. Dahinter können ein korrigierter Fehler, neuer Kontext oder eine neue Präferenz stehen. Um den Grund zu bestimmen, brauchst du geeignete Aufzeichnungen und einen passenden Versuchsaufbau. Die Interpretation eines aggregierten Merkmals reicht dafür nicht aus.

Im nächsten Experiment würden wir spätere Aufgaben mit dem Gedächtniszustand zum Ausführungszeitpunkt verbinden. Anschließend würden wir passende Wiederverwendung, unpassende Wiederverwendung und bewussten Verzicht getrennt betrachten. Das ist ein vorgeschlagener Test, kein bereits vorliegendes Ergebnis. Wir untersuchen, wie diese Unterscheidung nützlich wird, ohne Kundenaktivität in öffentlichen Berichten offenzulegen.

Was gehört in einen nützlichen Lernbericht?

Ein nützlicher Bericht trennt Beobachtungen, Interpretationen und offene Fragen. Er benennt, ob seine Belege einen aktuellen Zustand, eine Ereignisfolge oder einen kontrollierten Vergleich beschreiben. Außerdem erklärt er, welcher Schluss unzulässig wäre. Oft ist das genau der Schluss, zu dem ein Dashboard seine Leser verleitet.

Hier lautet die Beobachtung: Unsere Lernaufzeichnungen enthalten Bestätigungen, Änderungen, Wiederverwendung und Testaktivität. Die Interpretation lautet: Diese Aktivitäten brauchen unterschiedliche Bedeutungen im Bericht. Offen bleibt, wie stark eine konkrete Erkenntnis spätere Entscheidungen innerhalb ihres festgelegten Geltungsbereichs verbessert.

Diese technische Aussage ist überprüfbar: Das Gedächtnis eines Agenten sollte an der Entscheidung gemessen werden, die es beeinflusst hat. Solange sich das Ergebnis nicht mit dieser Entscheidung verbinden lässt, beschreibt „gemerkt“ einen Zustand. „Etwas Nützliches gelernt“ bleibt eine Hypothese, die wir testen müssen.