Ablauf eines Laufs
Vier Schritte, jeder für sich nachvollziehbar.
-
01
Fragen festlegen
Die Themen der Website werden auf echte Nutzerfragen abgebildet — eine versionierte YAML-Datei je Zielseite. Fachredaktion und Entwicklung lesen dieselbe Datei. Wo Suchstatistik und Web-Analytics vorliegen, kommen die Fragen von dort statt aus der Sitemap: aus der echten Nachfrage.
-
02
Im Frontend messen
Ein Browser stellt jede Frage über das echte Suchformular und liest die ersten drei Treffer aus der gerenderten Ergebnisseite. Kein Index-Zugriff, kein Sonderweg an der Anwendung vorbei.
-
03
Treffer bewerten
Ein LLM-Judge bewertet jeden Treffer gegen die Frage mit 0 bis 3 — und begründet die Bewertung im Klartext. Die Begründung steht im Ergebnis und lässt sich gegenlesen.
-
04
Festhalten und berichten
Jeder Lauf wird als Snapshot gespeichert. Daraus entsteht ein Bericht mit Kennzahlen, Themen-Scorecard und einer Detailkarte je Anfrage. Zwei Läufe vergleichen heißt: zwei Dateien vergleichen.
Bewertungsskala je Treffer
Null bis drei, je Treffer, mit Begründung im Klartext.
Jeder der ersten drei Treffer bekommt eine dieser vier Noten. Der Judge begründet jede einzeln — die Begründung steht im Bericht und lässt sich gegenlesen.
- 3 beantwortet die Frage
- 2 hilft weiter
- 1 thematisch verwandt
- 0 verfehlt die Frage
Nächster Schritt
Ein vollständiger Demo-Lauf gegen eine fiktive Stadt zeigt, was am Ende dieser vier Schritte herauskommt — im Aufbau identisch mit dem, was Sie bekämen.