Demonstrationsbericht für eine fiktive Stadtverwaltung. Aufbau, Kennzahlen und Detailkarten entsprechen einem echten Lauf — die Zielseite und alle Treffer sind erfunden, es werden keine Daten einer realen Website gezeigt.
Fragt jemand nach einer konkret benannten Verwaltungsleistung, trifft die Suche zuverlässig: Personalausweis, Hundesteuer, Sperrmüll, Anwohnerparkausweis landen die zuständige Seite auf Rang 1.
Sobald die Frage auf eine Übersicht, einen Termin oder eine Zuständigkeit zielt, bricht die Qualität ein. Statt der Sammelseite ranken einzelne Sitzungsprotokolle, alte Pressemitteilungen und PDF-Anhänge — Inhalte, die formal das Suchwort enthalten, die Frage aber nicht beantworten.
Das ist kein Ranking-Zufall, sondern ein Muster: Die Suche belohnt Dokumente mit hoher Begriffsdichte. Hub-Seiten sind kurz und verlieren deshalb gegen lange PDFs.
Durchschnittsbewertung der Top-3-Treffer, sortiert nach Handlungsbedarf. Skala 0 (verfehlt) bis 3 (ideale Zielseite).
Jedes Muster ist mit einem konkreten Beispiel aus der Messung belegt.
Wo Nutzerinnen eine zentrale Sammelseite erwarten, liefert die Suche einzelne Detailinhalte statt der Übersicht.
sitzungstermine liefert drei Einzelprotokolle statt des Sitzungskalenders; öffnungszeiten bürgerbüro bringt auf Rang 1 eine Pressemitteilung über geänderte Öffnungszeiten aus dem Vorjahr.
Lange Dokumente mit hoher Begriffsdichte ranken vor der kurzen Serviceseite, die die Frage tatsächlich beantwortet.
bauantrag stellen liefert die Bauordnung als PDF (2,8 MB) vor dem Online-Formular; wohngeld beantragen zeigt ein Merkblatt statt des Antragswegs.
Fragen nach dem richtigen Amt oder Ansprechpartner finden weder das Organigramm noch den Mitarbeitendenindex.
ansprechpartner ordnungsamt ergibt eine Stellenausschreibung als Top-Treffer; das Behördenverzeichnis taucht in den ersten drei Treffern nicht auf.
Benannte Leistungen sitzen. Das System ist außerdem robust: Unsinnseingaben liefern sauber „keine Treffer“ statt einer Fehlerseite, Umlaute und zusammengesetzte Begriffe werden korrekt verarbeitet.
personalausweis verlängern, hundesteuer anmelden, wohnsitz anmelden und sperrmüll abholen erreichen jeweils ⌀ 2,3 — bei allen vieren steht die zuständige Seite auf Rang 1. asdkfjaslkdfj liefert sauber „keine Treffer“, straßenreinigungsgebühren wird trotz ß und Umlaut korrekt aufgelöst.
Zum Aufklappen: die tatsächlichen Top-3-Treffer mit Einzelbewertung und Begründung. „⌀" ist der Mittelwert der drei Treffer.
Erwartet: Personalausweis beantragen / verlängern
Genau die zuständige Seite mit Unterlagen, Gebühren und Terminweg
Ergänzt die Frage um Gebühren und Bearbeitungszeit
Nützlicher Folgeschritt, aber nicht die gesuchte Information
Erwartet: Anmeldung des Wohnsitzes
Direkt die gesuchte Leistung mit Frist und Formular
Nahe verwandter Fall, hilft bei Verwechslung weiter
Notwendiges Begleitdokument der Anmeldung
Erwartet: Hundesteuer anmelden
Die zuständige Serviceseite mit Formular
Rechtsgrundlage als PDF, für die Anmeldung nicht nötig
Beantwortet die naheliegende Anschlussfrage direkt
Erwartet: Zweitwohnungsteuer / Anmeldung Ferienwohnung
Führt direkt zum zuständigen Formular
Thematisch verwandt, beantwortet die Frage nicht
Kein Bezug zur Anfrage
Erwartet: Bauantrag einreichen
Rechtsgrundlage als umfangreiches PDF, nicht der Antragsweg
Genau die gesuchte Seite — steht aber erst auf Rang 2
Ergänzende Information, beantwortet die Frage nicht
Erwartet: Bebauungspläne einsehen
Ein einzelner Plan statt der Übersicht aller Pläne
Das gesuchte Verzeichnis — auf Rang 2
Verfahrensmeldung zu einem einzelnen Plan
Erwartet: Wohngeld beantragen
Erklärt den Anspruch, nennt aber nicht den Antragsweg
Hilft weiter, ist aber nicht der Antrag
Die gesuchte Seite — erst auf Rang 3
Erwartet: Kitaplatz anmelden
Direkt das Anmeldeverfahren
Sinnvoller nächster Schritt bei der Auswahl
Verwandtes Thema, nicht die Anmeldung
Erwartet: Anmeldung zur Grundschule
Genau die gesuchte Seite
Hilft bei der Schulwahl weiter
Notwendiger Schritt im selben Verfahren
Erwartet: Ferienbetreuung / Ferienprogramm
Veraltete Meldung aus dem Vorjahr
Anderes Angebot, keine Ferienbetreuung
Die gesuchte Seite — erst auf Rang 3
Erwartet: Sperrmüllabholung beauftragen
Direkt die Beauftragung
Sinnvolle Alternative zur Abholung
Verwandter Service im selben Bereich
Erwartet: Abholtermine Gelbe Tonne
Der gesuchte Kalender mit Straßensuche
Anderes Thema im selben Bereich
Praktischer Weg, dieselben Termine zu erhalten
Erwartet: Grünschnitt / Gartenabfälle entsorgen
Genau die gesuchte Seite
Konkrete Abgabemöglichkeit
Verwandtes Thema, keine Entsorgung
Erwartet: Bewohnerparkausweis beantragen
Direkt die gesuchte Leistung
Ordnet die Leistung ein, hilfreicher Kontext
Anderer Ausweis, andere Voraussetzungen
Erwartet: Aktuelle Straßensperrungen und Baustellen
Eine einzelne, möglicherweise abgelaufene Maßnahme
Ebenfalls ein Einzelfall statt der Übersicht
Die gesuchte Übersichtskarte — erst auf Rang 3
Erwartet: Fahrradabstellanlagen am Bahnhof
Übergeordnete Seite, nennt Abstellanlagen nur am Rande
Planungsdokument ohne konkrete Standortauskunft
Beantwortet die Frage konkret — erst auf Rang 3
Erwartet: Sitzungskalender von Rat und Ausschüssen
Einzelnes Protokoll statt des Sitzungskalenders
Ebenfalls ein Einzelprotokoll
Tagesordnung einer einzelnen Sitzung, kein Kalender
Erwartet: Öffnungszeiten des Bürgerbüros
Meldung aus dem Vorjahr, möglicherweise überholt
Praktischer Folgeschritt, nennt aber keine Zeiten
Die zuständige Seite mit den Öffnungszeiten — erst auf Rang 3
Erwartet: Zuständigkeiten und Kontakt Ordnungsamt
Stellenanzeige, keine Auskunft über Zuständigkeiten
Gremienprotokoll ohne Kontaktangaben
Ein Teilbereich des Amts, nicht das gesuchte Verzeichnis
Erwartet: Haushaltsplan der Stadt
Genau das gesuchte Dokument
Zugehöriger Rechtsakt, sinnvoll ergänzend
Anderes Finanzdokument
Erwartet: Erwartung: Null-Treffer, saubere Meldung statt Fehlerseite
Eingabe liefert korrekt „keine Ergebnisse", ohne Fehlermeldung oder Absturz.
Erwartet: Umlaute und ß: Straßenreinigungsgebühren
Beantwortet die Frage inklusive Gebühren
Rechtsgrundlage mit den Gebührensätzen
Anderer Dienst, nur oberflächliche Wortähnlichkeit
Erwartet: Fehlerhaft formulierte Frage: Führungszeugnis beantragen
Trotz grammatikalisch fehlerhafter Anfrage die richtige Seite
Anderer Registerauszug
Praktischer Folgeschritt
Alle Maßnahmen betreffen die Ranking-Konfiguration von tx_solr — keine erfordert neue Inhalte.
Für Anfragen nach Terminen, Öffnungszeiten und Zuständigkeiten kuratierte Top-Treffer auf die jeweilige Übersichtsseite legen. Das ist die schnellste Maßnahme mit der größten Wirkung — gegen Muster 1 und 3.
Einen Dokumenttyp-Faktor einführen, der HTML-Serviceseiten vor Anhänge setzt. PDFs bleiben auffindbar, gewinnen aber nicht mehr allein über Textlänge. Gegen Muster 2.
Ein Freshness-Faktor wertet Meldungen ab einem gewissen Alter ab, damit alte Pressemitteilungen nicht vor dauerhaften Serviceseiten stehen.
Organigramm und Mitarbeitendenindex als eigenen Inhaltstyp führen und bei Zuständigkeitsfragen bevorzugen.
Denselben Fragenkatalog nach der Umsetzung erneut laufen lassen. Da die Fragen versioniert sind, ist der zweite Lauf direkt mit diesem vergleichbar.
Diese Erhebung beruht auf 22 Anfragen; einzelne Themenfelder beruhen auf nur einer Anfrage (n=1) und sind entsprechend als Indiz, nicht als belastbare Quote zu lesen. Die genannten Relevanzwerte spiegeln die Einschätzung des KI-Judges wider. Für ein belastbares Gesamtbild empfiehlt sich ein erweiterter Fragenkatalog und ein wiederkehrender Messlauf.