Evaluation statt Bauchgefühl: So misst man die Qualität eines KI-Systems
„Fühlt sich besser an“ ist keine Metrik. Wie ein belastbares Testset entsteht, das Regressionen sichtbar macht, bevor Kunden sie melden.
Jede Änderung an einem Prompt ist ein Deployment. Nur merkt es niemand, weil kein Test rot wird. Genau darin liegt der Grund, warum KI-Funktionen über Monate leise schlechter werden können.
Ein Testset baut man aus echten Fällen
Der beste Startpunkt liegt im Support-Postfach und in den Logs. Vierzig bis sechzig echte Anfragen, davon bewusst ein Drittel schwierige Randfälle, reichen für den Anfang. Erfundene Beispiele testen die Fantasie des Autors, nicht das System.
- Fälle sammeln und je Fall festhalten, was ein gutes Ergebnis ausmacht.
- Bewertungskriterien schreiben, bevor die erste Ausgabe erzeugt wird.
- Jede Version gegen dasselbe Set laufen lassen und die Ergebnisse versionieren.
- Neue Fehler aus dem Betrieb als neuen Fall aufnehmen – das Set wächst mit.
Automatisch bewerten, aber vorsichtig
Ein Modell als Prüfer einzusetzen skaliert gut und ist bei klaren Kriterien erstaunlich zuverlässig. Es hat aber eine Eigenheit: Es bevorzugt lange, sicher klingende Antworten. Wer nur darauf optimiert, bekommt Systeme, die gut klingen und schlechter helfen. Deshalb gehört ein manuell geprüftes Referenzsample dazu.
Der eigentliche Gewinn ist kulturell: Sobald Zahlen auf dem Tisch liegen, hört die Diskussion darüber auf, wessen Prompt sich besser anfühlt.
Autor
Weiterlesen
Agenten im Mittelstand: Was nach dem Pilotprojekt wirklich passiert
Fast jedes Unternehmen hat inzwischen einen KI-Piloten laufen. Nur wenige schaffen den Schritt in den Regelbetrieb. Woran das liegt – und was die Ausnahmen anders machen.
Ein kleines RAG-System bauen: Was man dafür wirklich braucht
Ein RAG-System klingt nach großer Infrastruktur. Für ein kleines Projekt reichen vier Bausteine: Dokumente, ein Embedding-Modell, eine Vektordatenbank und ein Sprachmodell. So setzt man es konzeptionell zusammen, mit Google Gemini und ChromaDB.
Creative-Produktion: Wie viel übernimmt die KI wirklich?
Generierte Werbemittel sind billig geworden. Die Arbeit hat sich dadurch nicht verringert – sie hat sich verschoben. Ein Blick auf die Stellen, an denen jetzt der Engpass sitzt.