Den Nutzen einer KI-Anwendung nachweisen: Soll-Ist-Vergleich in acht Wochen

Die Frage kommt spätestens im zweiten Quartal nach der Einführung: Was hat das jetzt gebracht? Die übliche Antwort besteht aus Eindrücken. Die Fachabteilung sagt, es gehe schneller. Der Betriebsrat sagt, es sei ruhiger geworden. Jemand rechnet die Schätzung aus dem Workshop noch einmal vor. Das ist kein Nachweis, sondern dieselbe Vermutung in zweiter Auflage.

Dieser Beitrag beschreibt das Verfahren, mit dem sich der Unterschied belegen lässt: eine Kennzahl, die vor dem Start feststeht, ein Messfenster von acht Wochen, eine identisch erhobene Nachher-Zahl und eine Hochrechnung, die jede Größe einzeln ausweist. Alles davon geht mit einer Tabellenkalkulation. Was es nicht gibt, ist eine Abkürzung über die Selbsteinschätzung der Beteiligten.

Warum die Schätzung aus dem Workshop kein Nachweis ist

Bei der Bewertung eines Anwendungsfalls wird geschätzt, und das ist richtig so: Wer vor dem Projekt schon die Ist-Zahlen hätte, bräuchte keine Priorisierung. Frequenz, Zeit je Fall und Stundensatz sind zu diesem Zeitpunkt Annahmen. Sie taugen für eine Entscheidung darüber, was zuerst angefasst wird. Sie taugen nicht als Ergebnis. Wer sie nach der Einführung noch einmal vorlegt, hat nichts gemessen, sondern die eigene Planung bestätigt.

Nutzennachweis (Soll-Ist-Vergleich)

Gegenüberstellung eines vor dem Start festgelegten Zielwerts (Soll) mit einem nach dem Betrieb identisch erhobenen Messwert (Ist) für dieselbe Kennzahl. Der Nachweis besteht aus der Differenz beider Werte, der zugehörigen Fallzahl und der Angabe, wie beide Werte erhoben wurden. Fehlt einer dieser drei Teile, ist es eine Schätzung.

Die verbreitete Ersatzgröße ist die Zufriedenheit — in der Befragung „KI in Unternehmen“ der Bundesnetzagentur (808 Unternehmen, Erhebung Oktober bis Dezember 2024) sagten 75 Prozent der KI-Nutzer, ihre Erwartungen hätten sich erfüllt. Das ist eine Selbsteinschätzung und keine gemessene Rendite. Dieselbe Erhebung zeigt, was passiert, wenn niemand vorher festlegt, woran der Erfolg hängt: Bei den Unternehmen, die den KI-Einsatz wieder eingestellt haben, ist das Nichterreichen der Ziele mit 58 Prozent der zweithäufigste Grund. Wie diese Erhebung angelegt ist und wie sie sich zu den kursierenden Scheiter-Quoten verhält, ist im Faktencheck zu diesen Zahlen aufgeschlüsselt; hier zählt nur die Folgerung — Ziele lassen sich nur verfehlen, wenn sie vorher benannt wurden.

Der Befund, der die Schätzung entwertet

Es gibt eine Messung dazu, wie verlässlich Menschen ihre eigene Zeitersparnis durch KI einschätzen. Die Forschungsorganisation METR führte 2025 ein randomisiertes kontrolliertes Experiment mit 16 erfahrenen Open-Source-Entwicklern durch, über 246 reale Aufgaben in großen, reifen Repositories, an denen die Teilnehmer ohnehin arbeiteten. Für jede Aufgabe wurde ausgelost, ob KI-Werkzeuge erlaubt waren.

Die Methodik in fünf Schritten

Das folgende Vorgehen stammt aus der Praxisliteratur deutscher Anbieter, nicht aus einer Studie. Es ist eine Arbeitsanleitung und kein Messergebnis — dafür ist es vollständig und mit Bordmitteln umsetzbar.

Die acht Wochen sind gesetzt, nicht hergeleitet. Ihr Zweck ist, das Fenster lang genug zu machen, dass die ersten Wochen mit Einarbeitung, Rückfragen und Nachjustieren nicht das Ergebnis bestimmen, und kurz genug, dass die Erhebung nicht im Tagesgeschäft versandet. Wichtiger als die genaue Länge ist, dass die Länge vorher feststeht und dass im Fenster nichts verändert wird.

Fallzahl

Anzahl der Vorgänge, die im Messzeitraum tatsächlich über den betrachteten Prozess gelaufen sind, hochgerechnet auf ein Jahr. Sie stammt aus einem System — Ticketsystem, ERP, Postfach, Protokolldatei —, nicht aus einer Angabe der Fachabteilung. Ohne Fallzahl ist eine Zeitersparnis je Fall keine Aussage über Geld.

Ein durchgerechnetes Beispiel mit erfundenen, aber realistisch gewählten Werten: Die Bearbeitung einer eingehenden Serviceanfrage dauerte vorher im Mittel 6,0 Minuten, im Messfenster danach 3,5 Minuten. Die Differenz beträgt 2,5 Minuten je Fall. Über das Ticketsystem laufen 120 Anfragen pro Woche, also 6.240 im Jahr. 6.240 Fälle mal 2,5 Minuten ergeben 260 Stunden. Bei einem Vollkostensatz von 65 Euro je Stunde sind das 16.900 Euro im Jahr. Davon gehen die Vollkosten der Lösung ab.

Was zu den Vollkosten der Lösung gehört

Vollkosten der Lösung

Sämtliche jährlich anfallenden Kosten des Anwendungsfalls, nicht nur die Rechnung des Anbieters. Übereinstimmend genannte Bestandteile in der deutschsprachigen Fachliteratur: Lizenzen und Werkzeuge, die Integration in bestehende Systeme sowie Schulung — und zwar die Arbeitszeit der Lernenden zusätzlich zum Honorar der Trainerin. Dazu kommt der verbleibende manuelle Restaufwand, wenn er nicht ohnehin in der Nachher-Messung steckt.

Der Restaufwand ist der Posten, der am häufigsten unter den Tisch fällt. Prüfen, Nachfragen, Ausnahmen von Hand erledigen: Wenn die Nachher-Messung diese Fälle mit erfasst, steht der Aufwand bereits in den 3,5 Minuten. Wenn sie nur die glatten Fälle misst, fehlt er zweimal — in der Zeit und in den Kosten. Deshalb hängen die Schritte 4 und 5 zusammen. Dass die Kostenseite regelmäßig zu niedrig angesetzt wird, ist dabei kein Einzelfall: 33 Prozent der KI-nutzenden Unternehmen berichten in derselben Bitkom-Erhebung von deutlich höheren Kosten als erwartet.

Messfehler 1: Die Kennzahl wurde nachträglich definiert

Wer nach der Einführung entscheidet, woran der Erfolg gemessen wird, entscheidet mit Blick auf das Ergebnis. Es gibt immer eine Größe, die sich gut entwickelt hat. Die Auswahl ist dann keine Messung, sondern eine Erzählung mit Beleg. Das Gegenmittel ist unspektakulär: Kennzahl, Zielwert und Erhebungsvorschrift stehen vor dem Start in einem Dokument, das später niemand mehr ändert. Wird die Kennzahl im Nachhinein doch gewechselt, gehört der Wechsel samt Begründung in die Vorlage.

Messfehler 2: Demo-Fälle statt echter Fälle

Für die Vorführung wird ausgewählt, was gut läuft: die vollständige Anfrage, das saubere PDF, der Standardfall. Diese Auswahl wandert oft unbemerkt in die Nachher-Messung. Gemessen wird dann ein Prozess, den es im Alltag nicht gibt. Das Gegenmittel ist eine Zufallsstichprobe aus dem laufenden Betrieb, einschließlich der Fälle, die abgebrochen oder an einen Menschen zurückgegeben wurden. Ein Anteil abgebrochener Fälle ist selbst eine Kennzahl und gehört in die Vorlage.

Messfehler 3: Effekte ohne Fallzahl hochgerechnet

„Spart zehn Minuten pro Vorgang“, multipliziert mit der Belegschaft und mit 220 Arbeitstagen: So entstehen sechsstellige Einsparungen, die niemand je gesehen hat. Der Fehler steckt nicht in der Zeitersparnis, sondern in der Fallzahl. Nicht jeder Beschäftigte führt den Vorgang aus, nicht täglich, nicht in derselben Häufigkeit. Die Fallzahl kommt aus dem System, in dem die Vorgänge entstehen. Lässt sie sich dort nicht auslesen, ist das ein Ergebnis für sich — dann ist der Nutzen dieses Anwendungsfalls derzeit nicht nachweisbar.

Wenn sich der Nutzen nicht in Euro fassen lässt: die zweite Spalte

Manche Wirkungen sind real und trotzdem nicht sinnvoll in Euro umzurechnen: weniger Medienbrüche, bessere Auskunftsfähigkeit gegenüber Kunden, geringere Abhängigkeit von einzelnen Wissensträgern. Der Reflex, dafür einen Eurobetrag zu erfinden, beschädigt die ganze Rechnung. Es gibt einen belastbaren Weg, sie stehen zu lassen — und er ist in Deutschland amtlich vorgezeichnet.

WiBe 5.0

Fachkonzept für Wirtschaftlichkeitsbetrachtungen bei IT-Maßnahmen des Bundes, Anlage zum Beschluss Nr. 2015/3 des Rates der IT-Beauftragten der Ressorts, herausgegeben von der Beauftragten der Bundesregierung für Informationstechnik. Rechtsgrundlage ist § 7 der Bundeshaushaltsordnung. Das Konzept verbindet die monetäre Wirtschaftlichkeit über Barwerte und Kapitalwert samt Risikoabschätzung mit einer nicht-monetären Nutzwertbetrachtung, die in die qualitativ-strategische Bedeutung der Maßnahme (WiBe Q) und in externe Effekte (WiBe E) gegliedert ist.

Die Trennung ist der eigentliche Gewinn: Nutzen darf zweispaltig sein. In die erste Spalte gehört, was sich aus Zeit, Fallzahl und Vollkosten ergibt. In die zweite gehören die qualitativen Wirkungen — aber nicht als Adjektive. Jede Zeile der zweiten Spalte braucht ebenfalls eine Zahl und eine Erhebung: Fehlerquote, Durchlaufzeit vom Eingang bis zur Antwort, Anteil der Rückläufer, Zahl der Eskalationen. Nur die Umrechnung in Euro unterbleibt.

In der Praxis ist die erste Spalte häufiger füllbar, als der Einwand „schwer quantifizierbar“ vermuten lässt: Nach dem IW-Zukunftspanel verfolgen 84,5 Prozent der befragten Unternehmen mit KI die Erleichterung von Routinearbeiten. Das ist ein Zeitziel, und Zeit je Fall lässt sich messen — welche Arbeitsschritte dafür in Frage kommen, behandelt der Beitrag zur Use-Case-Suche.

Was Sie der Geschäftsführung vorlegen

Eine Seite je Anwendungsfall, vier Zeilen in der ersten Spalte, darunter die zweite Spalte und ein Absatz zur Erhebung. Mehr braucht es nicht, und weniger trägt nicht.

Der Absatz zur Erhebung ist der Teil, der die Vorlage prüfbar macht: Woher kommt die Fallzahl, wie wurden die Stichproben gezogen, was wurde im Messfenster verändert, welche Fälle sind ausgeschlossen und warum. Eine Vorlage ohne diesen Absatz ist eine Behauptung mit Tabelle.

Bild seitlich schiebbar.

Wann Sie erneut messen

Der Nachweis hat ein Haltbarkeitsdatum. Neu gemessen wird, wenn sich der Prozess ändert, wenn Modell oder Anbieter gewechselt werden, wenn die Fallzahl deutlich steigt oder fällt — und turnusmäßig einmal im Jahr, damit die Zahl in der nächsten Budgetrunde noch trägt. Der zweite Durchgang ist billig: Kennzahl, Erhebungsvorschrift und Fallzahlquelle stehen bereits fest, es fehlt nur das neue Messfenster.

Häufige Fragen