So messen wir den Erfolg bei KI-Projekten

KPIs (Geschäftskennzahlen) sind aus dem modernen Geschäftsleben nicht mehr wegzudenken.

Wir alle jagen in unserem täglichen Büro-Dschungel ROI, CAC, CLV und zahlreichen weiteren Kennzahlen hinterher. Und das ist gut so. Denn KPIs bringen Transparenz in unser Business. Ein Blick auf unser Dashboard und wir wissen, wie gut oder schlecht es aktuell läuft.

Mit dem Einsatz von künstlicher Intelligenz versuchen wir, unsere KPIs zum Glänzen zu bringen und nachhaltig zu optimieren. Aber wie messen wir den Erfolg oder Misserfolg von KI-Projekten?

Heute soll es darum gehen, wie Erfolg bei der Einführung von AI gemessen werden kann und welche Verbesserungen mit der erfolgreichen Implementierung von AI im Unternehmen erwartet werden können.

Die Ausgabe soll dir dabei helfen, eine Idee zu entwickeln, wie du das in deinem Unternehmen anstellen kannst, wenn du AI schon relevant einsetzt.

Alle, die weiterhin nicht aktiv an der AI-Revolution teilnehmen, bekommen eine Idee davon, welche Performance-Steigerungen, Stand heute, erwartet werden können.

Los geht’s! 🚀

Anmerkung:
ROI = return on investment | CAC = customer aquisition costs | CLV = customer lifetime value

Die Dimensionen der KI-Erfolgsrechnung

Ja, man könnte es sich einfach machen. Wir setzen im Unternehmen KI-Projekte um, rechnen uns in der Projektplanung eine Zeitperiode aus, die zum ROI führt, und beurteilen nach der Umsetzung, ob wir unser Return on Investment hinsichtlich Effekt und Zeit mit dem Projekt erreicht haben. Fertig ist die Erfolgsmessung.

Na ja - kann man machen – besser als gar nicht zu messen.

In unseren Projekten versuchen wir bei der Einführung von KI im Unternehmen der Kunden etwas holistischer an die Sache heranzugehen.

Der Return von KI-Investitionen

Wir zielen dabei auf folgende Metriken ab:

1. Effizienzsteigerung des einzelnen Mitarbeitenden (durch LLM-Suite, Basis-Schulung und weitere Upskillings)

2. Kosteneinsparung durch die Implementierung von Automationen bzw. AI-Automationen in einzelnen Funktionsbereichen bzw. Abteilungen

3. Umsatzsteigerung durch den Einsatz von KI

4. Mitarbeiterzufriedenheit mit dem gesamten KI-Projekt

5. AI-Readyness des Unternehmens nach der Maßnahme

Wir haben also direkte ROI-Kennzahlen für die Implementierung, wie z.B. Kostenreduktion oder Umsatzsteigerung. Aber auch indirekten ROI durch das Enablement der einzelnen Mitarbeitenden, deren Zufriedenheit im Kontext des Einsatzes von KI und last but not least die AI-Readyness der Organisation, die wir mit der Einführung erreicht haben.

Wenn man davon ausgeht (und das sollte man), dass die Implementierung von AI im Unternehmen kein Projekt ist, sondern Teil unserer neuen Realität, ist die AI-Readyness mittel- bis langfristig betrachtet vielleicht die wichtigste Kennzahl von allen.

So viel zum Return.

Die Kostenseite - also das “I” von RO”I”

Bei den Kosten versuchen wir in den folgenden Kategorien gute Zahlen für die ROI-Rechnung aufzubereiten.

1. Software, Lizenzen, Tokens
   Typischerweise die Lizenzkosten für ChatGPT Team oder Microsoft Copilot zzgl. weiteren AI-Tools und Tokenkosten für die Nutzung von LLM via API.

2. Hardware / Infrastruktur
   Nicht in allen Projekten notwendig. Darunter fallen u.a. eigene Server (für lokal gehostete LLM, LLM-Suite und Automation-Tools) Cloud-Services und Setup-Kosten für IT-Infrastruktur.

3. Personalkosten
   Darunter fallen alle neu geschaffenen Jobprofile mit KI-Zusammenhang. Vor allem aber die Ausfallzeit der Mitarbeiter für Basis-Schulungen, Upskillings, AI-Arbeitsgruppen und Workshops.

4. Training / Upskilling
   Hierunter fallen alle Kosten durch die Befähigung der Mitarbeitenden im Hinblick auf AI. Schulungen, Online-Kurse, Beraterkosten, Coaching, weiterführende bzw. spezialisierte Weiterbildungen für ausgewählte Mitarbeitende, etc.

5. Implementierung
   Implementierungskosten für spezielle AI-Software, Umsetzung von (AI-)Automations, externe Entwicklung von maßgeschneiderten AI-Systemen, Security-Lösungen, etc.

Bei kleineren Unternehmen oder weniger komplexen Geschäftsmodellen kann auch die Messung von “Vorher und nachher - Aufwänden“ oder die schon oben besprochene “Payback-Periode”, also die Zeit, die es braucht und die Investition durch Kosteneinsparung und/oder Umsatz-Zugewinn zu refinanzieren, ein praktikabler Weg sein.

Was du bei einer nachhaltigen und gut strukturierten AI-Einführung erwarten kannst

AI-Readyness - auf Zukunftskurs

Kaum ein Unternehmen wird in 5 oder 10 Jahren sagen: “Wir haben auf KI verzichtet und alles ist gut gegangen”. Das ist das Gleiche, was damals die Kutschenhersteller gedacht haben, als die ersten Autos auf der Straße aufgetaucht sind. Wir wissen, wie die Geschichte ausgegangen ist. Spätestens jetzt ist die richtige Zeit, das Thema anzugehen. Keine Kennzahl zeigt uns heute, ob unser Unternehmen zukunftsfähig ist. Aber Zukunftsfähigkeit ist alternativlos. Unbezahlbar.

Die Effizienz deiner Office-Mannschaft steigt

Mit einem gut aufgebauten Plan und qualitativ guter Schulung lassen die ersten Effekte der Nutzung von AI-Tools bei deinen Mitarbeitenden nicht lange auf sich warten. Je nach Branche sollte deine Office-Mannschaft 10-30 % schneller arbeiten und dabei, in Arbeitsprozessen, in denen AI eingesetzt wird, eine um bis zu 40 % höhere Arbeitsqualität erreichen.

Die Lösung vieler kleinerer Probleme

Mit der gelebten AI-Arbeitspraxis lassen sich leicht Team-Mitglieder identifizieren, die Lust auf mehr AI und Automatisierung haben. Das müssen keine IT-Mitarbeiter sein. Wenn du diese Leute gezielt weiterbildest, hast du bald eine Taskforce, die eigenständig Lösungen schaffen kann (anfänglich meist für interne Prozesse), in dem sie mit No-Code- und Automatisierungs-Tools Schritt für Schritt langwierige und/oder monotone Arbeitsabläufe automatisieren. In dieser Phase können je nach Branche nochmals 5-35 % Effizienzgewinn erreicht werden.

Implementierung von KI-Systemen führt zu Wettbewerbsvorteilen

Mit mehr Erfahrung in der Anwendung von KI und den ersten AI-Automatisierungs-Erfolgen steigt die Wahrscheinlichkeit für weitreichendere Projekte. Der Vorteil: Dein Team ist voll im Thema und lässt sich in dieser Phase schon lange nicht mehr ein X für ein U verkaufen. Die Mannschaft fängt an “AI-first” zu denken. Dies führt häufig zu größeren Projekten, die das Unternehmen vom Wettbewerbsumfeld klar positiv abgrenzen und Richtung Innovationsführerschaft leiten.

Ein äußerst positiver Nebeneffekt ist der, dass das Team nach so einer Reise feststellt, dass es in einem innovativen und zukunftsgerichteten Unternehmen arbeitet, welches moderne Systeme einsetzt und seinen Mitarbeitenden die Möglichkeiten eröffnet, sich weiterzubilden und selbst zukunftsfähig zu bleiben. Der Effekt: Glückliches Team, weniger Kündigungen, leichteres Recruiting. Unbezahlbar.

Licht und Schatten bei der KI-Einfügung in Unternehmen

💡 Der am häufigst unterschätzte Effekt, welcher mit vergleichsweise wenig Aufwand erzielt werden kann, ist die Basis-Ausbildung und das Upskilling der Mitarbeitenden. Wenn gut organisiert und vom Management unterstützt, sind hier schon 10 - 30 % (branchenabhängig) Effizienzsteigerungen möglich.

😩 Häufig (wirklich ständig) stocken fortgeschrittenere AI-Projekte an der Tatsache, dass die Unternehmen die Daten nicht oder nicht in der Qualität haben, die es braucht, um solche komplexeren Projekte anzugehen (Digitalisierung verschlafen).

💡 Wenn smart aufgegleist, werden die intern und extern entwickelten KI-Systeme und AI-Automation (fast) von allein immer besser, da die LLM-Modelle immer leistungsfähiger werden, bekommt man ohne großes Zutun immer bessere Ergebnisse.

😩 Bei sehr vielen KMU im DACH-Raum fehlt die Leidenschaft für das spielerische Herangehen und simplifizierte Tests. Ein MVP, der sicherstellt, dass ein Projekt gute (oder eben weniger gute) Erfolgswahrscheinlichkeiten hat, kann sehr viel Geld sparen. Aber Tests werden im deutschen Mittelstand oft als Zeitverschwendung angesehen. Konkrete, fassbare Ergebnisse ab Minute eins sind gefragt – oft ist das aber unrealistisch.

💡Die Erfolgsmessung ist ein wesentlicher Bestandteil eines guten AI-Projekts bzw. der Einführung von AI im Unternehmen. Ein paar KPIs wirken Wunder, wenn es darum geht, aufgeklärt und messbar in die Unternehmenszukunft zu investieren.

😩 Zu viele Unternehmen versuchen, ohne großes Know-how die KI-Einführung eigenständig, gerne auch mit komplexen Projekten, auf die Füße zu stellen. Die Folge: bestenfalls Mittelmäßigkeit.

Im November 2024 lag die Nutzungsrate von KI in Unternehmen bei ca. 20 %. Je kleiner die Unternehmen, desto unwahrscheinlicher, dass sie KI einsetzen (Quelle: Statistisches Bundesamt).

Selten gab es eine unternehmerische Gelegenheit, die mit so wenig Aufwand, so viel Effekt erzeugt hat. Aber fehlendes Wissen und juristische Unklarheiten halten die Unternehmen nach wie vor davon ab, relevant auf den AI-Zug aufzuspringen.

AI-Readyness wird überlebenswichtig für die allermeisten Branchen. Das ist aber bei vielen Unternehmen bislang nicht durchgedrungen. Wer die AI-Effekte in der Lage ist zu messen, hat von Anfang an bessere Karten und trifft die besseren Entscheidungen.

In diesem Sinne - viel Erfolg beim Erfolg messen.

✌🏼Kai Michael Schäfer