Immer mehr Mitarbeitende nutzen AI- Tools und versuchen damit die Effizienz und Produktivität der Arbeit zu steigern. Doch ist das wirklich so?
Nahezu alle AI- Tool Anbieter behaupten, dass die Nutzung ihres Tools zu mehr Effizienz verhilft. Doch nur die wenigsten Tools bieten auch direkte Möglichkeiten, den Erfolg zu messen.
In diesem Beitrag zeige ich, wie ihr den Erfolg von Tools wie ChatGPT, Gemini oder SwissGPT messen könnt und welche KPIs dabei eine Rolle spielen.
Welche Mitarbeitenden nutzen die AI- Tools?
Die erste Frage, die ihr euch stellen solltet, ist welche Mitarbeitende in eurer Organisation die KI- Tools ChatGPT, SwissGPT und Co. überhaupt schon einsetzen. Zum Teil verfügen Organisationen, zwar über Team-Lizenzen, bei einer genaueren Überprüfung fällt dann aber auf, das viele Mitarbeitenden die Tools gar nicht im operativen Alltag nutzen.
Umgekehrt ist es auch möglich, dass bestimmte KI- Tools in eurem Unternehmen eigentlich verboten sind, doch bei einer genaueren Analyse der Browserdaten findet ihr heraus, dass die Tools heimlich eingesetzt werden.
Schlussendlich könnt ihr mit dieser Kennzahl ein Gefühl dazu bekommen, welche Mitarbeitenden bei euch in der Organisation besonders affin für den Einsatz von AI- Tools sind. Dabei werdet ihr feststellen, dass die Nutzung je nach Alter und Bildungsstand variiert. Aber auch die Funktion und die Abteilung spielen eine wichtige Rolle. Es gibt Abteilungen, da sind die Mehrwerte durch KI deutlich höher, als in anderen Abteilungen.
Was bringt uns diese KPI?
Sofern ihr die Nutzung von AI- Tools in eurem Unternehmen erlaubt habt und eure Mitarbeitenden Zugang zu ChatGPT, SwissGPT oder Gemini haben, diese aber nicht oder nur sehr eingeschränkt nutzen, fehlt es möglicherweise an geeigneten Schulungen. Auch wenn die Nutzung von ChatGPT für viele sehr intuitiv erscheint, ist nicht allen Mitarbeitenden bewusst, wie sie diese Tools nutzen sollen und vor allem für welche Anwendungen und Anfragen, sie die AI um Unterstützung bitten sollen.
Jedes Tool, was neu im Unternehmen eingeführt wird, benötigt ausreichend Mitarbeiter-Schulungen. Auch die Nutzung von ChatGPT erfordert eine Schulung. Schaut dazu gern mal auf die Seite meines ChatGPT Starter Workshops.
Wenn ihr bei eurer Analyse feststellt, dass Mitarbeitende KI- Tools nutzen, obwohl diese eigentlich verboten sind, dann ist dies ein Zeichen dafür, dass eure Mitarbeitenden bereit sind KI- Tools zu nutzen und ihr solltet umgehend nach Möglichkeiten suchen, euren Kollegen auch geeignete Tools zur Verfügung zu stellen. Das Schweizer Startup AlpineAI bietet beispielsweise sehr sichere AI-Lösungen an.
Wie häufig werden die AI- Tools genutzt?
Die nächste wichtige KPI ist die Häufigkeit der Nutzung. Hier stellt ihr fest, ob der Einsatz von AI- Tools bei euch im Unternehmen schon zur Routine geworden ist oder noch eine Seltenheit darstellt. Dabei wird die Nutzung je nach Abteilung variieren.
Was bringt uns diese KPI?
Bei der Auswertung der Werte zur Häufigkeit der AI- Tool Nutzung ist zu beachten, dass diese nie in allen Abteilungen gleich sein wird. Es gibt Abteilungen und Aufgabenbereiche, da ist der Einsatz von AI- Tools wichtiger, während bei anderen Abteilungen der Faktor Mensch noch die deutlich grössere Rolle einnimmt.
Wichtig hier ist zu verstehen, ob die Mitarbeitenden, die durch den Einsatz von AI-Tools die grössten Effizienzsteigerungen zu erwarten haben, dieses Potential auch wirklich nutzen. Gleichzeitig solltet ihr im Allgemeinen bei den meisten Mitarbeitenden eine Steigerung in der Nutzung von AI- Tools beobachten können. Sofern ihr bereits Schulungen zu AI- Tools angeboten habt, müssten die Nutzungszahlen nochmals deutlich ansteigen.
Für welche Anfragen werden die AI- Tools genutzt?
Bei der Frage nach der Art von Anfragen könnt ihr zwischen verschiedenen Merkmalen unterscheiden. Folgende Unterscheidungen sind dabei relevant:
1. Usecases
Hier geht es darum, für welche konkreten Anfragen die AI- Tools eingesetzt werden. Werden sie beispielsweise zur Erstellung von Übersetzungen, zum Zusammenfassen von Texten oder zur Generierung von Social Media Posts genutzt.
2. Einzigartigkeit der Anfragen
Hier geht es darum, ob die AI- Tools mehrheitlich für wiederholende Tätigkeiten genutzt werden und somit auch vermehrt die gleichen Anfragen gestellt werden oder ob die Absichten immer variieren und die Anfragen jedes mal aufs Neue formuliert werden müssen.
Handelt es sich bei den Anfragen um wiederholende Anfragen, kann es Sinn machen, statt der allgemeinen Nutzung von ChatGPT mit Custom GPTs zu arbeiten. mehr dazu in meinem Beitrag zu den Möglichkeiten mit Custom GPTs. Falls ihr Tools, wie SwissGPT oder Gemini nutzt, könnt ihr euch Prompt Templates erstellen. Ich habe beispielsweise ein Prompt-Template für Generative AI Business Cases erstellt.
3. Anteil des Sicherheitsrisikos
Je nachdem, welche Mitarbeitenden die AI- Tools nutzen und für welche Zwecke sie genutzt werden, variiert auch das Datenschutz-Risiko. Die Anwendung von AI- Tools im Marketing funktioniert in den meisten Fällen ohne sensible oder persönliche Daten. Wenn AI- Tools jedoch im Bereich des Personal-Managements, im Customer Service oder in der internen Kommunikation genutzt werden, steigt das Sicherheitsrisiko. Je höher das Risiko ist, den Datenschutz zu gefährden, desto wichtiger ist eine gute Aufklärung und Schulung der Mitarbeitenden. Gleichzeitig können sichere AI- Tools wie SwissGPT komplett vorbeugen, das schützenswerte Daten an Dritte gelangen.
Wie häufig werden die Prompts optimiert?
Prompts sind die Eingaben, die wir in ein KI- Tool eingeben, damit das Tool für uns eine bestimmt Aufgabe erledigt. Die Liste der Prompt Guidelines lässt vermuten, dass das Eingeben des passenden Prompts nicht immer einfach ist. Vielmals geben User pro Anfrage einen Prompt in unterschiedlichen Variationen ein oder optimieren den ursprünglichen Prompt solange, bis das Ergebnis den Erwartungen entspricht.
Ihr solltet messen, wie oft ein Prompt verbessert werden muss, bevor das Ergebnis weiter verwendet werden kann.
Was bringt uns diese KPI?
Sofern ihr bei der Messung der Anzahl der Prompt-Optimierungen feststellt, dass die Mehrheit der Mitarbeitenden deutlich mehr als eine Prompt-Iteration benötigt, empfehle ich gezielte Prompt Workshops. Häufig sind es nur ein paar wenige Tipps, die die Qualität der einzelnen Prompts steigert.
Wie brauchbar ist der Output wirklich?
Passend zur Kennzahl zu den Prompt- Iterationen gehört auch die Bewertung des Outputs. Nur wenn die User von SwissGPT, ChatGPT und Gemini, die Ergebnisse auch wirklich nutzen, ist der Einsatz dieser KI- Tools gerechtfertigt.
Was bringt uns diese KPI?
Wenn ihr an dieser Stelle bemerkt, dass die Ergebnisse der KI- Tools mehrheitlich nicht weiter verwendet werden können, hat dies zwei Gründe:
- Der Output ist nicht gut genug. In diesem Fall benötigt euer Team weitere Schulungen.
- Der Output wurde ohne Business-Case erstellt. Immer mehr Nutzer von KI- Tools, stellen Anfragen und produzieren Outputs, welche gar keinen konkreten Bezug zum Business haben. Auch in diesem Fall, sind weitere Schulungen zu AI- Anwendungen unabdingbar.
Wie messe ich den Erfolg von AI- Tools?
Nun wisst ihr zwar, welche KPIs ihr messen sollt, es stellt sich aber die Frage, wie diese Zahlen gemessen werden können. Das bekannte Tool, ChatGPT, bietet beispielsweise keine direkten Dashboards mit diesen KPIs an. Ihr habt also lediglich die Möglichkeit, in Form von Team-Umfragen eure Mitarbeitenden zu befragen und so den Erfolg zu messen.
Das Schweizer AI- Startup AlpineAI hat diese Lücke schon sehr früh erkannt und bietet seinen Kunden eine Vielzahl von Dashboards und Analyse-Optionen an. So können Mitarbeitende, die über Admin- Rechte verfügen die oben genannten KPIs direkt über ein Dashboard in Echtzeit mitverfolgen.
Fazit: Den Erfolg von AI- Tools messen
In diesem Beitrag habt ihr folgende 3 Dinge gelernt:
1. Die wichtigsten KPIs, die ihr bei der Nutzung von AI- Tools beachten solltet sind die folgenden:
- Welche Mitarbeitenden nutzen die AI- Tools?
- Wie häufig werden die AI- Tools genutzt?
- Für welche Anfragen werden die AI- Tools genutzt?
- Wie häufig werden die Prompts optimiert?
- Wie brauchbar ist der Output wirklich?
- Wie messe ich den Erfolg von AI- Tools?
2. Die KPIs lassen sich nicht immer auf Anhieb messen. Zum Teil sind zusätzliche Evaluationen bzw. Befragungen der Mitarbeitenden nötig.
3. KPIs alleine genügen nicht. Es braucht auch Massnahmen, die dazu beitragen, dass die KPIs stetig verbessert werden.
Lust auf mehr?
Gerne helfe ich euch bei der Messung und Optimierung eurer KPIs. Schreibt mir einfach.
Ich freue mich auf eure Anfragen.
