Zum Inhalt springen
Zurück zum Blog

Copilot-Halbjahrescheck. Behalten, verbessern oder beenden?

Zur Jahresmitte fragt die Geschäftsführung, ob Copilot etwas bringt. Wie du je Aufgabe Nutzung, Qualität und Pflegeaufwand abwägst und entscheidest.

CopilotMicrosoft 365KI
Copilot-Halbjahrescheck. Behalten, verbessern oder beenden?

Seit April läuft der Pilot. Die Aufgaben sind ausgewählt, die Durchläufe dokumentiert, die Rückmeldungen ausgewertet, der Lernplan ist durch.

Jetzt kommt die Frage, die jede Geschäftsführung irgendwann stellt.

Bringt das was?

Die schnelle Antwort ist ein Bildschirmfoto aus dem Admin Center. Eine hohe Quote aktiver User. Sieht gut aus. Beantwortet aber eine andere Frage.

Nutzung ist nicht Nutzen

Wie viele Leute Copilot öffnen, sagt nichts darüber, ob dabei etwas Brauchbares herauskommt.

Beides gehört in den Halbjahrescheck. Aber getrennt. Die Nutzung zeigt, ob überhaupt etwas passiert. Den Nutzen liest du nur an den Aufgaben ab, die ihr dokumentiert habt. Wer im Pilot nichts aufgeschrieben hat, kann jetzt auch nichts auswerten. Dann ist genau das die ehrliche Antwort an die Geschäftsführung.

Was die Berichte leisten und was nicht

Zwei Auswertungen bringt Microsoft mit.

Der Nutzungsbericht im Microsoft 365 Admin Center zeigt lizenzierte und aktive User, die Verteilung auf die Apps und je User das Datum der letzten Aktivität. Die Namen sind standardmäßig verborgen.

Das Copilot Dashboard in Viva Insights geht weiter und gliedert sich in Bereitschaft, Verbreitung, Wirkung und Stimmung. Ansehen kannst du es auch ohne eigene Viva-Insights-Lizenz.

Als Gegenkontrolle zu deiner Pilotliste taugen beide.

Mehr aber auch nicht. Drei Dinge solltest du wissen, bevor eine Zahl daraus in eine Präsentation wandert.

  • Die eingesparten Stunden sind geschätzt. Das Dashboard multipliziert gezählte Aktionen mit festen Faktoren. Das ist eine Modellrechnung, keine Messung in deinem Unternehmen.
  • Ursache und Wirkung sind nicht dasselbe. Ändert sich eine Kennzahl, kann das an Copilot liegen. Oder an der Urlaubszeit, an einem neuen Kollegen oder an einer Umstrukturierung.
  • Kleine Gruppen sind kaum auswertbar. Für Gruppen unter einer Mindestgröße zeigt das Dashboard keine Werte. Und in einer kleinen Pilotgruppe bestimmt eine einzelne Person jede Quote.

Bevor du dir Auswertungen je Person ansiehst, klär das mit Betriebsrat und Datenschutz. Die Namen sind nicht ohne Grund verborgen.

Drei Fragen je Aufgabe

Bewertet wird nicht „Copilot“, sondern jede Pilotaufgabe für sich. Für jede stellst du drei Fragen.

Wie oft wurde sie wirklich gemacht? Die Zahl kommt aus deiner Dokumentation, nicht aus dem Bericht. Der kennt deine Aufgaben nicht. Schau auch, ob alle beitragen oder nur eine Person.

Wie gut waren die Ergebnisse? Wie viele Durchläufe waren nach der fachlichen Prüfung verwendbar? Wie oft fehlte etwas, wie oft stand etwas Falsches drin? Hier zahlt sich die Trennung von Beobachtung und Erwartung aus, die ihr im Pilot eingeführt habt. In die Entscheidung kommen nur Beobachtungen.

Was kostet es, die Aufgabe am Laufen zu halten? Diese Frage vergisst fast jeder. Quellen müssen aktuell bleiben, der Arbeitsauftrag wird gepflegt, neue Kollegen brauchen eine Einweisung. Eine Aufgabe, die nur funktioniert, weil eine Person jede Woche die Textbausteine nachzieht, hat einen Preis. Und sie hat ein Risiko, wenn diese Person geht.

Das Blatt je Aufgabe

Ein Blatt pro Aufgabe. Wo keine Zahl vorliegt, steht „nicht erhoben“. Geschätzt wird nichts.

FeldEintrag
AufgabeIn einem Satz
Zeitraum und PersonenVon, bis, Anzahl
Dokumentierte DurchläufeAnzahl und Verteilung auf Personen
Verwendbar nach PrüfungAnzahl von Anzahl
Fehlendes oder FalschesAnzahl, Art, Schwere
BearbeitungszeitNur mit notiertem Ausgangswert
PflegeaufwandWer hält Quellen und Auftrag aktuell?
Abhängig von einer PersonJa oder nein
EntscheidungBehalten, verbessern, beenden, nicht entscheidbar
BegründungZwei Sätze
Bei verbessernMaßnahme, Name, Prüftermin

Was „überwiegend verwendbar“ heißt, legt ihr fest, bevor ihr auf die Zahlen schaut. Nicht danach. Sonst passt die Schwelle am Ende verdächtig gut zum Wunschergebnis.

Vier Ausgänge, alle gleichwertig

Behalten heißt, die Ergebnisse sind überwiegend verwendbar, Fehler werden erkannt, und jemand trägt den Pflegeaufwand. Dann wird die Aufgabe Teil der normalen Arbeit, mit Verantwortlichem und Prüftermin.

Verbessern heißt, der Nutzen ist da, aber eine benennbare Ursache steht im Weg. Meist sind es die Quellen. Ein Statusbericht taugt nur so viel wie die Risikoliste, aus der er entsteht. Dann gibt es eine Maßnahme, ein paar neue Durchläufe und danach eine neue Entscheidung.

Beenden heißt, die Ergebnisse sind trotz Nachbesserung nicht verlässlich, oder die Prüfung kostet mehr, als Copilot spart. Das ist kein Scheitern. Ein Pilot, der eine von drei Aufgaben begründet einstellt, hat seinen Job gemacht. Oft ist es auch nur ein „vorerst“. Antwortentwürfe aus veralteten Textbausteinen werden nicht besser, indem man es weiter versucht. Erst die Bausteine bereinigen, dann neu anfangen.

Nicht entscheidbar ist der vierte Ausgang, und der muss erlaubt sein. Zu wenige Durchläufe sind keine Grundlage. Dann wird weiter dokumentiert oder die Aufgabe mangels Bedarf beendet.

Was an die Geschäftsführung geht

Eine halbe Seite. Je Aufgabe die Entscheidung und zwei Sätze Begründung. Darunter die Zahlen aus dem Admin Center als eigene Zeile, mit dem klaren Hinweis, dass sie Aktivität zeigen und keine Qualität.

Erst danach kommt die Lizenzfrage. Wer braucht für eine behaltene Aufgabe wirklich eine Lizenz? Lizenzen folgen den Aufgaben, nicht umgekehrt. Den Rahmen dafür habe ich in Copilot Readiness (3/3). Ein Rollout ohne Plan ist ein Experiment beschrieben.

Ein Halbjahrescheck muss nicht beweisen, dass sich Copilot gelohnt hat. Er muss zeigen, was ihr wisst, was ihr vermutet und was ihr als Nächstes tut.

Welche eurer Pilotaufgaben würdest du heute beenden?

Gruß Micha

Zum Nachlesen

Hat dir der Artikel geholfen? Teile ihn mit deinem Netzwerk.

LinkedIn X