Zum Inhalt springen
Zurück zum Blog

Copilot-Rückmeldungen auswerten. Schulungsproblem oder ungeeignete Aufgabe?

Nicht jedes schlechte Copilot-Ergebnis ist ein Schulungsfall. Mit einem kurzen Bogen und drei Diagnosestufen findest du die Ursache und die passende Maßnahme.

CopilotMicrosoft 365KI
Copilot-Rückmeldungen auswerten. Schulungsproblem oder ungeeignete Aufgabe?

„Bringt nichts.“ „Viel zu allgemein.“ „Findet unsere Sachen nicht.“

So klingen die Rückmeldungen nach vier Wochen Pilot. Und die Reaktion ist fast immer dieselbe. Wir brauchen eine Schulung.

Manchmal stimmt das. Oft ist es die falsche Antwort.

Hinter einem unbrauchbaren Ergebnis stecken drei mögliche Ursachen. Die Person bedient Copilot ungünstig. Die Informationen fehlen oder taugen nichts. Oder die Aufgabe passt schlicht nicht. Wer alle drei mit Training beantwortet, verliert Zeit und das Vertrauen der Pilotgruppe.

Erst die Bedienung, zuletzt die Aufgabe

Die Reihenfolge der Diagnose ist fest. Du fängst bei der Bedienung an, weil sie sich am schnellsten klären lässt. Dann kommt die Informationslage. Erst wenn beides stimmt und das Ergebnis trotzdem nichts taugt, liegt es an der Aufgabe.

Für jede Rückmeldung gehst du die Fragen von oben nach unten durch. Die erste Frage mit Nein bestimmt die Ursache.

Stufe 1. Bedienung

  1. Steht im Auftrag ein Ziel, also wofür das Ergebnis gebraucht wird?
  2. Sind Quellen genannt oder ausgewählt?
  3. Ist ein Format oder Umfang vorgegeben?
  4. Lief die Aufgabe in der App, die im Pilotauftrag vorgesehen ist?

Ein Nein hier, und du setzt dich mit der Person hin. Ihr formuliert den Auftrag neu und spielt denselben Fall noch einmal durch. Wie ein vollständiger Auftrag aussieht, steht in Ein Copilot-Prompt ist ein Arbeitsauftrag.

Stufe 2. Informationslage

  1. Gibt es die benötigten Informationen schriftlich an einem Ort, den du benennen kannst?
  2. Hat die Pilotperson Zugriff darauf?
  3. Sind die Quellen aktuell und widerspruchsfrei?
  4. Hat Copilot die genannten Quellen tatsächlich verwendet? Das zeigen die Quellenangaben am Ergebnis.

Ein Nein hier ist kein Fall für den Trainer. Je nach Frage erstellt der Fachbereich die fehlende Unterlage, jemand entscheidet über den Zugriff, die veraltete Version wird archiviert, oder der Auftrag nennt die Quellen enger.

Stufe 3. Aufgabenwahl

  1. Liefert die Aufgabe mit besserem Auftrag und sauberen Quellen über mehrere Durchläufe ein brauchbares Ergebnis?
  2. Ist die Prüfung schneller erledigt als die Aufgabe ohne Copilot?

Ein Nein hier heißt, die Aufgabe enger schneiden oder aus dem Pilot nehmen. Mit Begründung in der Pilotdokumentation.

Der Baum sagt dir, wo du etwas ändern kannst. Warum Copilot im Einzelfall eine Quelle nicht herangezogen hat, sagt er dir nicht. Das musst du auch nicht wissen, um weiterzukommen.

Der Bogen, der dafür reicht

Damit du diagnostizieren kannst, brauchst du mehr als „hat nicht funktioniert“. Ein Formular in Forms mit einer Liste dahinter genügt. Sieben Fragen, mehr würde ich nicht stellen.

  1. Welche Pilotaufgabe? Auswahl aus den vereinbarten Aufgaben oder „andere“.
  2. Welche App? Auswahl.
  3. Was hast du eingegeben? Wortlaut.
  4. Welche Quellen hattest du ausgewählt oder genannt? Liste oder „keine“.
  5. Was war unbrauchbar? Zu allgemein, etwas fehlte, etwas war falsch, falsches Dokument, Format unpassend, anderes.
  6. Wie hast du die Aufgabe am Ende erledigt? Mit Nacharbeit übernommen, neu versucht oder ohne Copilot.
  7. Was hätte dir geholfen? Ein Satz, freiwillig.

Frage 3 und 4 sind Pflicht. Ohne Wortlaut und Quellen kommst du nicht einmal über Stufe 1 hinaus.

Nach Zufriedenheit fragt der Bogen bewusst nicht. Eine Note sagt nichts über die Ursache. Wer sie haben will, erhebt sie getrennt.

Weil im Wortlaut und in den Quellen echte Inhalte stehen, braucht die Liste dahinter passende Berechtigungen.

Vier Rückmeldungen aus dem Kundenservice

Nehmen wir einen Großhändler, dessen Kundenservice Copilot pilotiert. Vier Bögen liegen auf dem Tisch.

„Die Wochenübersicht ist viel zu allgemein.“ Im Bogen steht als Eingabe ein einziger Satz, Quellen keine. Frage 2, also Bedienung. Der Auftrag wird mit den zwei Reklamationslisten neu gestellt.

„Der Antwortentwurf nennt eine falsche Lieferzeit.“ Quelle waren die Textbausteine, und darin steht noch die alte Lieferzeit. Frage 7, also Informationslage. Die Textbausteine werden aktualisiert, die alte Version archiviert, der Fall wiederholt.

„Im Gesprächsprotokoll fehlt eine Zusage.“ Auftrag vollständig, Transkript vorhanden. Hier gibt es noch keine Zuordnung. Ein einzelner Durchlauf macht noch keine ungeeignete Aufgabe. Erst wenn sich das wiederholt, ist es ein Befund.

„Die Preiskalkulation war falsch.“ Frage 1 im Bogen ist „andere“. Die Kalkulation war nie Teil des Piloten. Sie wandert auf die Ideenliste und wird nicht ausgewertet.

Vom Befund zur Maßnahme

Jede Maßnahme bekommt einen Namen und eine Prüfung, die vorher feststeht. Bei der Bedienung prüfst du, ob derselbe Fall mit dem neuen Auftrag ein brauchbares Ergebnis liefert. Häuft sich das Bedienproblem bei mehreren Personen, lohnt eine kurze gemeinsame Übung an einer echten Pilotaufgabe. Ob sie gewirkt hat, siehst du an den nächsten Bögen. Stehen bei Frage 3 jetzt Ziel, Quellen und Format?

Bei der Informationslage wiederholst du denselben Fall vor und nach der Bereinigung. Bei der Aufgabenwahl dokumentierst du neue Durchläufe oder die Begründung fürs Streichen.

Zähl die Rückmeldungen je Ursache, aber rechne sie nicht in Prozente um. Bei einer kleinen Pilotgruppe täuschen Prozente eine Genauigkeit vor, die es nicht gibt.

Und erzähl der Pilotgruppe, was aus ihren Rückmeldungen geworden ist. Sonst kommt die nächste Runde nicht mehr.

Schulung hilft, wenn die Bedienung das Problem ist. Für fehlende Unterlagen und ungeeignete Aufgaben braucht es andere Entscheidungen, und die trifft nicht der Trainer.

Gruß Micha

Hat dir der Artikel geholfen? Teile ihn mit deinem Netzwerk.

LinkedIn X