Wenn Copilot falsch liegt. Fehler systematisch untersuchen.
Ein falscher Satz im Copilot-Entwurf ist schnell korrigiert und kommt wieder. Mit fester Prüfreihenfolge und gezählten Wiederholungen findest du die Stelle.
Im Statusbericht steht, das Netzwerk im Neubau sei fertig. Ist es nicht. Die Projektleiterin merkt es bei der Abnahme, korrigiert die Zeile und gibt frei.
Erledigt? Für diesen Bericht ja. Für den nächsten nicht. Wer einen Fehler nur korrigiert, bekommt ihn wieder.
Die Untersuchung fragt nicht, warum das Modell so geantwortet hat. Das siehst du von außen nicht. Sie fragt, wo du etwas ändern kannst, und prüft, ob die Änderung wirkt.
In Copilot-Rückmeldungen auswerten ging es um viele Rückmeldungen aus einem Pilot. Hier geht es eine Ebene tiefer, um einen einzelnen, konkreten Fehler.
Erst den Auftrag lesen
Bevor du irgendwo anders suchst, lies den Auftrag. Hat er das Berichtsdatum genannt, die Quellen und die Angabe, die falsch herauskam? Ein Auftrag ohne das ist ein eigener Grund, und der schnellste zu beheben. Wie ein vollständiger Auftrag aussieht, steht in Vom Projektauftrag zum überprüfbaren Statusbericht.
Stimmt der Auftrag, gehst du vier Bereiche durch. Immer in dieser Reihenfolge.
Vier Stellen, an denen es hakt
A. Die Quelle fehlt. Stand die richtige Angabe überhaupt irgendwo, wo Copilot sie hätte finden können? Oder nur im Kopf, in einer Mail, gar nicht? Dann ist die Antwort allgemein, veraltet oder erfunden. Und kein Prompt der Welt hilft.
B. Der Zugriff fehlt. Durfte die fragende Person die richtige Quelle öffnen, und war sie im Auftrag ausgewählt? Copilot arbeitet mit den Rechten der Person, die fragt. Mit einem anderen Konto oder mit der ausdrücklich ausgewählten Datei kommt plötzlich die richtige Antwort.
C. Die Quellen widersprechen sich. Gibt es zwei Dokumente mit verschiedenen Angaben? Dann passt die falsche Antwort meist zu einer der beiden. Oder sie mischt beide.
D. Die Schlussfolgerung ist falsch. Die richtigen Angaben standen in den Quellen, und die Antwort hat trotzdem etwas Falsches daraus gemacht. Falsch gerechnet, falsch zugeordnet, ein Urteil als Tatsache formuliert.
D vermuten fast alle zuerst. „Die KI hat halluziniert.“ Manchmal stimmt das. Sagen kannst du es aber erst, wenn A bis C ausgeschlossen sind. Deshalb steht D am Ende.
Das Blatt
Ein Blatt je Fehler. Zuerst hältst du fest, was passiert ist, bevor jemand korrigiert. Auftrag, ausgewählte Quellen und falsche Aussage im Wortlaut, dazu die richtige Aussage mit Quelle.
Dann gehst du die Prüffragen durch.
| Schritt | Prüffrage | So prüfst du |
|---|---|---|
| 0 | Hat der Auftrag Datum, Quellen und die Angabe verlangt? | Auftrag lesen |
| A | Steht die richtige Angabe schriftlich in einer Quelle des Pakets, und stand sie dort schon zum Zeitpunkt der Frage? | Suchen, Fachperson fragen, Versionsverlauf |
| B | Konnte die fragende Person die Quelle öffnen, und war sie ausgewählt? | Datei mit ihrem Konto öffnen, Auftrag ansehen |
| C | Gibt es eine zweite Quelle mit abweichender Angabe, und passt die falsche Aussage zu ihr? | Nach dem Begriff suchen, im Wortlaut vergleichen |
| D | Lässt sich der Fehler als Rechen-, Zuordnungs- oder Deutungsfehler beschreiben? | Antwort neben die Quelle legen |
Die erste Zeile mit einem Befund bestimmt, wo du ansetzt. Treffen mehrere zu, beginnst du bei der frühesten.
Die Quellenangaben an der Antwort sind dabei ein Hinweis, kein Beweis. Ob die genannte Quelle die Aussage wirklich trägt, siehst du erst beim Nachlesen.
Zählen statt deuten
Jetzt kommt der Teil, der aus einer Vermutung einen Befund macht.
- Erst ohne Änderung wiederholen. Denselben Auftrag mit denselben Quellen fünfmal stellen, jedes Mal in einer neuen Unterhaltung. Tritt der Fehler nur manchmal auf, weißt du, dass das Ergebnis schwankt. Ohne diese Ausgangsmessung kannst du keine Änderung beurteilen.
- Eine Änderung je Runde. Quelle korrigieren oder Auftrag ändern oder Zugriff anpassen. Nie zwei zugleich.
- Gleiche Bedingungen. Dasselbe Konto, derselbe Einstieg, derselbe Wortlaut, außer die Änderung betrifft genau das.
- Wieder fünfmal. Und zählen.
„Vorher in vier von fünf, nachher in keinem von fünf“ ist ein Befund für diesen Fall. Ein Prozentwert ist es nicht.
Hast du eine Quelle geändert, braucht es Zeit, bis die neue Version in Suche und Copilot ankommt. Stell vor dem Zählen eine einfache Kontrollfrage, deren Antwort nur in der neuen Version steht.
Die passende Änderung hängt am Bereich. Bei A trägt die Fachperson die Angabe in die Quelle ein. Bei B entscheidet der Eigentümer der Quelle über den Zugriff, oder die fragende Person wählt die Quelle ausdrücklich aus. Bei C wird der Widerspruch aufgelöst, eine Version gilt, die andere wird korrigiert oder archiviert. Bei D wird der Auftrag enger, mit vorgegebener Berechnung oder einer klaren Definition.
Der Fehler im Umzugsprojekt
Zurück zum Netzwerk im Neubau. Der Auftrag ist vollständig. Die Verschiebung steht im Protokoll, das Protokoll war ausgewählt, die Projektleiterin kann es öffnen. A und B sind sauber.
Bei C wird es interessant. In der Aufgabenliste steht „Netzwerk vorbereiten“ auf erledigt. Im Terminplan steht der Meilenstein noch mit dem alten Datum. Liest man „vorbereiten erledigt“ als „Meilenstein erreicht“, kommt genau der falsche Satz heraus.
Die erste Änderung ist also der Terminplan. Erst wenn der Fehler danach noch auftritt, kommt der Auftrag dran, etwa mit dem Satz „Ein Meilenstein gilt nur als erreicht, wenn der Terminplan ihn als erreicht ausweist.“
Und am Ende steht nicht „Ursache war der Terminplan“. Da steht, nach welcher Änderung der Fehler in wie vielen Wiederholungen nicht mehr auftrat. Nebenbei hat das Projekt einen Terminplan gefunden, der nach einer Besprechung nicht nachgezogen wurde. Das hat mit Copilot nichts zu tun.
Wenn es D bleibt
Für eine falsche Schlussfolgerung gibt es keine Korrektur an der Ursache. Es gibt Vorkehrungen, die den Fehler seltener oder auffälliger machen, und die Abnahme, die ihn findet.
Bleibt so ein Fehler trotz engerem Auftrag häufig, ist das ein Argument gegen diese Aufgabe. Dann gehört sie auf den Prüfstand und nicht in den nächsten Workshop.
Jeder untersuchte Fall wird zur Testfrage im Testkatalog oder zum Hinweis im Prompt-Katalog. Für eine einmalige Frage lohnt der Aufwand nicht. Für einen Bericht, der jede Woche kommt, schon.
Ein falscher Satz ist ärgerlich. Ein untersuchter falscher Satz ist eine bessere Quelle, ein schärferer Auftrag und eine Testfrage mehr.
Wann hast du den letzten Copilot-Fehler nicht nur korrigiert, sondern zurückverfolgt?
Gruß Micha