Gute Informationen schlagen lange Prompts. SharePoint-Wissen gezielt verbessern.
Aufräumen macht Copilot besser? Dann miss es. Ein kleiner Bestand, dieselben Fragen vor und nach der Bereinigung und ein Protokoll jeder Änderung.
Anfang des Monats habe ich einen Abend lang mit Claude gekämpft und am nächsten Morgen in dreißig Minuten mit Copilot für SharePoint gelöst, woran ich mich festgebissen hatte. Mein Fazit damals in Kontext schlägt Modell war, dass der Zugriff auf die richtigen Daten mehr zählt als das Modell.
Daraus folgt etwas sehr Praktisches. Wer bessere Antworten will, feilt nicht am Prompt. Er bringt die Informationen in Ordnung.
„Wir räumen SharePoint auf, dann wird Copilot besser.“ Was dabei fast immer fehlt, ist der Teil davor. Niemand schreibt vor dem Aufräumen auf, was Copilot antwortet. Danach weiß keiner, ob es besser wurde und wodurch.
Das lässt sich ändern. Mit einem Nachmittag vorher und einem Nachmittag nachher.
Erst fragen, dann aufräumen
Der Ablauf ist kurz.
- Einen kleinen, abgegrenzten Bestand wählen.
- Den Bestand durchsehen und die Mängel notieren.
- Fragen festlegen, deren richtige Antwort feststeht.
- Alle Fragen stellen und die Antworten im Wortlaut festhalten. Das ist Messung A.
- Den Bestand bereinigen und jede Änderung protokollieren.
- Dieselben Fragen unter denselben Bedingungen stellen. Das ist Messung B.
- A und B Zeile für Zeile vergleichen.
Schwer ist keiner dieser Schritte. Schwer ist, zwischen A und B wirklich nur die Quellen anzufassen.
Klein genug, um fertig zu werden
Nimm zwanzig bis vierzig Dokumente oder Seiten zu einem Thema. Zum Beispiel alles, was das Intranet zum Onboarding neuer Mitarbeitender enthält.
Drei Dinge müssen stimmen. Es gibt eine Person, die weiß, was richtig ist, sonst kannst du keine Antwort bewerten. Der Bestand hat erkennbare Mängel, sonst zeigt der Vergleich nichts. Und er ist klein genug, um jedes Dokument einmal zu öffnen.
Beim Durchsehen fragst du je Dokument vier Dinge. Gilt es heute? Gibt es ein zweites zum selben Thema? Widerspricht es einem anderen? Sagen Titel und Dateiname, was drinsteht? Dazu kommt eine Liste der Lücken, also der Fragen, auf die der Bestand gar keine Antwort hat.
Das ist dieselbe Arbeit wie beim Dokumentenregister aus SharePoint-Wissen aufräumen, nur enger geschnitten und mit einer Messung davor.
Fragen, die etwas zeigen
Zehn bis fünfzehn Fragen reichen. Sie stehen vor Messung A fest und werden danach nicht mehr angefasst. Jede bekommt vorab die richtige Antwort und die Quelle, geschrieben von der Fachperson.
Fünf Arten gehören hinein. Die Kontrollfrage ist die, die fast alle vergessen.
| Art | Frage im Onboarding-Beispiel | Richtige Antwort |
|---|---|---|
| Unkritisch | Wer richtet den Arbeitsplatz ein? | Steht eindeutig auf einer Seite |
| Veraltet | Welches Formular gilt für den Laptop? | Das neue, das alte ist abgelöst |
| Widerspruch | Wann bekommt die neue Kollegin ihr Konto? | Laut gültiger Checkliste |
| Lücke | Wie bekomme ich einen Parkausweis? | Dazu steht nichts im Bestand |
| Kontrolle | Wie melde ich eine Störung? | Thema außerhalb des Bestands, bleibt unverändert |
Die unkritischen Fragen zeigen, ob dein Aufräumen etwas kaputt gemacht hat. Die Kontrollfragen zeigen, ob sich etwas verändert hat, das mit dir nichts zu tun hat, etwa ein Update von Copilot. Wie ein vollständiger Fragenkatalog mit Bewertung aussieht, steht in Ein Wissensagent braucht einen Testkatalog.
Was zwischen A und B gleich bleibt
Schreib es vor Messung A auf. Sonst verschiebt es sich unterwegs.
- Werkzeug und Einstieg. Zum Beispiel Copilot Chat mit Zugriff auf Arbeitsdaten oder ein Agent mit genau diesem Bestand als Wissen.
- Konto. Dasselbe Testkonto mit denselben Berechtigungen.
- Wortlaut. Jede Frage exakt gleich, jede in einer neuen Unterhaltung.
- Wiederholungen. Jede Frage dreimal, weil Antworten schwanken.
- Anweisungen und Einstellungen. Weder die Anweisungen eines Agenten noch Einstellungen von Suche und Copilot im Tenant.
Wer gleichzeitig die Anweisungen schärft und die Quellen bereinigt, weiß hinterher nicht, was gewirkt hat.
Bewerten sollte die Fachperson, am besten ohne zu wissen, ob eine Antwort aus A oder B stammt. Wer drei Tage aufgeräumt hat, will eine Verbesserung sehen. Und findet sie dann auch.
Aufräumen mit Protokoll
Jede Änderung am Bestand bekommt eine Zeile.
| Nr. | Dokument | Änderung | Mangel | Datum | Wer |
|---|---|---|---|---|---|
| Archiviert, zusammengeführt, korrigiert, umbenannt, neu erstellt | Veraltet, doppelt, Widerspruch, unklarer Titel, Lücke |
Zwei Dinge gehen dabei gern schief.
Archivieren heißt raus aus dem Bestand. Ein Dokument, das nur in den Unterordner „Alt“ wandert, bleibt für Suche und Copilot auffindbar, solange sich an den Berechtigungen nichts ändert.
Der Index braucht Zeit. Leg deshalb eine neue Seite für eine Lückenfrage an und stell genau diese Frage, bevor du mit Messung B startest. Solange sie nicht richtig beantwortet wird, ist es zu früh.
A und B lesen
Fang mit den Kontrollfragen an. Haben sie sich verändert, ist der Vergleich gestört, und du ziehst aus dem Rest keine Schlüsse.
Danach gehst du Zeile für Zeile. Eine Verbesserung bei einer Widerspruchsfrage passt zu einer aufgelösten Dublette im Protokoll. Eine Verbesserung ohne passende Änderung hat einen anderen Grund. Und eine Frage, die in A schon schwankte, liefert mit zwei guten Antworten in B noch keinen Befund.
Am meisten lernst du aus den Verschlechterungen. Such sie aktiv.
Was du am Ende sagen kannst, bleibt bei diesem Bestand. „Bei den veralteten Themen nennt Copilot keine alten Angaben mehr.“ Oder „Bei den Lücken erfindet er weiter.“ Eine Prozentzahl aus fünfzehn Fragen ist keine Messgröße, und für den ganzen Tenant gilt das Ergebnis nicht automatisch.
Erst Inhalte, dann Einstellungen
Mit den Authoritative Sites benennen Administratoren SharePoint-Websites als maßgebliche Quellen, deren Inhalte Copilot Search bevorzugt. Das klingt nach einer Abkürzung.
Meine Empfehlung ist die Reihenfolge. Erst den Bestand bereinigen und messen, dann die Einstellung setzen und noch einmal messen. Eine maßgebliche Website mit drei Versionen derselben Checkliste ist nur ein maßgeblicher Widerspruch.
Lange Prompts sind schnell geschrieben. Ob gute Informationen sie bei dir schlagen, zeigt ein Nachmittag mit fünfzehn Fragen, zweimal gestellt.
Gruß Micha